利用Python3分析sitemap.xml并抓取导出全站链接详解

前言

最近网站从HTTPS转为HTTP，更换了网址，旧网址做了301重定向，折腾有点大，于是在百度站长平台提交网址，不管是主动推送还是手动提交，前提都是要整理网站的链接，手动添加太麻烦，效率低，于是就想写个脚本直接抓取全站链接并导出，本文就和大家一起分享如何使用python3实现抓取链接导出。

首先网站要有网站地图sitemap.xml文件地址，其次我这里用的是python3版本，如果你的环境是python2，需要对代码进行调整，因为python2和python3很多地方差别还是挺大的。

下面是python 3代码，将里面的链接地址换成你自己的网址即可：

#coding=utf-8
import urllib
import urllib.request import re
url='http://www.ranzhi.org/sitemap.xml'
html=urllib.request.urlopen(url).read()
html=html.decode('utf-8')
r=re.compile(r'(http://www.ranzhi.org.*?\.html)')
big=re.findall(r,html)
for i in big:
 print(i)
 op_xml_txt=open('xml.txt','a')
 op_xml_txt.write('%s\n'%i)

我们能来看一下运行结果：

导出TXT格式文件后，再在百度站长平台手动提交就方便的多了。当然我们也可以使用更快的主动推送方式，因为我的网站是用PHP+mysql开发的，所以我们这里使用PHP脚本将上面抓取的链接再处理下，然后主动推送给百度，一遍加快爬虫抓取时间。

上面1是你的站点的主动推送API，这个可以在百度站长平台获取；2是要主动推送的网站地址，这里就可以用到我们上面抓取的全站链接了。将链接地址整理放到该数组中，运行一下个这个PHP脚本，就可以了。一键提交，及高效便捷，又能缩短爬虫爬去时间，有助于网站页面收录。

我们在平时的SEO或服务器运维工作中，时常会将重复工作自动化，复杂工作间变化，有助于提升效率，如果大家在操作过充中有何问题可以一起分享交流讨论。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。

# python爬取全站链接  # python抓取网页链接  # python  # 数据导出  # python 批量修改 labelImg 生成的xml文件的方法  # Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地  # 横向对比分析Python解析XML的四种方式  # 用Python解析XML的几种常见方法的介绍  # 深入解读Python解析XML的几种方式  # Python 解析XML文件  # 详解在Python程序中解析并修改XML内容的方法  # 简单介绍使用Python解析并修改XML文档的方法  # Python中使用SAX解析xml实例  # python实现的批量分析xml标签中各个类别个数功能示例  # 全站  # 就可以  # 在百度  # 自己的  # 的是  # 都是  # 要有  # 我这  # 一遍  # 换了  # 更快  # 有何  # 可以使用  # 又能  # 这篇文章  # 谢谢大家  # 会将  # 一起分享  # 下个  # 如何使用 

相关文章： 建站之星导航菜单设置与功能模块配置全攻略  浙江网站制作公司有哪些,浙江栢塑信息技术有限公司定制网站做的怎么样？  免费制作海报的网站,哪位做平面的朋友告诉我用什么软件做海报比较好?ps还是cd还是ai这几个软件我都会些我是做网页的？  如何通过云梦建站系统实现SEO快速优化？  如何用狗爹虚拟主机快速搭建网站？  如何通过VPS建站无需域名直接访问？  网站制作与设计教程,如何制作一个企业网站，建设网站的基本步骤有哪些？  义乌企业网站制作公司,请问义乌比较好的批发小商品的网站是什么？  如何在云主机快速搭建网站站点？  如何在景安服务器上快速搭建个人网站？  哪家制作企业网站好,开办像阿里巴巴那样的网络公司和网站要怎么做？  如何在万网ECS上快速搭建专属网站？  nginx修改上传文件大小限制的方法  建站之星代理商如何保障技术支持与售后服务？  如何快速查询网站的真实建站时间？  西安制作网站公司有哪些,西安货运司机用的最多的app或者网站是什么？  如何在新浪SAE免费搭建个人博客？  网站制作企业,网站的banner和导航栏是指什么？  免费的流程图制作网站有哪些,2025年教师初级职称申报网上流程？  网站制作的软件有哪些,制作微信公众号除了秀米还有哪些比较好用的平台？  建站IDE高效指南：快速搭建+SEO优化+自适应模板全解析  免费公司网站制作软件,如何申请免费主页空间做自己的网站？  如何高效利用亚马逊云主机搭建企业网站？  如何在阿里云完成域名注册与建站？  建站之星安装后如何自定义网站颜色与字体？  如何选择高效响应式自助建站源码系统？  股票网站制作软件,网上股票怎么开户？  如何基于云服务器快速搭建个人网站？  宝塔建站助手安装配置与建站模板使用全流程解析  建站主机与虚拟主机有何区别？如何选择最优方案？  合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍？  如何零基础在云服务器搭建WordPress站点？  ,购物网站怎么盈利呢？  电影网站制作价格表,那些提供免费电影的网站，他们是怎么盈利的？  建站之星如何助力网站排名飙升？揭秘高效技巧  建站之星免费版是否永久可用？  官网自助建站平台指南：在线制作、快速建站与模板选择全解析  头像制作网站在线观看,除了站酷，还有哪些比较好的设计网站？  建站之星CMS建站配置指南：模板选择与SEO优化技巧  如何优化Golang Web性能_Golang HTTP服务器性能提升方法  如何在阿里云购买域名并搭建网站？  如何通过远程VPS快速搭建个人网站？  5种Android数据存储方式汇总  建站之星多图banner生成与模板自定义指南  如何挑选高效建站主机与优质域名？  建站之星IIS配置教程：代码生成技巧与站点搭建指南  为什么Go需要go mod文件_Go go mod文件作用说明  如何通过免费商城建站系统源码自定义网站主题与功能？  简单实现Android验证码  网站制作多少钱一个,建一个论坛网站大约需要多少钱？