python访问抓取网页常用命令总结

python访问抓取网页常用命令

简单的抓取网页:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read() 

直接将URL保存为本地文件：

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read() 

POST方式：

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行发出网页请求测试"} 
data=urllib.parse.urlencode(values) 

#创建请求对象 
req=urllib.request.Request(url,data) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read() 

GET方式：

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#创建请求对象 
req=urllib.request.Request(theurl) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read() 

有2个常用的方法,geturl(),info()

geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。

中文问题的处理，会用到 encode()编码 dencode()解码：

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

# python访问抓取网页常用命令  # Python  # 网页抓取  # 抓取命令  # python并发编程之多进程、多线程、异步和协程详解  # Python控制多进程与多线程并发数总结  # python实现多线程的方式及多条命令并发执行  # python多线程threading.Lock锁用法实例  # 详解Python中的多线程编程  # 浅析Python中的多进程与多线程的使用  # 基python实现多线程网页爬虫  # Python threading多线程编程实例  # python实现用于测试网站访问速率的方法  # Python的Django应用程序解决AJAX跨域访问问题的方法  # Python实现多并发访问网站功能示例  # 希望能  # 谢谢大家  # 命令行  # 保存为  # 是为了  # 重定向  # 包含了  # google  # urlopen  # cn  # response  # xhtml  # POST  # URL  # page  # read  # class  # brush  # pre  # strong 

相关文章： 建站之星如何防范黑客攻击与数据泄露？  大连 网站制作,大连天途有线官网？  美食网站链接制作教程视频,哪个教做美食的网站比较专业点？  如何在自有机房高效搭建专业网站？  成都网站制作价格表,现在成都广电的单独网络宽带有多少的，资费是什么情况呢？  网站代码制作软件有哪些,如何生成自己网站的代码？  如何打造高效商业网站？建站目的决定转化率  如何选择高效稳定的ISP建站解决方案？  沈阳制作网站公司排名,沈阳装饰协会官方网站？  如何在Ubuntu系统下快速搭建WordPress个人网站？  大连企业网站制作公司,大连2025企业社保缴费网上缴费流程？  已有域名如何快速搭建专属网站？  免费制作统计图的网站有哪些,如何看待现如今年轻人买房难的情况？  如何制作网站标识牌,动态网站如何制作（教程）？  php json中文编码为null的解决办法  如何零成本快速生成个人自助网站？  如何通过多用户协作模板快速搭建高效企业网站？  建站之星×万网：智能建站系统+自助建站平台一键生成  建站之星收费标准详解：套餐费用及年费价格表一览  微网站制作教程,我微信里的网站怎么才能复制到浏览器里？  如何选择建站程序？包含哪些必备功能与类型？  历史网站制作软件,华为如何找回被删除的网站？  微信小程序 input输入框控件详解及实例（多种示例）  如何在IIS中新建站点并解决端口绑定冲突？  网站app免费制作软件,能免费看各大网站视频的手机app？  已有域名如何免费搭建网站？  宝塔面板创建网站无法访问？如何快速排查修复？  TestNG的testng.xml配置文件怎么写  建站之星Pro快速搭建教程：模板选择与功能配置指南  建站之星免费版是否永久可用？  巅云智能建站系统：可视化拖拽+多端适配+免费模板一键生成  贸易公司网站制作流程,出口贸易网站设计怎么做？  香港服务器建站指南：免备案优势与SEO优化技巧全解析  韩国服务器如何优化跨境访问实现高效连接？  广州网站制作的公司,现在专门做网站的公司有没有哪几家是比较好的，性价比高，模板也多的？  如何自定义建站之星网站的导航菜单样式？  制作营销网站公司,淘特是干什么用的？  香港服务器建站指南：外贸独立站搭建与跨境电商配置流程  建站主机选购指南与交易推荐：核心配置解析  活动邀请函制作网站有哪些,活动邀请函文案？  c# Task.ConfigureAwait(true) 在什么场景下是必须的  青浦网站制作公司有哪些,苹果官网发货地是哪里？  建站之星2.7模板：企业网站建设与h5定制设计专题  网站制作公司,橙子建站是合法的吗？  小型网站制作HTML,*游戏网站怎么搭建？  如何制作一个表白网站视频,关于勇敢表白的小标题？  建站主机是否等同于虚拟主机？  招商网站制作流程,网站招商广告语？  专业商城网站制作公司有哪些,pi商城官网是哪个？  网站建设设计制作营销公司南阳,如何策划设计和建设网站？