使用工具:Fiddler+基础爬虫
知乎热榜案例:使用fiddler+基础爬虫爬取知乎热榜
前言
首先简单的介绍一下一些网站以及一些手机app的原理,很多网站和手机app基本都是先把架子写好,然后往架子里填充数据,然而这些数据基本都是通过手机app或者网站向服务器发起请求,之后服务器返回json或者xml数据,然后网站或者手机app对数据进行解析到各个地方。之前我写过的一个微信小程序经纬我查查就是通过这种方式来操作的,通过小程序获取用户当前的地址,之后将地址传到服务器进行坐标转换再将结果传回解析到相应的位置。
1.设置Fiddler
先去官方网站下载一个fiddler,具体怎么下载就不说了,下边直接开始说关于如何设置的问题。
之后再去HTTPS,将相应的内容打对,因为访问HTTPS网站需要下载专门的证书
进入之后将HTTP代理调成手动,相应的位置输入相应的内容(电脑ip可以打开cmd输入ipconfig有一个ipv4就是计算机局域网内的ip)
之后安装证书即可
找前边标志位json的
之后你复制一下文本,打开unicode转码,将这些代码复制进去猛然发现,这不就是我们要爬取的东西吗img class=”aligncenter” src=”” alt=””>
4.爬取
开始写爬虫
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树首页概览208427 人正在系统学习中 相关资源:今目标软件(桌面今目标)09/26-专业指导文档类资源-CSDN文库
来源:weixin_39929595
声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!