网络爬虫-神器fiddler抓取app数据

才接触爬虫的时候,我们通常使用的是浏览器的开发者工具-F12里的NetWork对网页进行抓包,但是这有一个缺点,就是如果网页加载了很多乱七八糟的东西,比如广告啊,各种各样的js之类的时候,NewWork就显得有点吃力了,我们就需要使用更强大的工具来进行抓包,我个人比较喜欢使用Fiddler,毕竟免费的好用,另外有喜欢的朋友也可以使用Charles,它只能免费使用一段时间。
这里贴出下载地址:
fiddler官网下载
charles官网下载

这里对fiddler进行测试。
安装好之后,我们打开fiddler,然后打开浏览器,就可以看到,现在fiddler代替了我们的开发者工具,对http请求进行了抓取,这时候我们还需要进行一些设置,让它可以抓取https请求。

网络爬虫-神器fiddler抓取app数据
网络爬虫-神器fiddler抓取app数据

这时候需要对模拟器进行配置,真机也是同样步骤~!

网络爬虫-神器fiddler抓取app数据

点击 FiddlerRoot certificate 下载安装证书即可。

大功告成

现在我们就可以对app进行抓包操作了,以酷航app为例:

网络爬虫-神器fiddler抓取app数据

可以看到 我们已经将酷航app的查询请求抓取下来了,可以对它进行重发以及各种花里胡哨的操作了~

但是如果还需要进一步的了解的话,比如酷航app会产生一个wtoken参数,这个就例如网页中的js加密一般,是在apk底层生成的,需要我们去捕获进行模拟生成,因为这个会在服务器上进行验证,网页端的js加密token也是如出一辙,这就需要涉及到安卓的逆向工程以及反编译了,有兴趣的童鞋也可以去了解一下,需要一定的java基础哦!

有需要帮助的童鞋可以进行留言一起探讨,一起学习进步 ~!

来源:井蛙不可语于海

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2018年8月26日
下一篇 2018年8月26日

相关推荐