Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

转载请注明作者和出处:http://blog.csdn.net/c406495762
运行平台: Windows
Python版本: Python3.x
IDE: Sublime text3

  • 前言
  • 实战背景
  • 准备工作
    • 什么是Fiddler
    • 手机APP抓包设置
      • Fiddler设置
      • 安全证书下载
      • 安全证书安装
      • 局域网设置
      • Fiddler手机抓包测试
  • 实战走起
    • 下载英雄图片
    • 英雄推荐出装查询助手
  • 总结

1 前言

    暑假回家,”小皇帝”般的生活持续了几天,头几天还挺舒服,闲久了顿时觉得好没意思。眼看着10天的假期就要结束,曾信誓旦旦地说要回家学习,可拿回家的两本书至今一页未翻,强烈的负罪感一直催促着:”你该学习了,你该学习了…”

    我之前的爬虫博客,爬的都是网页的信息,什么下载小说啊,下载动漫啊,下载帅哥图、妹子图啊。玩这些东西的时候,你想过爬取手机APP里面的东西吗/p>


2 实战背景

    程序员的鄙视链,您听说过吗说:老婆漂亮的程序员,鄙视老婆不漂亮的程序员;有老婆的程序员,鄙视没有老婆的程序员;没有老婆有女朋友的程序员,鄙视单身狗;在单身狗之间,才有语言、编辑器和操作系统的互相鄙视。不知为何,看到这句话的时候,我的内心阵阵绞痛。现在看看,这游戏也是如此。玩星际的,鄙视玩dota的;玩dota的,鄙视玩lol的;玩lol的,鄙视玩王者荣耀的。虽说王者荣耀处于游戏鄙视链的低端,但是不得不说,它确实有自己独到的魅力,正因为它降低了玩家的门槛,才有了如今的全民王者的热潮。你永远不知道自己匹配的队友和对手是老人,还是小孩。或者换种说法,是人,还是动物/p>

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

    APP下载地址:APP下载–>点我

    本节课的内容,就是爬取《王者荣耀盒子》这款APP上的信息,废话不多说,直接开始实战!


3 准备工作

1 什么是Fiddler/h2>

    Fiddler是位于客户端和服务器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求,可以针对特定的HTTP请求,分析请求数据、设置断点、调试web应用、修改请求的数据,甚至可以修改服务器返回的数据,功能非常强大,是web调试的利器。

    既然是代理,也就是说:客户端的所有请求都要先经过Fiddler,然后转发到相应的服务器,反之,服务器端的所有响应,也都会先经过Fiddler然后发送到客户端,基于这个原因,Fiddler支持所有可以设置http代理为127.0.0.1:8888的浏览器和应用程序。使用了Fiddler之后,web客户端和服务器的请求如下所示:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

2 手机APP抓包设置

1 Fiddler设置

    打开Fiddler软件,打开工具的设置。(Fiddler软件菜单栏:Tools->Options)

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

    在Connections中设置如下,这里使用默认8888端口,当然也可以自己更改,但是注意不要与已经使用的端口冲突:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

3 安全证书安装

    证书是需要在手机上进行安装的,这样在电脑Fiddler软件抓包的时候,手机使用电脑的网卡上网才不会报错。

    将下载好的安装证书拷贝到手机中,然后进行证书安装(以小米5手机为例),设置(Settings)->(系统和设备中的)更多设置->系统安全->从存储设备安装:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

4 局域网设置

    想要使用Fiddler进行手机抓包,首先要确保手机和电脑的网络在一个内网中,可以使用让电脑和手机都连接同一个路由器。当然,也可以让电脑开放WIFI热点,手机连入。这里,我使用的方法是,让手机和电脑同时连入一个路由器中。最后,让手机使用电脑的代理IP进行上网。

    首先,查看电脑的IP地址,在中使用命令查看电脑IP地址。找到无线局域网WLAN的IPv4地址,记下此地址。

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

5 Fiddler手机抓包测试

    上述步骤都设置完成之后,用手机浏览器打开百度首页,我们就可以顺利抓包了,截图如下:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

    先使用Fiddler抓包看一下,在手机APP《英雄联盟盒子》中的菜单中点击,电脑Fiddler就会抓包如下:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)
点击放大图片

    知道了这些信息,我们就可以将这些英雄的图片进行下载了,编写代码如下:

    运行上述代码,看下结果,72个英雄的图片,分分钟搞定:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

    手机点击这个英雄,可以在电脑Fiddler看到如下抓包内容:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)
点击放大图片

    怎样获取武器的信息包方法同上,点击装备大全:

Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)

    通过Fiddler抓包信息,编写代码如下:

来源:Jack-Cui

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2017年7月5日
下一篇 2017年7月5日

相关推荐