干货（附源代码） | 爬取一万条b站评论，分析9.7分的新番凭啥这么火？

7月番《工作细胞》最终话在十一前放出。这部动漫在b站上评分高达9.7。除了口碑之外，热度也居高不下，更值得关注的是连很多平时不关注动漫的小伙伴也加入了追番大军。这次我们的目标是爬取b站上的所有短评进行分析，用数据说明为什么这部动漫会如此受欢迎。

工作细胞

《工作细胞》改编自清水茜老师的同名漫画，由David Production制作。众所周知，日本ACG作品向来信奉着“万物皆可萌”的原则。前有《黑塔利亚》，后有《舰队Collection》和《兽娘动物园》，分别讲述了将国家，战舰和动物拟人化后的故事。而在《工作细胞》里拟人的对象则轮到了我们的细胞。

这是一个发生在人体内的故事：

人的细胞数量，约为37兆2千亿个。

其中包括了我们的女主角：一个副业是运输氧气，主业是迷路的红血球。

虽然嘴上说着：不会，我只是千千万万个白细胞中的一员。身体却很诚实，从第一集偶遇女主到最后一集，每一集都充满了狗粮的味道。37兆分之一的缘分果然妙不可言。

除了男女主角，配角们的人气也都很高。连反派boss癌细胞都有人喜欢，主要还是因为身世感人+脸长得好。当然人气最！最！最！高的还是我们奶声奶气的血小板。

据宅男们反映：“看了这么多番。只有这一部的老婆是大家真正拥有的。”不仅有，还有很多。除了新颖的科普形式，这部番令人感触最深的是：我们每一个人都不是孤独的个体，有37兆个只属于我们的细胞和我们一同工作不息。每当颓唐和失意的时候，为了那些为了保护你而战斗不止的免疫细胞，为了萌萌的老婆们也要振作起来啊。

《工作细胞》的成功并不是一个偶然，而是众多因素共同作用的结果。下面从数据的角度分析它成为今年7月播放冠军的原因。

爬虫

首先要做的是爬取b站的所有短评，包括评论用户名、评论时间、星级（评分）、评论内容、点赞数等内容，本部分内容为爬虫代码的说明，不感兴趣的读者可以直接跳过，阅读下一部分的分析。

爬的过程写了很久，b站短评不需要登陆直接就可以爬，刚开始用类似之前爬豆瓣的方法，用Selenium+xpath定位爬

但b站短评用这种方法并不好处理。网站每次最多显示20条短评，滚动条移动到最下面才会加载之后的20条，所以刚开始用了每次爬完之后将定位到当前爬的位置的方法，这样定位到当前加载的最后一条时，就会加载之后的20条短评。

逻辑上是解决了这个问题，但真的爬的时候就出现了问题，一个是爬的慢，20条需要十来秒的样子，这个没关系，大不了爬几个小时，但问题是辛辛苦苦爬了两千多条之后，就自动断了，不知道是什么原因，虽然之前爬的数据都存下来了，但没法接着断开的地方接着爬，又要重新开始，还不知道会不会又突然断，所以用这种方法基本就无解了。代码附在下面，虽然是失败的，但也可以爬一些评论下来，供参考。

这种方法爬取失败之后，一直不知道该怎么处理，刚好最近看到网上有大神爬猫眼评论的文章，照葫芦画瓢尝试了一下，居然成功了，而且爬的速度也很快，十来分钟就全爬完了，思路是找到评论对应的Json文件，然后获取Json中的数据，过程如下。

在Google浏览器中按F12打开卡发者工具后，选择Network

往下滑动，会发现过一段时间，会出现一个fetch，右键打开后发现，里面就是20条记录，有所有我们需要的内容，json格式。

所以现在需要做的就是去找这些json文件的路径的规律。多看几条之后，就发现了规律：

第一个json：

https://bangumi.bilibili.com/review/web_api/short/list/strong>media_id=102392&folded=0&page_size=20&sort=0

第二个json：

https://bangumi.bilibili.com/review/web_api/short/listedia_id=102392&folded=0&page_size=20&sort=0&cursor=76553500953424

第三个json：

https://bangumi.bilibili.com/review/web_api/short/listedia_id=102392&folded=0&page_size=20&sort=0&cursor=76549205971454

显然所有的json路径的前半部分都是一样，都是在第一条json之后加上不同的cursor = xxxxx，所以只要能找到cursor值的规律，就可以用循环的办法，爬完所有的json，这个值看上去没什么规律，最后发现，每一个json路径中cursor值就藏在前一个json的最后一条评论中

在python中可以直接把json转成字典，cursor值就是最后一条评论中键cursor的值，简直不要太容易。

所以爬的思路就很清晰了，从一个json开始，爬完20条评论后，获取最后一个评论中的cursor值，更改路径之后获取第二个json，重复上面的过程，直到爬完所有的json。

至于如何知道爬完了所有json，也很容易，每个json中一个total键，表示了当前一共有多少条评论，所以只需要写一个while循环，当爬到的评论数达到total值时停止。

爬的过程中还发现，有些json中的评论数不够20条，如果每次用20去定位，中间会报错停止，需要注意一下。所以又加了一行代码，每次获得json后，通过len()函数得到当前json中一共包含多少条评论，cursor在最后一个评论中。

以上是整个爬的思路，我们最终爬到以下信息

作者

author

评分/星级

score

不喜欢

disliked

likes

这个全0，没用

liked

时间

ctime

content

cursor

状态

last_ep_index

需要说明的地方，一个是liked按照字面意思应该是用户的点赞数,但爬完才发现全是0，没有用。另一个是关于时间，里面有ctime和mtime两个跟时间有关的值，看了几个，基本都是一样的，有个别不太一样，差的不多，就只取了ctime，我猜可能一个是点击进去的时间，一个是评论提交时间，但没法验证，就随便取一个算了，ctime的编码很奇怪，比如某一个是ctime = 1540001677，渣渣之前没有见过这种编码方式，请教了大佬之后知道，这个是Linux系统上的时间表示方式，是1970年1月1日0时0分0秒到当时时点的秒数，python中可以直接用time.gmtime()函数转化成年月日小时分钟秒的格式。还有last_ep_index里面存的是用户当前的看剧状态，比如看至第13话，第6话之类的，但后来发现很不准，绝大多数用户没有last_ep_index值，所以也没有分析这个变量。

代码如下

影评分析

最终一共爬到了17398条影评数据。里面的date是用ctime转过来的，接下来对数据进行一些分析，数据分析通过python3.6完成，代码后台回复”工作细胞“可得