python 爬虫如何获取js里面的内容

一、在编写爬虫软件获取所需内容时可能会碰到所需要的内容是由javascript添加上去的 在获取的时候为空 比如我们在获取新浪新闻的评论数时使用普通的方法就无法获取

python 爬虫如何获取js里面的内容

将相应内容放入json数据查看器中我们发现评论总数和评论内容都在该js文件中一json格式存放

python 爬虫如何获取js里面的内容

代码示例

注释:这里解释下为何需要移除 var data= 因为在获取时字符串前缀是包含var data=的 其不符合json数据格式 因此转化时需将其从请求内容中移除

python 爬虫如何获取js里面的内容

来源:hanchaobiao

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2017年5月10日
下一篇 2017年5月10日

相关推荐