对于互联网人来说，web data scraping (web数据采集)已经成为一个迫切而又实在的需求。在如今这个开源的时代，问题往往不在于是否有解决方案，而是如何选择适合你的解决方案，因为总是有很多潜在的方案供你选择。web data scraping当然也不例外，笔者认为，我们至少有四种类型的方案可以选择，
1. web scraping software
专用的数据采集软件不需要你编写任何代码，你只需要配置一些信息，例如采集的目标网址、兴趣字段等等。然而，学习如何使用这些软件却是一项非常费力的事情，大部分都需要有一定的技术背景，常常需要了解的技术有：xpath, html, regular expression。笔者列举几款这方面的软件如下，
- 火车头采集器—-支持输出到各种数据库
- A1 Website Scraper—— 支持输出到csv文件；
- bget web data extraction—– 支持输出到数据库和csv文件；
更多这方面的软件信息，可以参考这份文档： collections of web scraping software and server
2. web scraping framework
scraping framework可能是developer的最佳选择，因为其功能强大且效率高，而且有适用于不同平台的framework可供选择，例如：
- scrapy, python平台
- upton, ruby平台
- pismo, ruby平台
- nokogiri, ruby平台
- node.io, node.js平台
- crawler, node.js平台
笔者认为，python在数据处理方面具有强大的优势，更重要的是，python也非常适合实际产品的开发，笔者执着而坚定地推荐scrapy作为web scraping的首选.
3. web scraping service
如果你只是想获得数据，而又不愿意劳心费神的去学习具体的scraping技术，那么一家可靠的web scraping service服务商可能是你最好的选择，比较知名的web scraping service有如下几个：
- http://80legs.com/services.html
- http://www.grepsr.com/
- http://scrapinghub.com/
- http://www.connotate.com/
- http://scrapinghub.com/
4. 其他的选择
Selenium 原本是浏览器自动化测试工具，但是也可以用于web scraping。 如果你采集的网页内容是由javascript自动生成的，那么你可能需要Selenium, 因为其他的scraping方案中的html parser往往都不支持javascript，例如scrapy。另外，有很多网站禁止scraping, 这个时候你也需要Selenium, 因为Selenium完全是模拟人的浏览行为，Selenium本质上是工作于浏览器之上的。
当然，我们也可以选择很多基于javascript的scraping方案，例如PhantomJS 就是一种非常好的选择，PhantomJS本质上也是模拟了浏览器。
文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览210907 人正在系统学习中
来源：凤歌孔丘
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！