本文作者是一名地地道道的程序员,最大的乐趣就是爬各种网站。特别是在过去的一年里,为了娱乐和利润而爬掉了无数网站。从小众到主流电子商店再到新闻媒体和文学博客,通过使用简单的工具(如BeautifulSoup)获得了很多有趣且干净的数据—我也很喜欢Chrome 的Headless模式。
本文,作者将分析从Greek wine e-shop商店(一个希腊葡萄酒网站)中获得的数据,来看看哪种葡萄酒最受欢迎。
scraper本身相当简单,可以在GitHub页面(https://github.com/Florents-Tselai/greek-wines-analysis)找到。作者将着重于通过使用标准的Python包对得到的数据(1125个独特的标签)做一些快速的探索性分析。
scraper本身暴露了一个相当简单的API。首先,请求葡萄酒页面的数据,并将数据返回给nicedict,如下所示:
In [2]:
Out[3]:
加载由houseofwine_gr.dump模块生成的数据转储,开发者也可以在GitHub页面找到.json,.csv和.xlsx的数据集。
In [5]:
Out[6]:
重命名一些包含特殊字符的列名,以便将它们用作本机DataFrame存储器。
In [8]:
让我们将color列值从希腊语翻译成英语。
In [10]:
似乎每个标签列表可以给出有关葡萄酒的各种属性(品种,甜味等)的信息。接下来,作者将这些属性分开,将tags列元素从list 转换为set列表元素,因为这样会使操作更简单。也就是说,不是在一个if x in -else-try-except-IndexError中,我们将使用set操作。
以下是4个属性中每一个属性的直方图:
在这一点上,开发者可以(几乎)安全地假设所有剩下的标签显示每种葡萄酒的品种信息,所以定义一个新的列来存储它们。
我们也可以添加一个布尔变量varietal。酒中的混合物只有一种的称为varietal,至少有两种混合物的称作blends。
让我们来看看Varietal / Blend的分布是怎样的。
上面的代码简单地从这里得到:
这些是blends中出现频率最高的品种。
In [30]:
这里是一个热图,显示哪些品种通常混合在一起。
In [31]:
In [32]:
如果你有兴趣,欢迎来Github页面与作者交流。
文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树网络爬虫urllib208856 人正在系统学习中 相关资源:糖烟茶酒行业管理软件 烟酒进销存店铺销售收银管理系统
来源:Asuka177
声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!