美文网首页爬虫python社区Python学习资料整理
为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

作者: 9ba4bd5525b9 | 来源:发表于2019-07-24 14:41 被阅读371次

我们尝试用 Python 抓取天猫内衣销售数据,并分析得到中国女性普遍的罩杯数据、最受欢迎的内衣颜色是什么、评论的关键字。希望看完之后你能替你女朋友买上一件心怡的内衣。我们先看看分析得到的成果是怎样的?(讲的很详细,推荐跟着敲一遍)

这里是分析了一万条数据得出的结论,可能会有误差,但是还是希望单身的你们能找到 0.06% 那一批妹纸。下面我会详细介绍怎么抓取天猫内衣销售数据,存储、分析、展示。

抓取天猫评论数据

写一个抓取天猫评论数据的方法。getCommentDetail

这里需要注意的是 jsonp128 这个值需要你自己看一下,你那边跟我这个应该是不同的。

在上面的方法里有两个变量,itemId 和 currentPage 这两个值我们动态来控制,所以我们需要获得 一批 商品id号 和 评论的最大页数 用来遍历。

写个获取商品评论最大页数的方法 getLastPage

那现在怎么获取 产品的id 列表呢?我们可以在天猫中搜索商品关键字 用开发者模式观察

这里观察一下这个页面的元素分布,很容易就发现了 商品的id 信息,当然你可以想办法确认一下。

现在就写个 获取商品id 的方法 getProductIdList

现在所有的基本要求都有了,是时候把他们组合起来。

在 main 方法中写剩下的组装部分

所有的代码就这样完成了,我现在把 common.py 的代码,还有 tmallbra.py 的代码都贴出来

相关文章

  • 为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

    我们尝试用 Python 抓取天猫内衣销售数据,并分析得到中国女性普遍的罩杯数据、最受欢迎的内衣颜色是什么、评论的...

  • 深刻反省

    附近有一家新开的内衣店,朋友把我拉进了内衣店的微信群里,我看到内衣店介绍的胸衣很不错。下午下班后就去了内衣店,试穿...

  • 用python爬取天猫商品评论并分析(2)

    用python爬取天猫商品评论并分析(2) 之前介绍过天猫数据的爬取和数据初步处理,今天介绍下将采集的评论进行文本...

  • python分析天猫内衣售卖数据,哪个地区的妹子比较大?

    大家好,我是一个老实人,现在我决定用 Python 抓取天猫内衣销售数据,并分析得到中国女性普遍的罩杯数据,和最受...

  • 以诚相待,信任自来

    我有一位老主顾,好几年来总是光顾我的内衣店,除非在我店里选不到合适的而又急等着穿才去其他内衣店选购。否则,她宁可等...

  • 分享的心情

    终于还是没有忍住,将这家内衣店的活动分享了出去。 信息是早上发出去的。只给同科室的小同事分享了一遍。这家品牌内衣店...

  • 这是一篇让人脸红的python数据分析 !

    “情趣内衣哪家强?” 摘要:爬取亚马逊页面情趣内衣销售数据发现了一些好玩的东西 关键词:Python 爬虫 数据分...

  • 为母则强

    一天大街上我办完事想起自己还需要买两个内衣,于是随便走进了一家内衣店。因为比较着急我步履稳健而迅速,直奔主题开始挑...

  • 心静若水日进有功(34)

    开心的事: 今天妈妈生日,姐姐给妈妈买了毛衣,我想给妈妈买一套红内衣,可内衣店的红内衣有点薄,最后挑了一套厚点的紫...

  • 干货!python爬虫100个入门项目

    淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超...

网友评论

    本文标题:为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

    本文链接:https://www.haomeiwen.com/subject/mltzlctx.html