美文网首页
京东用户评论图片的抓取

京东用户评论图片的抓取

作者: 王园百度 | 来源:发表于2018-08-08 16:26 被阅读0次

以小度音箱为例:

1、该商品评价的页面:

     https://item.m.jd.com/product/7344084.html#summary

2、异步接口:      https://wq.jd.com/commodity/comment/getcommentlistsorttype=5&sceneval=2&sku=7344084&page=4&pagesize=10&score=4&t=0.3348243901823582

score参数的含义:

score=0 表示全部评论

score=1 表示差评

score=2 表示中评

score=3 表示好评

score=4 表示有图片的评论

异步接口的数据实例:(异步接口的数据是str类型)

为了更好的解析接口数据,可以把字符串转为json数据,可以参考https://blog.csdn.net/lluozh2015/article/details/75092877。

转json之前需要对str做一个预处理:json_data.replace("commentCB(","").replace("})","}")

3、从json数据中提取图片URL信息

从json数据中解析出来的imgUrl是缩图url。

缩图url:http://img30.360buyimg.com/shaidan/s128x96_jfs/t26095/208/148804966/77909/81d91e02/5b678c36N2eb541be.jpg

把url中的“s128x96_”去掉即为原图url:http://img30.360buyimg.com/shaidan/jfs/t26095/208/148804966/77909/81d91e02/5b678c36N2eb541be.jpg

4,得到图片url后通过urllib.urlretrieve即可下载图片:

      抓取的图片如下所示:

相关文章

网友评论

      本文标题:京东用户评论图片的抓取

      本文链接:https://www.haomeiwen.com/subject/pimtbftx.html