美文网首页
如何采集网页中的图片及链接数据

如何采集网页中的图片及链接数据

作者: 前嗅大数据 | 来源:发表于2019-12-11 14:36 被阅读0次

本篇教程我们以采集【昵图网】为例,话不多说,赶紧和我一起想学习吧:

采集图片及链接地址

以采集昵图网某图片为例

一. 网站结构

1. 网站截图说明

采集昵图网某页面中所有图片及链接地址

【昵图网某页面】

2. 采集结果截图

【检索列表链接】

【检索数据结果】

一. 配置模板

1.新建任务

点击【下一步】,需要采集全部检索结果,所以此处需要勾选【链接列表】和【普通翻页】,如图:

【新建采集任务】

2.过滤链接列表

①用定位过滤链接,过滤关键词检索出的列表链接。

【定位过滤列表链接】

②采集预览,看是否过滤成功。

采集预览出现链接均为网页中关键词检索列表中的链接,过滤成功。

【采集预览】

3. 过滤翻页链接

①用定位过滤链接,过滤翻页链接。

【定位过滤翻页链接】

②采集预览,看是否过滤成功

采集预览出现链接均为翻页的链接,过滤成功。

【采集预览】

4.新建数据抽取

5.添加示例地址

6.创建/选择表单

表单创建后可以重复选择使用,如果已有建好的表单,选择对应数据表单即可。如果没有,点击创建表单。

7.配置表单

根据所需内容,配置表单字段,此处配置了包括主键、网页地址、图片三个字段。=>(字段各属性介绍)

方式一:快速建表。(点击【创建表单】出现弹窗。)

【配置表单】

方式二:自由建表。(在【数据建表】界面。)

【字段取值】

8.关联表单

9.字段取值

①f_id:主键字段,自动取值。=>(能够自动取值的字段有哪些?)

②url:当前页面网址,自动取值。

③name1:通过字段定位取值,按ctrl+单击标题,确认选取。

【name1】

④fujian:通过字段定位取值,按ctrl+单击图片,确认选取。

10.关联数据表

先选择对应表单,然后再创建关联数据表,如图所示。

【创建关联数据表】

【定义表名称】

【勾选数据表】

11.模板预览

通过预览,可以了解配置是否能够正确地采集到所需数据。

方式一:点击【采集预览】按钮,可以从入口页逐层预览各个模板的数据。

点击任意一条链接,看看是否可以得到和网页对应的规整的数据。

方式二:右键后选择【模板预览】,可以单独预览某个模板的数据。

【模板预览】

【预览结果】

三.数据采集

1. 运行设置

运行设置处可以设置采集速度、采集策略、任务装载等。

【运行设置】

2. 选择采集任务

在【任务列表】中勾选需要采集的任务,可勾选多个任务,同时采集。

【选择采集任务】

3. 开始采集

点击【开始采集】,系统开始进行采集。剩余任务数为0时,系统自动停止采集。用户也可以自己暂停任务或停止任务(停止任务会释放任务,再次启动时重新装载任务)。

【开始采集】

4.数据浏览

采集一段时间以后,点击【数据浏览】,在数据列表中选中对应的数据表,即可浏览采集到的数据,点击【刷新】按钮可以同步显示数据。

【数据浏览】

5.导出数据

点击【导出】按钮,选择导出文件格式后保存。

【导出数据】

【导出数据】

 今天就先分享到这里,你学会了吗?

相关文章

  • 如何采集网页中的图片及链接数据

    本篇教程我们以采集【昵图网】为例,话不多说,赶紧和我一起想学习吧: 采集图片及链接地址 以采集昵图网某图片为例 一...

  • Python简单爬取网页图片

    网页数据的采集及相关库 在python中我们通过网络库进行数据的采集和下载。网络库.png ​ urllib库...

  • 采集案例二:采集京东商品详情

    采集系列文章 爬虫软件的介绍及案例说明(文章链接) 案例一:采集京东商品列表页数据(文章链接) ▶案例二:采集京东...

  • 采集案例三:采集京东商品评论

    采集系列文章 爬虫软件的介绍及案例说明(文章链接) 案例一:采集京东商品列表页数据(文章链接) 案例二:采集京东商...

  • 爬虫软件的介绍及案例说明

    采集系列文章 ▶爬虫软件的介绍及案例说明(本文) 案例一:采集京东商品列表页数据(文章链接) 案例二:采集京东商品...

  • 采集案例一:采集京东商品列表页数据

    采集系列文章 爬虫软件的介绍及案例说明(文章链接) ▶案例一:采集京东商品列表页数据(本文) 案例二:采集京东商品...

  • form表单

    form表单作用及常用input标签 表单在网页中主要负责数据采集功能。表单也是用来提交资料、意见,规范流程执行过...

  • 如何采集网页中附件

    本篇教程我们以采集【山西招投标网】为例,话不多说,赶紧和我一起想学习吧: 采集网页中的【模板】数据 案例:山西招投...

  • Python网络数据采集3-数据存到CSV以及MySql

    Python网络数据采集3-数据存到CSV以及MySql 先热热身,下载某个页面的所有图片。 将网页表格存储到CS...

  • 数据埋点之三:需要采集哪些数据?

    数据需求也就是我们要如何去通过数据评价该模块的版本效果,以 及可以采集哪些数据去做用户特征分析。 需要采集的数据主...

网友评论

      本文标题:如何采集网页中的图片及链接数据

      本文链接:https://www.haomeiwen.com/subject/otiogctx.html