以采集昵图网(http://www.nipic.com/topic/show_27345_1.html)图片为例。
一.网站结构
1.网站截图说明
采集昵图网某页面中所有图片及链接地址。
【昵图网某页面】
2.采集结果截图
【检索列表链接】
【检索数据结果】
二.配置模板
1.新建任务
点击【下一步】,需要采集全部检索结果,所以此处需要勾选【链接列表】和【普通翻页】,如图:
【新建采集任务】
2.过滤链接列表
①用定位过滤链接,过滤关键词检索出的列表链接。
【定位过滤列表链接】
②采集预览,看是否过滤成功。
采集预览出现链接均为网页中关键词检索列表中的链接,过滤成功。
【采集预览】
3.过滤翻页链接
①用定位过滤链接,过滤翻页链接。
【定位过滤翻页链接】
②采集预览,看是否过滤成功。
采集预览出现链接均为翻页的链接,过滤成功。
【采集预览】
4.新建数据抽取
【新建数据抽取】
5.添加示例地址
【添加示例地址】
6.创建/选择表结构
表结构创建后可以重复选择使用,如果已有建好的表结构,选择对应数据表结构即可。如果没有,点击创建表结构。
7.配置表结构
根据所需内容,配置表结构字段,此处配置了包括主键、网页地址、图片三个字段。=>(字段各属性介绍)
方式一:快速建表。(点击【创建表结构】出现弹窗。)
【配置表结构】
方式二:自由建表。(在【数据建表】界面)
【字段取值】
8.关联表结构
9.字段取值
①f_id:主键字段,自动取值。
②url:当前页面网址,自动取值。
③name1:通过字段定位取值,按ctrl+单击标题,确认选取。
【name1】
④fujian:通过字段定位取值,按ctrl+单击图片,确认选取。
10.关联数据表
先选择对应表结构,然后再创建关联数据表,如图所示。
【创建关联数据表】
表名称不能使用中文命名,可以使用英文+数字组合,必须用英文字母开头。
【定义表名称】
【勾选数据表】
10.模板预览
通过预览,可以了解配置是否能够正确地采集到所需数据。
方式一:点击【采集预览】按钮,可以从入口页逐层预览各个模板的数据。
点击任意一条链接,看看是否可以得到和网页对应的规整的数据。
方式二:右键后选择【模板预览】,可以单独预览某个模板的数据。
【模板预览】
【预览结果】