ForeSpider抽取翻页

抽取翻页

采集数据时经常会遇到列表有很多页,需要翻页的情况。以58同城招聘页为例,讲解配置翻页的步骤。

【翻页示例】

1.创建模板

由于链接列表和翻页在同一个页面上,因此创建一个模板即可。

2.创建链接抽取:翻页

【翻页链接抽取】

(1)添加链接抽取

在“职位列表”模板中,添加一个链接抽取,命名为“翻页”。关联模板选择自身模板“职位列表”。

(3)填写过滤串

点击“采集预览”,页码的链接地址具备一定规律,以“pn”作为过滤串。

【页码字符串规律】

【填写字符串】

3.创建链接抽取:职位链接

为该页面的职位列表再添加一个链接抽取,关联模板指向内容页的模板。观察职位链接的字符串规律,填写过滤串。

【职位链接抽取】