在不清除日志的情况下,可以依照采集日志进行采集策略设定。如果日志清除了,则从头开始采集。(清除日志并非是清除数据表中的数据,只是清除了采集历史记录。)
ForeSpider预置了各种采集策略,通过排列组合可以完成各种场景的复杂的任务控制。
序号 | 菜单内容 | 描述 |
1 | 自定义 | ①全部装载:以下全选。 ②装载任务地址:重新采集任务地址。 ③入库失败:再次采集之前提示采集入库失败的记录。 ④上次未采集:继续采集之前在任务队列但没有采集的日志记录。 ⑤采集错误:再次采集之前提示采集错误的记录。 ⑥采集正确:再次采集之前提示采集正确的记录。 ⑦链接页面:无论是否采集过,采集任务中全部的链接页面。 ⑧数据页面:无论是否采集过,采集任务中全部的数据页面。 |
2 | 增量采集 | 不再重采历史数据页面,只采集全部链接页面,以增量更新网站新增加的链接内容。 |
3 | 继续上次采集 | 继续上次终止时的任务列表采集,保证不重复采集任务。 |
4 | 全部重采 | 从头开始重新采集,自动清除全部日志。 |
根据采集日志,选择采集任务的采集策略。
【采集策略】