ForeSpider采集策略相关概念

采集策略相关概念

1.采集策略

采集策略是根据记录的采集日志,选择下次采集任务的采集策略。包括不重采数据页、继续上次采集、更新数据页面、全部重采等。

2.历史日志装载策略

选择装载到日志列表的内容,即历史数据。

3.线程数目

是运行采集任务时,软件启用的线程资源数目。线程数目越大,采集速度越大。用户可以根据自己的硬件配置调大线程数目,以加快采集速度。具体的数目设置可以参考任务管理器的CPU和内存占用率,不要一味求快导致资源耗尽,使软件和计算机崩溃。

如果使用了频道脚本,则线程数目无效,只能为单线程。

4.采集阈值

可以设置一个阈值,在采集量达到阈值时采集自动停止。

5.显示刷新

在采集过程中,数据采集会一直显示刷新出新的数据,但是在大量采集的时候,会占内存而且容易将软件带卡,所以在这里设置刷新的规则。可以优化刷新也可以自定义刷新,采集到多少条数据采刷新一次。

6.定时任务

可以开启定时采集任务,进行自动采集。可以选择定于具体某个时刻进行采集,也可以选择间隔某个时间段后进行采集。