前嗅ForeSpider数据采集系统帮助文档

采集策略配置

在菜单栏“设置”中的“采集策略配置”中,可以设置采集过程中的策略和参数。如果无需更改策略,可以跳过这个步骤。

可以修改的策略如下:

1.采集速度

采集速度与线程数目有关,系统默认的线程数目是1。用户可以根据自己的硬件配置调大线程数目,以加快采集速度。具体的数目设置可以参考任务管理器的CPU和内存占用率,不要一味求快导致资源耗尽,使软件和计算机崩溃。

2.采集策略和装载策略

通过选择采集策略和装载策略,可以灵活控制每次开启采集时的采集任务,例如不重采、只采集上次未采集到的数据等。查看具体配置

3.开启定时采集/关闭

可以开启定时任务,在无人值守的情况下每天自动采集。

4.任务设置

可以设置每次采集任务的采集量上限,使软件采集完毕后自动停止。设置文件大小上限和文件类型,可以防止采集到过大的视频、压缩文件等,浪费网络资源。