社区>>ForeSpider操作教程>>ForeSpider不为人知的一面
ForeSpider不为人知的一面

73浏览量

0评论

<<返回列表

前嗅大数据发表于2018年6月28日17:15:11最后回复于2018年6月28日17:15:11

《noInit》<<上一篇

《采集数据时本地IP被封怎么办?》下一篇>>

本文简述了关于前嗅ForeSpider爬虫中一些不为人知的知识点,包括高级功能,运行设置以及隐藏在模板配置中的一些神奇又强大的功能。

一、运行设置

运行设置中所有设置均是全局的设置。不单单对应一个频道。

1. 采集速度

采集速度是指爬虫爬取网页的速度,一般在购买代理IP之后才会使用到,但是如果网站防爬不强,也可以更改线程数目,以达到快速采集的目的。

①线程数目:线程数目越大,采集速度越快。

②采集间隔:采集间隔为隔多少秒采集一次,是防止被封IP的时候设置的。

2. 采集策略

采集策略是相对于日志而言的。一般在任务没有跑完,或者采集新增任务时候才会用到。

链接页面和数据页面的区别?

链接页面顾名思义是只有链接的页面,而数据页面是指只要有数据抽取的全部页面。

3. 任务装载

任务装载一般在两个频道一起采集的时候才会用到。

①装载顺序:

负载均衡:两个频道一起采集。

顺序优先:把一个频道先采集完,再采集另一个频道。

②装载方式:

同步:所有链接页加载完,再采数据页。

异步:加载一条链接,采集一条数据。

4. 网络超时

网络超时一般是指请求网页的过程中,等待接收及发送的时间,如果在这个时间内没有接收完成或者发送完成,需要重试的次数。

5. http设置

有些网站可能在某个特定的浏览器里面才可以可视化的配置,所以如果示例地址出不来,可以更改模拟浏览器版本试试看。

重定向:当网站发现是爬虫之后,可能会重定向到其他页面,这个时候可以试试调高重定向重试次数,来访问网站。

6. 加载设置

当页面是使用JavaScript写的,不解析无法采集的时候,可以进行选择。

完全禁用:全部都不解析,不采集。

完全不禁用:全部都解析,采集。

不完全禁用:直解析标签,不解析外联的。

SLL协议:Http/Https协议。有两条通道,禁用了之后只走不加密的通道,加快打开网站的速度。

7. 任务模式

一般选成手动开始,自动停止就可以。

8. 任务定时

需要定时启动及结束任务时可以设置。

9. 过滤设置

需要过滤大、小文件或者文件类型时使用。

二、高级功能

1. OAuth认证

OAuth认证是一种代理认证的方式,通过用户Key,用户secret,授权Key,授权secret四个参数进行认证,必须四个参数全部匹配上,才可以确定为合法。

2. 采集映射

采集映射是可以在频道建跳转的,为频道之间的相关关系。配置好一个频道之后,可以在频道之间进行跳转。

①采集映射规则:通过勾选相关规则,按照规则进行映射。

②映射列表:可以在映射列表中选择映射的频道。

采集映射和模板继承有什么关系呢?

模板继承必须有父亲节点和孩子节点,必须为孩子节点继承父亲节点。不能在频道之间跳转。

3. 独立控制

如没有打开独立存储功能,所有相同表结构的数据会存储在同一张数据表中(注:表单为数据表的表结构)。开启独立控制后,爬虫的表单会自动创建表关联,并对数据进行分别存储。

独立存储命名:“频道ID 表单名”。

4. 自动化控制

自动化控制为某频道的独立控制,包括自动扫描间隔、时间过滤开始时间,时间过滤的结束时间。

时间过滤:针对的是只想采集最新数据的用户,可以精确地控制采集时间。

5. 关联变量

关联变量中可以放字符串等,该变量可以动态改变。

三、其它神奇功能

在ForeSpider中,还有许多不为人知的神奇而强大的功能,大家发现了没?

1. 全局脚本

全局脚本是所有频道共有的脚本,需要写全局脚本的时候注意安全性。

2. 网页编码


当模拟浏览器无法显示网页时,可以检查一下是不是网页编码的问题,可以通过改变网页编码(gbk,utf8),显示当前页面。

3. 默认数据抽取

插入:多一条算一条插入,一般默认为插入。

更新:数据表中已经存在数据,需要采集新数据的时候,可以选择更新。

追加:统计某条数据,出现的次数的时候,不需要每一条都入库,选择之后可以只入库一次,在数据库中,可以统计该条数据出现的次数。

更新失败插入:数据表里已经存在数据,但是更新失败了,可以选择更新失败插入,这个时候就可以再次入库了。

4. 快速建表

在数据抽取页面下的“创建表单”按钮,点击之后就可以进行快速建表了。

这些隐秘而伟大功能什么时候才会用到,大家学会了吗?有问题欢迎各种方式的咨询哦~


相关评论

+  写评论

    私信

    举报

    回复

    举报

    私信

    举报

    回复