ForeSpider参数表配置

参数表配置

参数是指网页请求数据时,返回的参数信息。

一. 无需验证码

以百度搜索为例。

1.点击“获取参数表”按钮,弹出配置窗口。

【配置搜索栏】

2.按Ctrl+鼠标左键单击搜索栏,保存后关闭。

【配置搜索栏】

3.检查表单,域类型一列中是否出现了“检索关键词”。如果出现了,配置完毕。

【检查检索关键词】

如果没有,或采集时有误,需要手动添加参数表。简单的请求地址可以通过观察,找到各项参数。复杂的请求地址需要借助浏览器的开发者工具,对比表单中的域名称,手动添加各项参数。手动配置具体方法见下文。



二. 需要验证码

以企业信息公示系统为例。

1.点击“获取参数表”按钮,弹出配置窗口。

2.按Ctrl+鼠标左键单击搜索栏。

【带有验证码的搜索配置1】

2.按Ctrl+鼠标左键单击“验证码输入框”。

【带有验证码的搜索配置2】

3.按Ctrl+鼠标左键单击“验证码图片”。

【带有验证码的搜索配置3】

4.按Ctrl+鼠标左键单击“搜索按钮”。

【带有验证码的搜索配置4】

5.点击保存按钮,关闭窗口,完成配置。

6.检查域类型。由于是需要验证码的搜索,所以域类型必须出现“检索关键词”和“验证码”两项。图中未出现“检索关键词”,需要手动修改域类型。

【带有验证码的搜索配置5】

根据判断,域名称为“searchContent”的域类型为“检索关键词”,手动修改过来。

【带有验证码的搜索配置6】



三. 手动添加参数表

以该网址为例,介绍如何手动添加参数表。

http://www.soqi.cn/search.xhtml?keywords=%E6%88%90%E9%83%BD&city=100000&search_type=1


(一)第一步:观察网址规律。

1.请求地址:“?”前的地址是页面的请求地址。

2.检索关键词:keywords。

其他参数:“=”前是参数名称,“=”后是参数值。


(二)第二步:添加参数表。

点击添加按钮,添加参数。

【添加参数】


(三)第三步:修改参数表。

【修改参数】



四. Cookie刷新

Cookie刷新方式是指在采集过程中,采集每一条数据时,是否刷新采集地址入口页,以获取Cookie信息。

1.不刷新:无需刷新入口地址。

2.首次刷新:数据采集时,只刷新一次入口地址。

3.重复刷新:采集每个关键词时,都刷新一次入口地址。