首页
数据中心
数据采集
产品介绍
价格
下载免费版
在线购买
采集模板&案例
教程
数据分析
数据库
Web服务器
KSP语言
KSP介绍
开发文档
论坛
前嗅网络用户登录
忘记密码
还没有账号?
点击注册
首页
数据中心
数据采集
产品介绍
价格
下载免费版
在线购买
采集模板&案例
教程
数据分析
数据库
Web服务器
KSP语言
KSP介绍
开发文档
论坛
前嗅网络用户登录
您输入的账号或密码错误
忘记密码
还没有账号?
点击注册
咨询
ForeSpider教程
KSP教程
ForeSpider教程
ForeSpider脚本教程
视频教程
采集模板下载
KSP教程
软件介绍
流程&界面
基本概念介绍
配置-频道
配置-模板
配置-表单
采集数据
浏览数据
日志管理
资源管理
菜单栏
脚本简介
采集示例
一.ForeSpider介绍
1.软件用途
2.软件功能
3.服务模式及价格
· 软件价格
· 采集模板配置价格
· 数据挖掘配置价格
· 采集托管价格
4.登录、试用及购买
· 登录注册
· 购买软件
二.操作流程&界面介绍
1.配置表单
2.配置频道
3.配置模板
4.数据采集
5.数据浏览、导出
6.日志管理
7.资源管理
三.基本概念介绍
1.频道相关概念
2.模板相关概念
3.表单相关概念
4.采集策略相关概念
5.网络策略相关概念
6.其他
四.配置频道
1.创建频道
2.输入采集地址
3.设置频道属性
4.登录和Cookie配置
· 登录配置
· Cookie配置
5.关键词搜索配置
·参数表配置
· 关键词列表
· 验证码配置
6.脚本配置
五.配置模板
1.模板介绍
· 模板介绍
· 模板配置流程
· 模板的树状结构
2.创建模板
3.填写示例地址
4.创建链接抽取
5.关联模板
6.地址/标题过滤
· 采集预览
· 地址过滤
· 标题过滤
· 定位过滤
7.创建数据抽取
8.选择关联表单
9.字段定位取值
· 字段取值类型分类
· 标准定位
· 特征定位
· 多值:采集表格数据
· 模板取值:从另一页面采集数据
· 选取节点属性值:采集html标签的属性值
· 采集图片
10.字段处理
11.采集预览
· 预览配置效果
· 采集预览错误
12.数据脚本
· 模板脚本
· 链接脚本
· 过滤脚本
· 数据脚本
· 字段取值脚本
· 字段处理脚本
六.配置表单
1.标准配置方式
· 创建表单
· 创建字段
2.快速建表
3.常见数据表及字段用例
· 企业信息
· 新闻、博客
· 商品信息
· 评论
七.采集数据
1.连接数据库
2.选择数据表
3.采集策略配置
4.网络策略配置
5.删除日志
6.关闭不需要采集的频道
7.数据采集
八.浏览数据
1.浏览数据
2.导入导出数据
十.资源管理
1.IP代理资源管理
2.验证码资源管理
3.采集模板下载管理
十一.菜单栏
1.文件
2.查看
3.编辑
4.数据
· 连接数据库
· 选择数据表
· 高级功能
5.设置
· 采集策略配置
· 验证码策略配置
· 数据挖掘词典设置
· 多机集群服务配置
· 系统设置
6.脚本
7.工具
8.帮助
十二.脚本简介
1.脚本介绍
· 脚本与可视化配置的关系
· 各操作环节编写的脚本之间的关系
2.脚本编写区域
3.涉及到脚本的操作环节
· 第一级:频道-脚本配置
· 第二级:模板脚本
· 第三级
· 第四级
4.脚本帮助文档
十三.采集示例
1.功能操作示例
· 登录
· Cookie
· 检索栏:关键词搜索
· OAuth认证
· 验证码
· 抽取翻页
· 采集表格数据
· 采集带有特征性文字的内容
· 采集数据分布在不同页面的内容
· 采集url、抓取时间、页面大小等参数数据
· 采集图片
· 不采集图片只采集图片地址
2.网站配置示例
· 配置采集文件
· 数据采集操作
链接脚本
数据脚本
过滤脚本
字段取值脚本
字段处理脚本
软件可以采集的范围
软件不能采集的范围
数据库
数据表
表单
字段
取值类型
变量类型
字段属性
字符串长度
扩展主类型
扩展子类型
频道
采集地址
关键词搜索
参数表
模板
示例地址
链接页
链接抽取
关联模板
链接标签
地址过滤
标题过滤
过滤串
数据页
数据抽取
标准定位
特征定位
字段定位取值
模板取值
取值标示
多值
字段处理
模板预览
线程数目
采集策略
历史日志装载策略
超时
重定向
IP代理
采集预览
脚本
日志
添加字段
字段名称
取值类型
变量类型
字段属性
字段长度
扩展主类型
扩展子类型
字段描述
创建频道
修改频道名称
导入导出频道
登录无需验证码
登录需要验证码
无需验证码
需要验证码
手动添加参数表
Cookie刷新
局部关键字
特征关键字
大文本
特殊标签
固定位置的图片:图片字段
位置不固定的图片
检查文档详情
查看错误提示语
数据处理脚本
数据过滤脚本
导出采集文件
导入采集文件
全部保存
登录
退出
采集策略
任务设置
网络配置
IP代理配置
创建数据表单
频道配置
模板配置
连接数据库
选择数据表
采集策略配置
删除日志
关闭不需要采集的频道
数据采集