前嗅网络发表于2022年1月27日13:38最后回复于2022年1月27日13:38

采集汽车之家论坛数据

503浏览量

0评论

l 采集网站

【场景描述】采集汽车之家论坛数据。

【源网站介绍】汽车之家提供最新汽车报价,汽车图片,汽车价格大全,最精彩的汽车新闻、行情、评测、导购内容,是提供信息最快最全的中国汽车网站。

【使用工具】前嗅ForeSpider数据采集系统,免费下载:

ForeSpider免费版本下载地址

【入口网址】https://club.autohome.com.cn/JingXuan/0/1

【采集内容】

采集汽车之家论坛中帖子的标题、发布时间、发布内容、浏览量、评论量等基本信息。

 

 

【采集效果】如下图所示:

 


l思路分析

配置思路概览:

 

 

l配置步骤

1. 新建采集任务

选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

 

 

2.获取翻页链接

采用链接过滤的方法来抽取翻页链接,具体如下所示:

①先观察翻页链接规律,找到规律,很明显翻页链接中都包含:https://club.autohome.com.cn/JingXuan/0/

 


②设置地址过滤,过滤包含“https://club.autohome.com.cn/JingXuan/0/”的链接,这样就把翻页链接过滤出来了。

 


③关联模板,将翻页链接抽取,关联模板01。

 

 

3.抽取列表链接

①新建一个链接抽取,改名为【列表链接】,将翻页链接抽取改名为【翻页链接】。

 


②使用链接过滤的方法来获取列表链接,先采集预览,打开列表链接预览结果,找到帖子链接并观察规律,发现其中都包括:“https://club.autohome.com.cn/bbs/thread/”

 

 

③设置地址过滤,过滤包含“https://club.autohome.com.cn/bbs/thread/”的链接,这样就把翻页链接过滤出来了。

 

 

4.抽取数据

①新建一个抽取模板,在其下新建一个数据抽取,具体操作如下所示:

 

 

②数据建表,按照下图所示建数据表。(注意字段属性等应严格按照下图进行设置)

 

 

③将新建好的数据表,关联到模板中去,如下图所示:

 


 

④填写示例数据,采集预览,复制任意一条新闻链接。

 


⑤将链接粘贴到本模板示例地址中,并双击内置浏览器空白部分,加载本链接。

 


⑥关联模板

 


⑦数据取值

使用定位取值的方法,title字段如下所示:

 

 

Pub_time字段如下所示:

 


其他字段也按照同样的方法进行定位取值。


⑧采集预览

 能采集预览到数据,说明配置成功,可以开始数据采集。


 

采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

1.建立数据表单

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【qczj】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

 

 

2.开始采集

选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

 

 

3.导出数据

采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。

 

 

导出的文件打开如下图所示:

 


本教程仅供教学使用,严禁用于商业用途!


l 前嗅简介

前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!


私信

举报