目录
    采集天堂图片网图片数据
    视频教程:模板下载:
    l 采集网站

    【场景描述】采集天堂图片网上的所有的分类图片数据

    【源网站介绍】

    天堂图片网是一个提供丰富图片设计素材为的网站,网站内提供了清晰的图片分类,范围涵盖人物、动物、植物、商务、生活、家居、体育、交通、广告等素材图片。

    【使用工具】前嗅ForeSpider数据采集系统,点击下方链接可免费下载

    http://www.forenose.com/view/forespider/view/download.html

    【入口网址】https://www.ivsky.com/tupian/fengjing_t2333/


    【采集内容】

    采集天堂图片网所有分类图片名称和图片。

     



     

    【采集效果】如下图所示:

    l 思路分析

    配置思路概览:

     

     

    l 配置步骤

    1. 新建采集任务

    选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

     

     

    2.获取分类列表链接

    ①点击采集预览,观察该页面链接,发现分类链接的规律为:https://www.ivsky.com/tupian/字符串



    ②使用地址过滤的方法,将分类链接过滤出来。

    \c表示小写字母的字符串,所以设置地址过滤包含:https://www.ivsky.com/tupian/\c/

     


    3.获取翻页&列表链接

    ①新建模板02,后在其下新建一个链接抽取,可修改名称为翻页链接。

     


    ②将模板01中的链接抽取,关联到模板02中。



    ③采集预览,观察翻页链接中均包含:

    https://www.ivsky.com/tupian/字母串/index  



    ④如下所示设置过滤翻页地址。其中\c表是一串小写字母串

     


    ⑤翻页链接关联自身模板,在此进行如下设置。

     


    ⑥新建一个链接抽取,改名为抽取图片列表链接。

     


    采集预览,打开图片列表链接预览界面,观察图片列表链接规律发现其规律为:

    https://www.ivsky.com/tupian/一串小写字母_一串小写字母_v一串数字/



    ⑦其规律可表示为:https://www.ivsky.com/tupian/\c_\c_v\d/

    \c:表示一个小写

     


    4.抽取图片列表链接

    ①新建模板03,在该模板下新建一个数据抽取。

     


    关联数据表

     


    ②采集预览,打开新建列表链接预览界面,观察图片列表链接规律发现其规律为:

    https://www.ivsky.com/tupian/一串字母_一串字母_v一串数字/pic_一串数字.html

     


    ③以上规律可表示为:https://www.ivsky.com/tupian/\c_\c_v\d/pic_\d.html,如下图所示进行地址过滤。

     



    5.数据抽取

    ①新建模板04,在其下新建一个数据抽取链接。

     


    ②将模板03的链接抽取关联至模板04,。

     


    ③新建一个数据表单,具体步骤和字段属性如下所示:

     


    ④关联表单

     


    ⑤采集预览,选择任意一条图片页链接,在浏览器中打开。

     



    ⑥在页面空白处,右键选中查看源文件。

     


    ⑦发现下图所示位置的链接即为该图片的链接,点击即进入图片页

     

     

    ⑧编写脚本抽取图片数据,具体操作如下:

     


    具体脚本文本如下:

    var st= DOM.GetSource().ToStr();//获取页面源码,并转化为字符串格式
    var b="https:"+st.Middle("\"imgis\" src='","'");//取源码中图片链接
    var doc = EXTRACT.OpenDoc(CHANN, b, "");//打开图片链接
    var pic=doc.GetDom().GetSource( b);//取图片链接页面的源码,即图片
    record re;//定义一个返回
    re.tit=st.Middle("arctitle='","'");//取页面源码中的图片名称,并返回
    re.ex=".jpg";//定义ex为jpg
    re.pic=pic;//返回图片
    RESULT.AddRec(re,this.schemaid);//结束


    ⑨采集预览,双击进入最后数据页,下图所示已经采集到图片了。

     

     

    l 采集步骤

    模板配置完成,采集预览没有问题后,可以进行数据采集。

    ①首先要建立采集数据表:

    选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【tiantang】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

     


    ②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

     


    ③采集及导出数据如下所示:

    *本教程仅供学习交流,严禁用于商业用途!