目录
    采集易贝(ebay)商品信息
    视频教程:模板下载:
    l 采集网站

    【场景描述】采集易贝(ebay)中某一类别的所有商品信息。

    【使用工具】前嗅ForeSpider数据采集系统,点击下方链接可免费下载

    http://www.forenose.com/view/forespider/view/download.html

    【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958

    【采集内容】

    采集易贝(ebay)中的所有男装商品信息,包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率、物品编号等。 


    【采集效果】如下图所示:

     

    l 思路分析

    配置思路概览:

     


    l 配置步骤

    1. 新建采集任务

    选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

     


    选择普通翻页,点击完成按钮,即创建任务完成。

     


    2.获取翻页链接

    ①在浏览器上打开该页面,分别打开几个翻页页面,观察其链接规律,具体如下:

    图片

    ②不难发现翻页规律为:

    图片

    ③打开爬虫,新建脚本

     


    ④根据刚才发现的规律,用脚本来拼翻页链接。

    具体如下所示:

     


    脚本文本:

    url u;
    for(var i=1;i<=10;i++)//for循环来获得翻页,i为第几页
    {
     u.urlname = "https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958?rt=nc&_pgn="+i; //根据翻页规律拼翻页
     u.title = URL.title+"#"+"第"+i+"页";  //返回链接标题为“第i页”
     u.entryid = CHANN.id;
     u.tmplid = 2; //关联模板2
     RESULT.AddLink(u);
    }

    ⑤保存脚本后,点击右上角【采集预览】按钮,复制任意一条翻页链接,在浏览器打开,看是否成功抽取翻页链接。

     

     3.抽取商品链接


    ①新建一个抽取模板,在其下新建一个链接抽取,具体操作如下所示:

     


    ②采集预览,复制任意一条翻页的链接。

     


    ③将链接粘贴到模板02的示例地址中,并点击右上角【保存】按钮:

     


    ④双击内置浏览器,加载示例地址页面,如下图所示:

     


    ⑤用定位过滤链接的方法,shift+鼠标单击,ctrl+鼠标单击扩大选区,选中所有商品。

     


    ⑥采集预览,双击任意一条翻页链接,查看是否成功抽取商品链接:

     

     

    4.抽取商品数据

    ①新建一个抽取模板,在其下新建一个数据抽取,具体操作如下所示:

     


    ②数据建表,按照下图所示建数据表。(注意字段属性等应严格按照下图进行设置)

     


    ③将新建好的数据表,关联到模板中去,如下图所示:

     

     

    ④填写示例数据,采集预览,复制任意一条商品链接,

     


    将链接粘贴到本模板示例地址中,并双击内置浏览器空白部分,加载本链接。

     


    ⑤关联模板

     


    ⑥字段抽取

    字段抽取使用字段定位取值的方法,具体操作如下所示:

    Pro_name字段:选中本字段后,shift+鼠标单击商品名称,选中商品名称,点击【确认选区】。

     

    Pro_price:方法同上如下图所示:

     


    Pro_stock:

     


    Shop_revuews:

     


    Num:

     


    Shop_name:

     


    Shop_star:

     

     

    ⑦采集预览,双击进入下一层,知道打开数据页,抽取到数据,表示配置成功。

     


     

     l 采集步骤

    模板配置完成,采集预览没有问题后,可以进行数据采集。

    ①首先要建立采集数据表:

    选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【ebay】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

     


    ②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

     


    ③采集中:

     


    ④采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。

     

     


    ⑤导出的文件打开如下图所示:


    本教程仅供教学使用,严禁用于商业用途!