采集房天下二手房信息

教程列表

搜索

采集房天下二手房信息

视频教程：模板下载：

一.场景简介

1.场景描述：采集房天下最新二手房信息。

2.入口网址：https://tj.esf.fang.com/

3.采集内容：

采集天津市房天下，二手房模块中的所有二手房的标题、价格、户型、面积、单价、朝向、楼层、装修、小区、区域、联系人、电话。

二.思路分析

|配置思路概览

|配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

2.翻页配置

获取二手房页面中全部翻页链接，观察翻页链接规律发现：

https://tj.esf.fang.com/house/i32/ 第二页链接

https://tj.esf.fang.com/house/i33/ 第三页链接

https://tj.esf.fang.com/house/i34/ 第四页链接

不难发现，翻页链接组成为：

https://tj.esf.fang.com/house/i+页数+/

①故添加脚本如下：

脚本文本如下所示：

var foor = DOM.FindClass("shop_list shop_list_4","div",0 );//找到class为shop_list shop_list_4的节点
var foora= DOM.FindName("dl",foora );//找到foor节点下名为dl的节点
while(foora)//如果是foora节点
{
url link;//定义一个url
var pro = DOM.FindName("dd",foora ); //找到foora节点下name为dd的节点
link.urlname= url.StdUrl(URL.urlname,pro.child.child.href);//输出链接为pro节点的子节点的子节点的href
link.title =pro.child.child.title;//输出链接标题为pro节点的子节点的子节点的title
link.tmplid = 2;//关联模板2
RESULT.AddLink(link);//结果输出一条链接
foora = foora.next;//跳到foora节点的下一个节点，即下一个【dl】的节点
}

②采集预览

3.链接抽取

①新建模板二，并新建一个链接抽取，用来抽取每个翻页中所有二手房链接。

②列表链接需要脚本配置，操作如下图所示：

③查看页面源码，打开浏览器中该页面，点击F12，点击指针按钮，如下图所示，用指针按钮选中所需要的二手房链接，这时在右侧出现对应源码内容。说明链接在class为【shop_list shop_list_4】的节点下。

④经过观察发现，我们要找的是【shop_list shop_list_4】节点下每一个名为【dl】的节点对应一个二手房信息。

每个【dl】节点中的名为【dd】节点的子节点的子节点的href就是该二手房的链接。

⑤根据以上思路，具体配置脚本如下，配置好脚本后点击右上角【保存】。

文本如下所示：

var foor = DOM.FindClass("shop_list shop_list_4","div",0 );//找到class为shop_list shop_list_4的节点
var foora= DOM.FindName("dl",foora );//找到foor节点下名为dl的节点
while(foora)//如果是foora节点
{
url link;//定义一个url
var pro = DOM.FindName("dd",foora );//找到foora节点下name为dd的节点
link.urlname= url.StdUrl(URL.urlname,pro.child.child.href);//输出链接为pro节点的子节点的子节点的href
link.title =pro.child.child.title;//输出链接标题为pro节点的子节点的子节点的title
link.tmplid = 2;//关联模板2
RESULT.AddLink(link);//结果输出一条链接
foora = foora.next;//跳到foora节点的下一个节点，即下一个【dl】的节点
}