Web页面信息采集示例（一）

如果没有使用过 Web页面信息采集功能请参考此文。

这里要给大家做示例的网站是新浪的 考古发现频道 ，这是个比较通用和实用的规则。

一、建立采集规则

点击系统左侧的“功能管理”→“信息采集管理”→“Web页面信息采集”进入Web页面信息采集的界面。

点击界面中的“添加采集规则”按钮，进入添加采集规则界面。

1、采集规则基本信息

基本信息包括采集规则的名称、采集的网站域名以及其他的采集参数设置，如下图：

采集规则名称以及站点域名您可以取任何您觉得易记的名称，建议使用目标源的名字及域名以便于日后管理。
网页编码必须和采集网站的编码一致，一般使用“简体中文(GB2312)”。
采集内容数表示需要采集的条数，默认为0，代表采集全部内容。
下载内容图片项为确定是否下载采集内容中的图片到自己的服务器，以防对方网站的图片地址无法访问。
内容标题包含为过滤信息，只采集含特定字符串的标题内容。
其他参数请参考页面帮助。

2、采集内容列表信息

列表信息包括采集列表的地址以及采集内容地址必须包含的字符串等信息，用于获取采集内容的地址集合，如下图：

以新浪考古发现频道为例，起始网页地址为列表页的地址“http://tech.sina.com.cn/discovery/civilization/kgfx.shtml”。
由于考古发现频道没有翻页，起始网页地址只需要选择“从多个网址”，如果有翻页还需选择“从序列相似网址”并填入翻页数目。
内容地址包含用于过滤采集的内容地址，系统将从列表页中选择指定格式的地址作为内容页面的链接。如上图所示，系统仅采集包含“http://tech.sina.com.cn/d/*.shtml”字符串的内容页面，其中“*”代表任意字符。
区域内网址为页面某一部分的页面开始和结束，系统将采集此部分内所有的内容地址。此项可不填。
登录网站Cookie用于采集需要登录的网站，登录网站后获取到cookie信息并填入即可。此项可不填。

3、采集内容页面信息

内容页面信息包括需要采集的页面的信息，包括标题、内容、作者等，如下图：

以新浪考古发现频道为例，首先进入内容页面，在浏览器中选择“查看源文件”获取到内容页面的代码。
在代码中找到内容标题，然后找到标题前面和后面的代码，拷贝到内容标题开始以及内容标题结束项中。
内容正文、内容栏目、内容翻页等元素与内容标题相同，找到对应代码后摘录代码之前及之后的一段代码并填入对应项中。

除默认的内容标题、正文外其他字段同样能够采集，在上图其他需要采集的字段中选择对应的字段即可。
需要注意的是内容正文排除和内容Html清除，这两项能够从内容正文中过滤不需要的信息，如广告等。

接着点击下一步便完成了Web页面信息采集规则的添加工作。