采集简明教程|采集表达式操作必读|统计系统说明|版权申明
  1,本新闻文章采集系统的关键在于正则表达式的应用,不管你是这方面的高手还是从来就不知道什么叫正则表达式,看了本说明之后,你都可以得心应手地应用好本系统.好吧,开门见山地说吧:
  举例:现在有一篇文章如下:(网页文件均是下面的结构)
一些html标记,然后是一些可能不需要的文字12345678注意文章开始了:大家好,我就是你们要采集的文章了嘿嘿不好意思现在广告一下:广告广告.xlclksfoisfioweri好了文章又继续开始了,采集文章,这是采集的文章这里是某些html标记
  假如上面的文章中蓝色的是我们想要获取的内容,实际情况可能很简单,也可能更复杂,但是都是有规律的。
请记住 :在本系统中要采集的内容均由表达式:(.+?)来表示,注意符号是半角的。要获取内容,主要是要注意分析网页中的相关html标记,比如现在我们就写获取上面要采集文章的表达式,表达式如下:
表达式1:开始了:(.+?)嘿嘿.+?eri(.+?)这里
表达式2: 文章开始了:(.+?)嘿.+?fioweri(.+?)这里是某

........还可以写出很多的表达式出来,那么规律是什么呢,就是(.+?)前后的内容必须在网页文件中是唯一的,比如说:开始了:在(.+?)的前面应该只有一个,如果有好几个就会出现问题,同理文章开始了:也应该是唯一的,在实际情况中这些文字可能跟html标记有相当紧密的联系,要注意多分析,(假如你还不知道什么叫html标记,那么还是介意你参考一下相关的资料,它其实是比较简单的),同样(.+?)后面的匹配也应该是唯一的,“唯一”用在这里可能不太好,如果你已经熟悉了正则表达式,哪你就应该知道用“匹配”这个词
要重点说的一点还有: 不需要的内容可以用.+?来表示,比如:这里是某些html标记这句话就可以表示成:这.+?记,要注意的是.+?前后的匹配要唯一
  所以重点就是:要采集的内容用 (.+?)来表示,不要的内容可以用.+?来表示。(.+?)和.+?就是所谓的正则表达式,注意它的前后匹配一定要准确
 好了,现在来个实际应用的例子吧:先看下面一张图:它是新浪网电影宝库_影音娱乐的一张截图
频道地址是: http://ent.sina.com.cn/film/
我们现在就来采集焦点新闻中的内容,要采集文章内容,肯定是要知道文章的url地址的,还好,在易企通新闻采集系统中这是件很简单的事,注意到我们在编写采集表达式的时候有“开始字符串”和“结束字符串”两个要填写的文本框,只要填上这两项就可以获取要采集文章的url地址和标题了,很显然“开始字符串”和“结束字符串”要包含要采集的内容,在这里看起来就应该是“焦点新闻”和“热门评论”,不错,一般情况下这样是可以的,但是记住,匹配必须准确,即在“焦点新闻”的前面不能在出现“焦点新闻”,在”热门评论“的前面,“焦点新闻”的后面也不能出现“热门评论”,因为这样的话,匹配就不唯一了,就可能会取到其它的内容或者取不到内容了。所以为了保险起见,我们一般会分析网页文件的源文件,结合文件中的一些html标记使匹配准确,比如这里我们的开始字符串和结束字符串就可以分别是:“焦点新闻</strong>”和“热门评论</strong>”,要看字符串是否唯一,可以用相关软件(比如dreamweaver)的查找功能来得知.
填上了开始字符串和结束字符串之后就可以获取文件的标题和url地址了,这样以便于我们进一步获取网页文件的内容。如图2

(图2)
要知道“开始字符串”和“结束字符串”是否准确,可以选中下面的“批采集测试”按钮,并把“是否采集内容”项设为不采集,这样便可以查看结果是否准确。
既然知道了采集文章的url和标题,下面就要来真正采集它的内容了.这里我们打开一篇文章,如图一中的“组图:美国影视演员协会奖 章子怡颁奖艳光四射”,现在让我们来分析
一下它的内容,找出相关规律(所有网站文章都是有规律的,所以写出一个采集表达式就可以用来采集一类新闻甚至是一个网站的所有文章)
看示例图3:
经过分析之后最后我们的采集表达式如示例图一,好了,现在便可以采集“焦点新闻”栏目中的文章了,采集后系统会记忆采集位置,如果下次这个栏目更新了再采集时,就只采集更新后的内容了,是不是有一种一劳永逸的感觉呢,呵呵,.....