易搜索白皮书

前言... 1

使用教程... 6

名词解释... 6

功能模块说明... 8

前言

导航的根源在于分类，当有100条信息的时候，我们使用类别来定位信息，当有10000条信息的时候，我们用标签来定位信息，当有100..00条信息的时候，无论怎么分类都是难以寻找的，于是就有了搜索…

当一个网站信息越积越多，搜索将会变得越来越重要。以至于终于有一天，当网站发现50%以上的用户来到你的网站第一件事是搜索的时候，搜索就将成为没有“导航”的导航。因此站内搜索成了网站建设的当务之急。随着网络应用的深入，信息量的爆炸性增长，站内搜索成为每个优秀网站必须具备的功能。纵观中国大中小网站，绝大多数网站在海量数据面前一筹莫展，主要表现为：

1、 搜索结果不够精确。索出来的结果往往不是我们需要的，你不得不进行若干次翻页，才能找到自己需要的内容。

2、 搜索速度慢、极慢。一般的搜索都是通过SQL语句中的LIKE关键字实现搜索功能，但LIKE在数量较大时，速度很慢，甚至会导致服务器磐机。

3、 搜索不到正文。与第二条类似，LIKE关键字只能对短文本进行比较操作，而对正文这种长文本，不能进行操作，这时我们的正文中即使有我们需要的内容，但却不能完成搜索任务。

4、 不支持多关键词搜索。只能对一个关键词进行搜索，在实际搜索中，搜索者一般会通过两个关键词进行搜索，缩小搜索范围，以达成自己的意愿。

5、 超长词条搜索不到结果。如果要让超长词条进行完全匹配，那搜索结果可能会极为稀少或者根据找不到搜索结果。

6、 比以上情况稍好的情况。在有的CMS系统中，可以为正文指定关键词，但由于并非专门的搜索引擎算法及结构，也只能是杯水车薪、望洋兴叹，如1、并不能进行相关度排序，2、必须手动或者半自动完全关键词，3、同样不支持超长词条搜索，4、搜全率低，5、新词不能识别，6、只能对CMS范围内的网页进行搜索，7、人工操作效率低下，等等。

为解决以上问题，边缘工作室经过长期的调研，不断摸索、反复实验，厚积薄发，并根据当前趋势开发出了“易搜索-智能全文检索站内搜索引擎”，简称为YSS，使以上问题迎刃而解。YSS主要有以下特点：

1、如你所需，他是真正的搜索引擎：

ü 搜索结果相关度排序

ü 毫秒级高速搜索

ü 多关键词搜索

ü 超长词条搜索

ü 联想式搜索词条输入

ü 相关搜索

ü 网页快照

就象你用百度一样。所不同的是百度提供服务，YSS提供软件。

2、 网页蜘蛛灵活高效。

从网站首页出发，遍历整个网站，不受目录层数限制，同时又不影响网站速度及运行。URL消重、网页过虑的灵活控制让你对网站的每个页面进行实际控制，你可以通过以下几项达成你所希望的网页过虑：

1.1、只抓取指定的一个或者多个网页目录

1.2、不抓取指定的一个或者多个网页目录

1.3、不抓取指定的一个或者多个网页

1.4、只抓取指定的网页

3、可控的正文提取。

可设置网页1到5级正文提取精度，从我们实验的大多数网站来看，采用我们默认的4级可以获取较好的正文提取效果，既不会遗漏有用的文字，又不会造成系统产生垃圾，但有可能你的网站比较特殊，这时你就可以选择其它几级以达到精确的正文提取。

4、可控的中文分词及新词学习。

可设置每个网页最多提取的最多分词数，这样有助于减小数据库开支。同时还可进行新词的自动学习，即使是一个人的名字YSS也能把他找出来。考虑到特殊情况，你还可以指定、编辑、删除任意一个页面的关键词。

5、无人值守。

全索引，任务执行中途退出系统不会停止任务的执行。

监视网页。这是个自动化的功能，在设定监视网页后。系统自动在每天指定时间对网页进行监控，自动抓取网页，自动索引网页，完全不用人为操作，解放了网站管理工作人员，提高了效率。

6、BS架构，虚拟主机支持。

YSS的搜索界面支持IE、FireFox。后台完全的BS架构，一切操作通过浏览器完成，让你在虚拟主机上也可以安装使用YSS。

7、强大功能，简单使用。

无需专业人员、无需专业培训，几分钟就会使用YSS。

8、个性化。

易搜索为每个页面对象指定了CSS样式，只需要对样式文件进行修改即可让你的易搜索改头换面。

易搜索对每个对象如搜索结果、结果页列表等单独赋值，可实现任意的位置调整、更改版面。

搜索选项，可即时启用停用搜索引擎、设置热门搜索、启用关闭联想式词条输入、相关搜索、设置广告等。

8、增强网站软实力：

8.1快速找到访问者所需信息，更好的浏览体验，提高用户操作的友好度

8.2提高的用户粘度

8.3提高的PV量

8.4增强网站技术含量

8.5领先竞争对手

8.6让你的网站更专业

使用教程

名词解释

抓取网页 搜索引擎蜘蛛对指定的网页进行信息提取、分析、存储，作为实现某种目的的源材料。

索引网页 对抓取的网页进行分析、去噪、提取正文、分词、计算权重，索引进入文件系统或者数据库，以备搜索。

分词此处分词特指“中文分词”。　中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是中文分词算法，通过中文分词算法将语句分成一个个独立的有意义的词语，这就是中文分词。

新词在易搜索中特指未加入词库的词语，一般来说是新诞生的词语或者人名、名词等。打个比方，“中国”我们知道是一个词语，而对于网络新词“PK”来说，按照通常认知我们并不知道这是个词语，在此处易搜索就识别“PK”为新词。

搜索词条 在搜索框中输入的需要搜索的一段句子。

关键词飘红 关键词飘红，即关键词高亮显示。对于搜索词条中的词语，在搜索结果中会以较鲜亮的形式显示出来，以表示、提醒搜索结果的正确性、相关性。

关键词联想输入 也称为辅助输入、自动完成等。在搜索框中输入搜索词条，与之类似的搜索词条（其它人输入过的搜索词条）会自动以下拉形式展开，以供输入者选择。

相关搜索 正输入的搜索词条相关的搜索词条。“相关搜索”的主要作用是两个。1、提示给搜索者其它搜索者搜索的词条（帮助不太会选择关键词的用户选择关键词、提供用户之间的一种交互）；2、推荐提供效果更好的更相关的相关搜索词汇。

正文提取 一个网页，一般由标题、正文、广告、导航信息或者其它信息构成，正文提取的目的就是要去除网页中的广告、导航信息或者其它干扰信息，对网页的正文（我们所关心的内容）进行分离提取。

网页快照 通俗的说，网页快照就是搜索引擎在收录网页时，都会做一个备份，大多是文本的，保存了这个网页的主要文字内容，这样当这个网页被删除或连接失效时，用户可以使用网页快照来查看这个网页的主要内容，由于这个快照以文本内容为主，所以会加快访问速度。

功能模块说明

　　全索引

根据参数配置，对网页进行抓取、url提取、正文提取、分词，并保存入库。全索引的结果即为被搜索的内容，只有进行了全索引，才有可搜索的内容。

　　监视网页

监控网页是个自动程序，每天自动扫描一次被监控的网页，从中找到新网页的地址，并进行全索引。一般来说，被监控的网页应该设置为网站的网页列表。

　　运行报告

当前任务的执行情况报告，包括抓取任务、索引任务、监视任务的执行情况：开始时间、执行数量、当前动作、完成情况。

　　参数配置

　　　　站点配置

配置需要抓取的站点、站点编码（可自动识别）、正文提取精度、关键词提取广度设置。这也是易搜索任务开始的起点，系统根据配置的站点域名，从此域名对应的网站的首页进行网页抓取，并根据其它参数的设置，对整个网站进行索引。

　　　　搜索选项

搜索选项是针对搜索界面的配置，有:

翻页字样，上一页有下一页字样设置，也可设置为图片，只需要设置为图片的超文本即可。

每页显示结果数

热门搜索关键词设置

启用禁用网页快照功能

显示相关搜索

启用关闭关键词联想输入

启用停用搜索

广告代码

　　　　网页过虑

一般来说，我们并不希望网站内所有的网页都被抓取，比如我们的管理后台或者其它特殊情况，这时候我们需要对不需要抓取的一个或者多个网页或者目录进行过虑，这就是网页过虑。或者我们只需要对某些目录进行索引，比如新闻目录，那也可以通过网页过虑设置为实现。

　　新词管理

对从抓取到的网页中发现的新词进行管理

新词输入、导入

　　网址管理

对抓取到的网址进行管理：删除、查询、改变属性等。

编辑已经索引的网页的关键词

网址输入、导入

　　初始化

将除导入的词库外的所有数据清除或者置为默认状态。

修改密码

修改管理员密码。

实例教程

我们以abc公司网站http://www.abc.com部署易搜索为实例进行教程。

Abc公司网站结构为：

公司新闻目录 http://www.abc.com/news

产品信息目录 http://www.abc.com/products

公司介绍 http://www.abc.com/about.htm

公司

假定yss放置于abc公司网站根目录下，那易搜索访问地址为http://www.abc.com/yss/default.aspx，后台管理登录地址为http://www.abc.com/yss/sm/salogin.aspx。

第一步、登录系统。

在浏览器地址栏中输入http://www.abc.com/yss/sm/salogin.aspx，打开登录页。

输入用户名helloword及密码helloword，登录进入系统。

第二步、参数配置

点击“参数配置”按钮，进入参数配置界面。看到有“配置站点”、“搜索选项”、“设置需要过虑的网页”、“设置需要过虑的目录”、“设置需要索引的目录”、“设置监控网页”六个子项目。其中“配置站点”是必须配置的项目，其余项目根据情况自定。

配置站点

输入域名abc.com。注意不是http://www.abc.com,而是abc.com

选择网页编码。有四种选择分别是GB2312、UTF-8、GBK、自动。如果你确定你的网页的编码可直接在GB2312、UTF-8、GBK中进行选择，如果你不能确定你的网页编码或者你的网站可能由多种网页编码构成，那你可以选择自动，自动表示由易搜索自动判断网页编码。

注意：选择自动识别网页编码将会占用更多抓取时间，并且对一些不规范的网页可能不能正确识别其编码。

设置正文提取精度。正文指网页中包含的主要信息，比如新闻页中的新闻内容，而象导航栏、广告等为非正文信息，我们需要通过正文提取来提取新闻内容，过虑掉导航栏、广告等噪音信息，由于每个网站网页内容结构的不一至，有的网页内容多而噪音少，有的内容少而噪音多，我们就需要对此进行一个控制，易搜索提供了五个级别的精度设置，精度一、精度二、精度三、精度四、精度五，精度越大表示过虑更多的噪音，根据我们的观察及实验，内容页使用精度四是比较合适的选择。

设置每网页提取关键词数。针对每网页进关键词进行提取，一般来说，关键词数量为网页正文字数的30%到40%，即1千字的正文可能有300到400个关键词，如果网页数量较少，如两三万网页内，选择提取“所有关键词”可以得到最高的搜全率，如果网页数量较多，如有几十万以上的网页数量，建议设置较少的关键词数量，这样可减小数据库开支。在选择非“所有关键词”时，系统将按照相关度从大到小对关键词进行提取，以保证被过虑的关键词对搜索结果影响足够小。有以下选项可供选择，所有关键词、100个、200个、300个、400个、500个 600个、700个、800个、900个、1000个。

每网页提取新词数。对网页中发现的新词（未登录词）进行提取。参照设置每网页提取关键词数进行设置即可。

搜索选项。搜索选项指在搜索页面的可控制内容。有以下几项目设置

翻页字样，当搜索结果超过一页时，我们就需要点击“上一页”、“下一页”进行翻页，我们可以对这个字样进行设置，换成我们需要的文字。也可将此文字设置为图片，只需对翻页字样设置为图片链接即可。在这个地方我们采用默认设置。

每页显示结果数，设置第页显示的结果数量。使用默认设置10个。

热门搜索，多个关键词以半解分号(;)进行分隔。

启用关闭网页快照功能，启用网页快照后，在搜索结果中会显示相应页面的网页快照链接，点击就可看到网页快照，我们也可以禁用此选项。开启网页快照。

显示关闭相关搜索，启用相关搜索后将会在页面中显示与输入的搜索词条相关的其它搜索词条，以提醒搜索者使用更精确的搜索。开启显示相关搜索。

启用关闭关键词联想输入。开启联想输入。

启用关闭搜索。关闭后将不能进行搜索。

广告代码。根据需要设置，可以为html代码。

设置网页过虑。有“设置需要过虑的网页”、“设置需要过虑的目录”、“设置需要索引的目录”三项设置。在多数情况下，我们不需要对网站内的所有网页进行索引，或者需要指定索引某些特定网页及目录。我们就在此处设置。对于abc.com网站，我们设置只索引http://www.abc.com/news及http://www.abc.com/products目录，并且不索引http://www.abc.com/admin目录，则输入相应设置即可。

第二步、运行全索引。

在进行完第一步的设置后，我们就可以对网站进行索引了。点击“全索引按钮”，点击“开始任务”即可进行全索引，系统将按照参数设定对网站进行索引，直至任务完成，这个时候我们可能出去喝杯茶了。

我们可以根据需要选择任务类型“运行抓取和索引”、“只运行抓取”、“只运行索引”。系统默认是进行抓取和索引，系统将在完成抓取任务后，再进行索引任务，而这时可能我们需要将已经抓取的网页进行索引，那么我们可以先停止任务，之后选择“只运行索引”，并再次开始任务，这样，就开始对已经抓取的网页进行索引，直至索引完成。

第三步、监视网页。

网站经常或者每天都要进行更新，为了能够自动对更新的网页进行抓取和索引，我们需要使用“监视网页”功能来完成。监视网页的原理是每天对网页的文章列表或者能够起来目录作用的网页进行监视，从中找到新网址后进行抓取和索引。首先点击“配置网站”，点击“设置监控网页”，输入我们需要监视的文章列表的地址，你可以输入多个地址来达到不漏掉任何的新网址。在进行完设置后。我们点击“监视网页”，选择一个任务开始时间，这样，每天到指定时间，系统就对所设置的被监视网页进行描述，从中找到新网址，对其进行抓取和索引。

第四步、搜索框调用。

在网站的首页或者其它有需要的页面，我们为网页加入搜索框，以便于让随时可以方便的访问者获取需要的内容。在yss/style目录下找到style.htm文件，其中内置了dell、intel、nec、toyota、philips、hp、ibm、epson的搜索框样式。找到你需要的样式，将action中的搜索页地址改为我们所安装的易搜索的相应地址http://www.abc.com/yss/q.aspx，之后将此代码放入我们需要放入的页面，并在页面引入样式文件<link href="http://www.abc.com/yss/style/style.css" rel="stylesheet" type="text/css">即可。

在任意时候，我们可以通过“运行报告”来查看当前的运行情况。

安装教程

系统要求：

在Windows2000、windows2003、Winxp Pro安装有IIS及.NET Framework 2.0，点击下载.Net Framework2.0。

数据库的安装：如果是sqlserver版本的易搜索，在企业管理器中附加易搜索数据库即可

配置步骤：

易搜索配置模式有两种：

第一种，虚拟目录模式(此种模式需要你可以配置服务器或者你服务提供商可以为你提供配置服务)

第一步：上传易搜索到web服务器

第二步：将易搜索所在目录配置为虚拟目录，如果服务器为win2003，还要创建应用程序名，操作:在IIS中找到虚拟目录，右键点击属性，点击虚拟目录，找到“应用程序名”，如果应用程序名为变灰显示，则点击创建，如图

。

比如你的网站域名为http://www.abc.com，你将易搜索上传后，设置一个虚拟目录，并取一个名字，如易搜索，之后设置此目录指向易搜索所在目录。则易搜索的访问地址即为http://www.abc.com/yss/，易搜索管理登录地址http://www.abc.com/yss/sm/salogin.aspx

第三步：设置db文件夹的everyone用户可读写权限。由于需要对db目录下的数据库进行读写操作，因此需要开启此文件夹的everyone用户可读写权限。操作为右键点击db目录，点击安全，点击安全选项卡，点击添加，找到everyone，双击加入，设置权限为读和写，确定即可。

第四步：如果你需要有导入网址或者词库的文件操作，则需要开启sm/temp目录的everyone用户组的可读写权限。操作为右键点击temp目录，点击安全，点击安全选项卡，点击添加，找到everyone，双击加入，设置权限为读和写，确定即可。

第五步：软件设置完成，通过你的安装目录即可访问

按照第二步的设置，你输入http://www.abc.com/yss即可进入访问易搜索。

第二种，子目录模式，适用于虚拟主机

第一步：同上

第二步：将易搜索的bin目录中所有的文件剪切，放入网站根目录下的bin目录，如果网站根目录没有bin目录，则新建一个。

其它操作同第一种模式

注意事项：

一、使用配置模式一时易搜索必须设置为虚拟目录或者网站才可运行。

二、在原来是asp的网站上安装易搜索2.0，你需要为网站目录加入IIS_WPG用户组，设置为默认权限即可。

提示：默认管理用户名hello 密码hello