robots.txt基本用法和具体实例

新手站长开始问robots.txt是什么以及它的写法和作用等问题，很高兴他们已经意识到了robots.txt的重要作用了，下面就把我知道的一些经验和大家分享一下，希望对大家有帮助！

robots.txt的概念

 robots.txt是一个纯文本文件，必须放置在一个站点的根目录下，而且文件名必须全部小写.在robots.txt文件中可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

robots.txt的作用

        当一个搜索机器人访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取

robots.txt的基本用法：

1.允许所有的robot访问

User-agent: * 

Disallow:

或者也可以建一个空文件 “/robots.txt” file
2.禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

3.禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent: *

Disallow: /01/

Disallow: /02/

Disallow: /03/
4.禁止某个搜索引擎的访问（下例中的BadBot）

User-agent: BadBot

Disallow: /

5.只允许某个搜索引擎的访问（下例中的Crawler）

User-agent: Crawler

Disallow:

User-agent: *

Disallow: /

robots.txt的具体实例

1.如果下面的这两个链接的内容差不多，那么根据利于优化的原则，第一个链接我们可以屏蔽掉！ 

         /XXX?123　　/123.html

         如果像第一个的链接这样的链接非常多的话，其实只要屏蔽/XXX?就可以屏蔽所有的链接了。      

         具体代码如下：Disallow： /XXX?

2.用robots.txt屏蔽多余的链接，一般保留静态的链接(HTML、htm、shtml等)

　　由于网站中经常会出现多个链接指向同一个页面的情况，而这样会让搜索引擎对网站的友好度降低。为了避免这一个情况，我们就可以通过robots.txt把非主要的链接去掉。 

　　比如以下两个链接指向同样的页面：　　/OOO?123　　/123.html

　　那么根据利于优化的原则，第一个链接我们可以屏蔽掉.

        代码如下：　　Disallow： /OOO?123

3.用robots.txt屏蔽死链

　　死链就是曾经存在的网页，因为改版或其他原因而失去效用后就变成死链，也就是说看似一个正常的网页链接，但点击后不能打开相对应的网页页面。

       比如，原来在目录为/kakaseo下的所有链接，因为目录地址的改变，现在都变成死链接了，那么我们可以用robots.txt把它屏蔽掉。

       代码如下：Disallow： /seo/

4.告诉搜索引擎你的sitemap.xml地址

　　 利用robots.txt可以告诉搜索引擎你sitemap.xml文件的地址，而不需要在网站上添加sitemap.xml的链接。

         以本人博客为例代码如下：Sitemap： http://www.kakaseo.com/sitemap.xml　

        以上说明了robots.txt的概念、基本写法，具体实例，希望你的网站可以有一个好的robots.txt，因为robots.txt是搜索引擎了解你网站的一个非常重要的途径。