robots.txt的文件格式-温州网站建设

robots.txt文件的格式比较特殊，命名不允许出现任何错误，必须小写，不要忘记字母s，命名错误将失去对搜索引擎的限制作用。robots.txt通常使用User-agent:和Disallow:这两条规则，前者代表“适用下列规则的漫游器”，后者代表“要拦截的目标”。

User-agent:和Disallow:后面的冒号必须是英文状态下的，冒号后面要空一个格。

1．User-agent:

User-agent：表示搜索引擎Spider，*代表所有，在robots.txt文件中，如果有多条User-agent记录说明有多个robots会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。通常情况下，都将该项值设置成*，如果有不想被访问的文件，可以用Disallow:具体设置。

常见蜘蛛名称列表。

Baiduspider：百度的综合索引蜘蛛。

Googlebot：Google蜘蛛。

Googlebot-Image：专门用来抓取图片的蜘蛛。

Mediapartners-Google：广告联盟代码的蜘蛛。

Yahoo Slurp：雅虎蜘蛛。

Yahoo! Slup China：雅虎中国蜘蛛。

Yahoo!-AdCrawler：雅虎广告蜘蛛。

YodaoBot：网易蜘蛛。

SoSoSpider：腾讯SoSo综合蜘蛛。

Sogou Spider：搜狗综合蜘蛛。