|
robots.txt的文件格式-温州网站建设发表时间:2019-06-24 09:22 robots.txt文件的格式比较特殊,命名不允许出现任何错误,必须小写,不要忘记字母s,命名错误将失去对搜索引擎的限制作用。robots.txt通常使用User-agent:和Disallow:这两条规则,前者代表“适用下列规则的漫游器”,后者代表“要拦截的目标”。 User-agent:和Disallow:后面的冒号必须是英文状态下的,冒号后面要空一个格。 1.User-agent: User-agent:表示搜索引擎Spider,*代表所有,在robots.txt文件中,如果有多条User-agent记录说明有多个robots会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。通常情况下,都将该项值设置成*,如果有不想被访问的文件,可以用Disallow:具体设置。 常见蜘蛛名称列表。 Baiduspider:百度的综合索引蜘蛛。 Googlebot:Google蜘蛛。 Googlebot-Image:专门用来抓取图片的蜘蛛。 Mediapartners-Google:广告联盟代码的蜘蛛。 Yahoo Slurp:雅虎蜘蛛。 Yahoo! Slup China:雅虎中国蜘蛛。 Yahoo!-AdCrawler:雅虎广告蜘蛛。 YodaoBot:网易蜘蛛。 SoSoSpider:腾讯SoSo综合蜘蛛。 Sogou Spider:搜狗综合蜘蛛。
文章分类:
网络推广
|