Disallow指令行对温州网站建设的作用

在robots.txt文件中，每条记录的第二个域是Disallow:指令行。这些Disallow:行声明了该网站中不希望被访问的文件和（或）目录。例如“Disallow: fengxiong.htm”对文件的访问进行了声明，禁止Spiders下载网站上的fengxiong.htm文件。而“Disallow: /jianfei/”则对jianfei目录的访问进行了声明，拒绝Spiders进入该目录及其子目录。而 “Disallow:/shishang”与前面的例子不同，表示的意思是拒绝搜索引擎对/shishang.html和/shishang/index.html的访问（即无论是名为shishang的文件还是名为shishang的目录下的文件都不允许搜索引擎访问）。Disallow记录如果留空，则说明该网站的所有内容都向搜索引擎开放。"/robots.txt"文件中，至少要有一条Disallow记录。

使用“*”和“$”：baiduspider支持使用通配符“*”和“$”来模糊匹配URL。其中，“$”为匹配行结束符，“*”表示匹配0或多个任意字符。