robots.txt 1 必须放在根目录下 2 robots的语法： User-agent： 用来描述搜索引擎的名字 Disallow： 用来描述不希望被访问到的一个URL,这个URL可以是一个完整的路径，也可以是部分的路径。 任何以disallow开头的url均不会被robots访问到。
