北京SEO-玄武

robots的写法相对简单，虽说简单，但也是seo的必修课。下面玄武就简单讲解一下robots以及其写法。

1、什么是robots，有什么作用？

robots.text一个文本文件，用来告诉搜索引擎网站哪些内容可以收录，哪些内容不能收录。

2、robots.txt文件放在哪里？

robots.txt必须放在网站根目录，并且全部为小写字母。

3、robots里主要有哪些函数？

很简单，User-agent、Disallow这两个函数。

4、怎样使我的网站可以全部收录？

两种方法，一、直接不写robots.txt这个文件。二、User-agent: * 这样写也表示网站全部内容允许蜘蛛抓取。

5、有多个目录禁止蜘蛛抓取怎么写？

你有几个目录禁止，就写几个Disallow函数，并且分行。例如：
...