robots.txt讲解及写法速成-北京SEO

Sep 20

robots.txt讲解及写法速成

SEO技术 0 comments

robots的写法相对简单，虽说简单，但也是seo的必修课。下面玄武就简单讲解一下robots以及其写法。

1、什么是robots，有什么作用？

robots.text一个文本文件，用来告诉搜索引擎网站哪些内容可以收录，哪些内容不能收录。

2、robots.txt文件放在哪里？

robots.txt必须放在网站根目录，并且全部为小写字母。

3、robots里主要有哪些函数？

很简单，User-agent、Disallow这两个函数。

4、怎样使我的网站可以全部收录？

两种方法，一、直接不写robots.txt这个文件。二、User-agent: * 这样写也表示网站全部内容允许蜘蛛抓取。

5、有多个目录禁止蜘蛛抓取怎么写？

你有几个目录禁止，就写几个Disallow函数，并且分行。例如：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

6、怎样禁止某个特定的蜘蛛？如：谷歌

User-agent: Googlebot
Disallow: /

7、怎样禁止全部蜘蛛抓取本站？

User-agent: *
Disallow: /

8、几大搜索引擎的蜘蛛名字分别是什么？

原载：11月 27th, 2008