robots.txt文件的写法和用法

1、robots.txt文件，放在哪里？该文件必须放在网站的根目录中，如百度的

2、robots.txt的基本格式，首先指定一个蜘蛛爬虫，然后指定允许和禁止访问的部分，如：# 指定一个蜘蛛爬虫User-agent: Baiduspid髫潋啜缅er# 指定Baiduspider允许访问的目录Allow: /access/# 指定Baiduspider禁止访问的目录Disallow: /admin/

3、robots.txt的注释怎么写？注释的不是指令的一部分，主要作用是用于网站管理员的查看和阅读，注释以#号开始，如:# 这一行是注释的部分

4、robots.txt文件怎么禁止蜘蛛爬虫的访问，Disallow是禁止访问的指令，如：# 禁止所有爬虫访问网站User-agent: *Disallow: /

5、robots.txt文件怎么允许指定蜘鼍阼俾岗蛛爬虫的可以访问，其他爬虫不可能访问，如：# 允许百度Spider访问网站User幻腾寂埒-agent: BaiduspiderAllow: /# 禁止百度Spider以外的其他爬虫访问User-agent: *Disallow: /