SEO新手必看基础：[13]robots.txt文件应用

1、　在“百度搜索帮助中心”中，　　对如何禁止百度蜘蛛访问是这样定义的：User-agent:BaiduspiderDisallow:/　　仅允许百度蜘蛛的访问：User-agent多唉捋胝:BaiduspiderDisallow:　　禁止百度蜘蛛访问特定目录：User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/~joe/

2、下面我们以举例子的方法逐步介绍，例1

3、例2

4、例3

5、例4

6、例5

7、例6

8、例7

9、例8

10、例9

11、例10

12、例11

13、例12

14、新旧页面的处理方法：新旧页面的处理议陬涸渎即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。