如何禁止爬取网页中的链接

2024-10-14 04:12:44

1、首先我们创建一个robots.txt

如何禁止爬取网页中的链接

3、在robots.txt文档中加入Disallow: *.htm，保存文件。

如何禁止爬取网页中的链接

4、将保存的文件上传到网站的根目录。

相关推荐

大航海时代4 拉斐尔攻略

太阁立志传5-建筑功能攻略

大航海时代4全宝物攻略

大航海时代4怎么威压

大航海时代4卡斯特路攻略

猜你喜欢

猜你喜欢