网站里的“robots”文件是什么意思
网站优化
2020-11-23
搜索引擎爬去我们页面的工具叫做搜索引擎机器人,也生动的叫做“蜘蛛”
蜘蛛在爬去网站页面之前,会先去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你的网站同意全部抓取网页。
Robots.txt文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以爬取(收录),哪些页面不能爬取。
举个例子:建立一个名为robots.txt的文本文件,然后输入
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: index.php? 表示不允许收录以index.php?前缀的链接,比如index.php?=865
Disallow: /music/ 表示不允许收录根目录下的tmp目录,包括目录下的文件,比如music/232.html
本文来源于互联网由网友投稿或第三方发布,内容仅代表作者本人的观点,与本站无关。本站仅提供网络技术服务,对文章的原创性及内容真实性不做任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如因作品内容、知识产权和其他问题需与本网联系的,请与站长联系进行删除。
上一篇:
网站优化的基础技巧
下一篇:
robots.txt在SEO中的作用