robots.txt文件放在哪里
百度站长工具
2021-02-24
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.wawxw.com）时，首先会检查该网站中是否存在http://www.wawxw.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
本文来源于互联网由网友投稿或第三方发布，内容仅代表作者本人的观点，与本站无关。本站仅提供网络技术服务，对文章的原创性及内容真实性不做任何保证或承诺，请读者仅作参考，并请自行核实相关内容。如因作品内容、知识产权和其他问题需与本网联系的，请与站长联系进行删除。
上一篇：
什么是移动适配，移动适配工具的作用
下一篇：
什么是robots文件
