提高百度每天抓取频次到300万的方法
网站优化
2022-01-12
经过几个月多个域名测试，百度蜘蛛确实会乱抓网站，id混乱，一篇文章在a目录下，他却还要抓别的目录下有没有相同id文章。百度蜘蛛明显有自动抓取连续ID的情况.
简单解释： 一篇文章链接为 域名/栏目1/1.html,百度蜘蛛除了抓取该链接外还抓取域名/栏目2/1.html ， 域名/栏目3/1.html.....你有多少栏目蜘蛛就抓取多少个不同栏目 id相同的链接、
看懂的看下一步，bug的利用
第一步：利用cms把文章命名规则改成独一无二的目录，也就是一篇文章一个目录，例如：a/1.html ，b/2.html，以此类推。假如有1万篇文章就会存在1万个目录。文章越多抓取频次越高。
第二步：把所有百度抓取不存在的404页面随机301重定向到你的其他网站的没收录的高质量页面。
第三步：坐等蜘蛛抓取目标站，等收录、
本文来源于互联网由网友投稿或第三方发布，内容仅代表作者本人的观点，与本站无关。本站仅提供网络技术服务，对文章的原创性及内容真实性不做任何保证或承诺，请读者仅作参考，并请自行核实相关内容。如因作品内容、知识产权和其他问题需与本网联系的，请与站长联系进行删除。
下一篇：
百度蜘蛛抓取不存在的页面是怎么回事？
