站点上线一年,百度收录 0。
不是"收录少",是彻底 0。site 指令查出来一条没有。
这一年里我改过标题、改过描述、发过原创、提交过 sitemap,全都没用。
最后是从服务器日志里找到答案的。
先看百度到底来没来
所有关于收录的讨论,前提都是蜘蛛来过。没来过,你改什么都白改。
我在服务器上写了个统计,把访问日志里 UA 含 Baiduspider 的记录单独拎出来:
grep -i "baiduspider" /www/wwwlogs/站点.log | wc -l
结果是 8。
一年,8 次。
作为对比,同一个日志里:
- PetalBot(华为)172 次
- bingbot 126 次
- Googlebot 60 次
- 360Spider 39 次
- Bytespider(字节)5 次
必应和谷歌都来了几十上百次,百度来了 8 次。
这就不是"内容不好"的问题了。内容再差,蜘蛛也得先来,才能判断好坏。
第一步:排除技术原因
蜘蛛来得少,先看是不是被自己挡住了。
robots.txt。我当时的 robots 里写了这些:
Disallow: /goto
Disallow: /*?down=
Disallow: /*?price=
Disallow: /*?orderby=
Disallow: /*?s=
看着很合理,把参数页挡掉,避免重复内容。
但问题是:站点的下载链接全部走 /goto,而文章页里的"相关推荐"用的是 ?s= 参数。百度抓到这些链接,一看是 Disallow,直接不抓。
更糟的是,这些被挡的页面里有几百个 /login/?redirect_to=,全部是用户登录时生成的,被搜索引擎抓到了,但又被 robots 挡住,抓不了也删不掉。
解决:把 robots 清空,只留最基本的。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/wp-sitemap.xml
参数页不用 robots 挡,改用 X-Robots-Tag: noindex。区别是:robots 是"别来抓",noindex 是"可以抓,但别收录"。
要删掉已经收录的页面,必须让蜘蛛能抓,才能看到 noindex。挡住就永远删不掉。
第二步:检查服务器响应
百度对国内服务器的响应速度有要求。我测了一下首字节时间:
curl -o /dev/null -s -w "%{time_starttransfer}\n" https://www.example.com/
1.8 秒。
超过 1 秒就开始扣分了。后来查到是一个统计插件,每次请求要查 20 多次数据库。删掉之后降到 0.4 秒。
第三步:备案和主体
这条容易被忽略:没有 ICP 备案的站点,百度收录会明显变慢甚至不收录。
我的站是备案过的,所以这条不是原因,但如果你没备案,先别在内容上找问题。
第四步:主动提交
光等蜘蛛来太慢。百度搜索资源平台里有两个入口:
一是"普通收录"里的 API 推送,每天有配额。拿到 token 之后,可以在发布文章时自动推一条。
二是 sitemap 提交。地址填 https://www.example.com/wp-sitemap.xml,百度会定期来抓。
我原来是手动提交 sitemap,一次没成功过——因为 WordPress 默认的 sitemap 里有些页面返回 404,百度抓取报错,整个 sitemap 就被判无效。
后来在 sitemap 里剔掉不存在的页面,才通过。
现在的状态
改完这些大概两个月,百度蜘蛛从 8 次/年 涨到 40 多次/月,收录从 0 变成 30 多条。
不算多,但从 0 到有,说明方向对了。
剩下的就是内容质量和时间。百度的新站考核期本来就长,急不来。
一句话总结
收录为 0 的时候,先别改标题改描述。先去看日志:蜘蛛到底来没来。
来了,才轮到谈内容和结构。没来,问题一定在技术层面——robots、noindex、响应速度、备案。
我这一年改的东西,90% 都是在蜘蛛不来的时候瞎改。真正有用的,是把挡路的东西挪开。
1、本站所有资源均收集于互联网,分享目的仅限学习与参考。如有侵权,请联系 1685698671@qq.com 及时删除!
2、本站资源不保证完整性和安全性,下载后请自行检测。使用过程中出现的任何问题均与本站无关,敬请自行处理。
3、本站资源仅限个人学习研究使用,严禁用于任何违法违纪用途。因使用者违规使用产生的一切后果,由使用者自行承担,本站不承担任何责任。


评论(0)