站点上线一年,百度收录 0。

不是"收录少",是彻底 0。site 指令查出来一条没有。

这一年里我改过标题、改过描述、发过原创、提交过 sitemap,全都没用。

最后是从服务器日志里找到答案的。

先看百度到底来没来

所有关于收录的讨论,前提都是蜘蛛来过。没来过,你改什么都白改。

我在服务器上写了个统计,把访问日志里 UA 含 Baiduspider 的记录单独拎出来:

grep -i "baiduspider" /www/wwwlogs/站点.log | wc -l

结果是 8。

一年,8 次。

作为对比,同一个日志里:

  • PetalBot(华为)172 次
  • bingbot 126 次
  • Googlebot 60 次
  • 360Spider 39 次
  • Bytespider(字节)5 次

必应和谷歌都来了几十上百次,百度来了 8 次。

这就不是"内容不好"的问题了。内容再差,蜘蛛也得先来,才能判断好坏。

第一步:排除技术原因

蜘蛛来得少,先看是不是被自己挡住了。

robots.txt。我当时的 robots 里写了这些:

Disallow: /goto
Disallow: /*?down=
Disallow: /*?price=
Disallow: /*?orderby=
Disallow: /*?s=

看着很合理,把参数页挡掉,避免重复内容。

但问题是:站点的下载链接全部走 /goto,而文章页里的"相关推荐"用的是 ?s= 参数。百度抓到这些链接,一看是 Disallow,直接不抓。

更糟的是,这些被挡的页面里有几百个 /login/?redirect_to=,全部是用户登录时生成的,被搜索引擎抓到了,但又被 robots 挡住,抓不了也删不掉。

解决:把 robots 清空,只留最基本的。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/wp-sitemap.xml

参数页不用 robots 挡,改用 X-Robots-Tag: noindex。区别是:robots 是"别来抓",noindex 是"可以抓,但别收录"。

要删掉已经收录的页面,必须让蜘蛛能抓,才能看到 noindex。挡住就永远删不掉。

第二步:检查服务器响应

百度对国内服务器的响应速度有要求。我测了一下首字节时间:

curl -o /dev/null -s -w "%{time_starttransfer}\n" https://www.example.com/

1.8 秒。

超过 1 秒就开始扣分了。后来查到是一个统计插件,每次请求要查 20 多次数据库。删掉之后降到 0.4 秒。

第三步:备案和主体

这条容易被忽略:没有 ICP 备案的站点,百度收录会明显变慢甚至不收录。

我的站是备案过的,所以这条不是原因,但如果你没备案,先别在内容上找问题。

第四步:主动提交

光等蜘蛛来太慢。百度搜索资源平台里有两个入口:

一是"普通收录"里的 API 推送,每天有配额。拿到 token 之后,可以在发布文章时自动推一条。

二是 sitemap 提交。地址填 https://www.example.com/wp-sitemap.xml,百度会定期来抓。

我原来是手动提交 sitemap,一次没成功过——因为 WordPress 默认的 sitemap 里有些页面返回 404,百度抓取报错,整个 sitemap 就被判无效。

后来在 sitemap 里剔掉不存在的页面,才通过。

现在的状态

改完这些大概两个月,百度蜘蛛从 8 次/年 涨到 40 多次/月,收录从 0 变成 30 多条。

不算多,但从 0 到有,说明方向对了。

剩下的就是内容质量和时间。百度的新站考核期本来就长,急不来。

一句话总结

收录为 0 的时候,先别改标题改描述。先去看日志:蜘蛛到底来没来。

来了,才轮到谈内容和结构。没来,问题一定在技术层面——robots、noindex、响应速度、备案。

我这一年改的东西,90% 都是在蜘蛛不来的时候瞎改。真正有用的,是把挡路的东西挪开。

俗人源码网免责声明:

1、本站所有资源均收集于互联网,分享目的仅限学习与参考。如有侵权,请联系 1685698671@qq.com 及时删除!

2、本站资源不保证完整性和安全性,下载后请自行检测。使用过程中出现的任何问题均与本站无关,敬请自行处理。

3、本站资源仅限个人学习研究使用,严禁用于任何违法违纪用途。因使用者违规使用产生的一切后果,由使用者自行承担,本站不承担任何责任。