不少企业的官网做了好几年，内容也一直在更新，可百度就是不收录新发的文章，site一下只剩下几十条结果。别急着怪内容质量，很多时候是网站本身的技术问题在挡路。今天左左讲讲老站不收录，先从哪四个技术问题查起。

robots文件有没有屏蔽蜘蛛？

头一个要查的是robots.txt。这个文件在网站根目录，作用是告诉搜索引擎哪些页面能抓、哪些不能抓。听起来是个好东西，但很多老站的历史配置里，把整个目录或者关键栏目给屏蔽了，蜘蛛来了一看不让抓，扭头就走。

检查方法简单：浏览器打开 你的域名/robots.txt，看里面有没有Disallow规则把你的栏目或整站拦住。另外还要看页面源码里有没有noindex标签，有些CMS的后台设置里勾了阻止搜索引擎收录，忘了取消，等于在每篇文章头上贴了张封条。

服务器稳定性有没有拖后腿？

蜘蛛来抓页面，如果三天两头碰到打不开、超时、500报错，它就会降低对你网站的抓取频率，收录自然越来越慢。老站尤其容易出现这个问题：虚拟主机用了七八年，邻居网站流量一大就卡，PHP版本老旧，数据库慢查询一堆。

两个检查动作：一是去百度搜索资源平台用抓取诊断工具，看百度抓你首页和文章页返回的是什么；二是看服务器的访问日志，搜蜘蛛的UA记录，如果大量返回5xx或者超时，先解决服务器问题再谈收录。

顺便把HTTPS也检查了。现在搜索引擎对没有SSL证书的HTTP站点明显不友好，浏览器地址栏还挂个「不安全」的提示，用户点进来看到这个，信任度先掉一半。换证书不复杂，免费的Let's Encrypt或者一年几十块的付费证书都行，配置好之后记得把HTTP整体301到HTTPS，别出现两个版本都能访问的重复页面。

页面质量是不是不过关？

收录的本质是搜索引擎觉得这个页面有收录价值。老站常见的问题：大量栏目页、标签页内容空虚，翻来覆去就几行字；不同页面的标题重复率很高；正文里图片多文字少，蜘蛛抓不到实质内容。

自查办法：把网站的所有页面标题导出来看一遍，重复的改掉；把内容量低于三百字的页面列出来，要么补充内容，要么干脆合并或者下线。搜索引擎对站点的整体质量是打总分的，空壳页太多，好文章的收录也会被拖慢。

域名历史干不干净？

这是老站很容易被忽略的一个问题。如果你的域名是接手来的，或者多年前注册后闲置过，前一个使用者可能在上面干过灰产，被搜索引擎拉黑过。这种历史包袱会让新内容的收录异常艰难。

查法：用site命令看历史收录记录，再搜一下域名，看有没有被挂过马、做过灰色内容的痕迹。如果确认域名历史脏了，换域名重来的成本，有时候比慢慢洗白要低，这个判断要趁早做，别耗着。

换空间换程序会掉收录吗？

很多老板担心修这些问题的过程中，网站要换服务器或者换建站程序，会不会把已有的收录弄丢。这里讲清楚：换服务器本身不掉收录，只要域名不变、页面URL不变，搜索引擎会按域名重新抓取，顶多有一两周的波动。真正掉收录的是两类动作：换程序时URL结构大改，老页面链接全变成新的404；换域名却不做301跳转。

如果要动URL结构，务必把老URL逐条301到对应的新页面，并在搜索资源平台提交网站改版规则。改完之后每天看抓取异常报告，把404清单挨个处理掉。有客户改版前没做301，三千多条收录一周内掉到两百多条，补救花了两三个月才恢复。

所以顺序很重要：先在测试环境把robots、服务器、页面质量这些技术问题修好，一次性迁到新环境，再做URL规划，别改一半发一半。

修复之后怎么验证效果？

四个问题查完、修完，接下来是验证：去搜索资源平台提交sitemap，用抓取诊断确认新文章能正常抓取，然后观察两到四周。健康的信号是新文章发布后三到七天内被收录，收录量曲线平稳向上。

如果技术问题都排除了，收录还是不理想，那才轮到内容层面：标题是不是真的有人在搜、内容是不是东拼西凑、更新频率是不是三个月一篇。技术是地基，内容是房子，地基歪了盖什么房子都白搭。

老站不收录是个慢性病，但病因通常就藏在这几个地方，挨个排查，多数网站两周内能看到改善。别一上来就砸钱投竞价，先把搜索引擎进你家门的路修通。

关注左左，你需要一个懂技术的朋友。