最小修复试验的核心是:只改一组内链,让目标页面多一条从首页或栏目页出发的可抓取路径,然后观察它是否被搜索引擎发现、抓取和展示。不要一次重做全站导航或批量替换正文链接,否则无法判断哪一步起作用。第一次做时,先选一个目标页、一个来源页和一个可核对的结果指标。
要查的是:哪一页你最希望被用户和搜索引擎找到,但当前从站内很难到达。怎么查:从首页开始,只沿着可点击链接走,记录到达该目标页需要几次点击、经过哪些页面。如果超过三次点击仍到不了,或只能靠搜索框、站点地图、XML文件到达,就适合作为试验对象。
来源页应满足两个条件:内容与目标页相关;本身已经能被首页在较少点击内到达。结果说明:来源页到目标页的链接如果成立,就等于给目标页增加了一条站内通路。适用条件是站点规模不大、你能手动修改模板或正文时;如果来源页本身也无法被抓取,先解决来源页,不要急着加链接。
要查的是:目标页现在有哪些站内链接、这些链接是否真的可被爬虫跟随。怎么查:查看目标页的HTML源码,确认链接是<a href="...">形式,而不是只靠JavaScript点击事件;检查链接是否被robots.txt限制、是否带nofollow、是否指向重定向或404。结果说明:如果链接存在但被限制抓取,它可能仍对用户可见,却不一定能帮助搜索引擎发现目标页;如果链接指向301,最终地址才是需要观察的对象。
这里要区分“可能原因”和“已定位原因”。页面没被收录,可能因为链接太深、内容重复、抓取预算不足或质量判断,不能只凭一个内链现象就断定原因。最小试验的价值在于缩小范围:先确认路径是否可抓取,再谈其他因素。
要查的是:加一条链接后,目标页是否出现新的抓取或展示变化。怎么查:在来源页正文中,用与目标页主题一致的自然语句加入一条链接,锚文本写清楚目标页讲什么,不要堆同一关键词。只改这一处,记录修改日期、来源页地址、目标页地址和锚文本。
可执行清单如下:
<a href>,不是纯按钮或脚本跳转。结果说明:如果目标页开始被爬虫访问,说明这条路径至少没有阻断发现;如果仍无访问,问题可能在来源页本身、站点整体抓取或目标页质量,而不是这一条链接。适用条件是你能修改来源页内容;如果来源页是模板页,改导航可能影响全站,就不算最小试验。
要查的是:加链接前后,目标页的发现路径有没有变化。怎么查:对比修改前后从首页到目标页的点击次数、经过页面数量、是否存在替代路径。如果原来零条站内路径,现在有一条,这是明确变化;如果原来已有五条,再加一条很难单独判断效果。
判断结果时,不要把“被收录”当成唯一成功标准。站点地图不保证收录,robots.txt的抓取限制也不等于可靠的索引移除。更稳的做法是分两层看:先看爬虫是否访问,再看页面是否出现在搜索结果中。不同搜索引擎对链接和抓取的处理要分别核查,不能用一个引擎的表现推断另一个。
如果这条链接让目标页获得访问,就复制同一方法:为下一个重要页面选一个相关来源页,再建一条上下文链接。如果没有任何变化,先检查来源页是否可抓取、目标页是否返回正常状态码、链接是否指向最终地址,而不是继续加更多链接。一次只验证一组路径,网站内链结构的最小修复试验才有可解释的结果。