可以,但前提是那个入口本身已经被持续抓取,而且链接是真实可点击的。一个相关入口能解决“没有路径到达”的问题,却解决不了“页面没有价值”或“入口本身也不被访问”的问题。实际结果往往取决于入口页当前的抓取状态,而不是链接数量。
假设你有一个孤立页面,内容与站点主题相关,但没有任何内部链接指向它,也没有被提交到任何站点地图。你从另一个相关页面加了一条指向它的链接。几周后,你发现这个孤立页面在站内搜索里能搜到,但在外部搜索里仍然没有出现。这个结果容易让人得出“一个入口没用”的结论,但更常见的解释是:入口页本身没有被有效抓取,或者抓取到了但页面被判定为低价值。
另一个相反的现象是:同一个孤立页面,在加了入口链接后不久就被抓取,但抓取频率很低,之后又归于沉寂。这说明入口确实起了作用,但它只提供了一次发现机会,没有提供持续访问的理由。两个现象指向不同原因,不能混为一谈。
解释一:入口无效。如果入口页本身是一个很少被访问、很少被链接、也没有被站点地图覆盖的页面,那么从它出发的链接很可能不会被爬虫频繁经过。这种情况下,孤立页面没有恢复可发现性,不是因为链接本身有问题,而是因为入口页不在抓取路径上。判断依据包括:入口页最近是否有日志记录显示被抓取,入口页是否出现在站点地图中,入口页是否被其他已收录页面链接。
解释二:入口有效,但页面不值得持续访问。如果入口页有稳定的抓取记录,链接也是可点击的普通链接,那么孤立页面应该至少被尝试抓取一次。但如果页面内容与入口页主题只是勉强相关,或者页面本身没有独特信息,爬虫可能在首次抓取后降低访问频率。这种情况下,入口完成了“发现”任务,但没有完成“保留”任务。判断依据包括:服务器日志中是否有对该孤立页面的抓取记录,抓取返回的状态码是什么,抓取后是否有后续访问。
不要只看外部搜索是否出现。先检查三个可核对的事实:
<a href="...">形式,是更可核对的做法。假设一个例子:入口页每周被抓取多次,孤立页面在加链接后三天内出现了一次抓取记录,状态码为200,但之后两周没有再次被抓取。这个证据支持“入口有效,但页面没有持续吸引力”。下一步应该考虑的是页面本身是否需要补充独特信息,而不是继续增加更多入口链接。
反过来,如果入口页本身在两周内没有任何抓取记录,孤立页面也没有被抓取,那么增加第二个入口链接也不会改变结果。下一步应该先让入口页进入抓取路径,比如从已经被抓取的页面链接到入口页,或者把入口页加入站点地图。这个动作的结果会直接影响下一步:如果入口页开始被抓取,再观察孤立页面是否被跟随;如果入口页仍然不被抓取,那么问题在更上游的站点结构。
一个相关入口足够的情况是:入口页本身有稳定的抓取记录,链接是静态可点击的,孤立页面内容有独立价值。这时入口完成的是“发现”任务,后续是否持续被访问取决于页面本身。
一个相关入口不够的情况是:入口页本身是另一个孤立页面,或者入口页的抓取频率极低,或者链接被放在需要交互才能展开的区域。这时增加入口链接只是把问题从一个孤立页面转移到另一个孤立页面,不会恢复可发现性。
实际动作上,可以先确认入口页是否在站点地图中,以及是否被至少一个已抓取页面链接。如果这两个条件都不满足,优先处理入口页,而不是继续给孤立页面加链接。处理完入口页后,再检查孤立页面的日志记录。如果孤立页面被请求过但状态码不是200,那么问题在页面可访问性,不在链接。如果状态码是200但没有后续抓取,那么问题在页面价值判断,不在链接发现。
一次抓取记录只能证明链接被跟随,不能证明页面已经恢复可发现性。可发现性是一个持续状态,取决于入口是否持续被抓取、页面是否值得再次访问。如果入口页本身抓取不稳定,那么孤立页面的可发现性也会不稳定。这种情况下,更稳妥的做法是把入口放在一个抓取频率更高的相关页面上,而不是依赖一个本身就不稳定的入口。
同时,不要用第三方权重指标替代日志证据。权重指标不能告诉你入口页是否被抓取,也不能告诉你孤立页面是否被请求。能区分两种解释的证据,始终是入口页和孤立页面各自的抓取记录,以及链接是否以可点击形式存在。把这些记录对照起来看,才能决定下一步是修入口、修页面,还是接受一个入口已经足够。