有个站主做了二十多个专题页,收录率不错,但翻遍后台找不到任何一条排名。看了一圈发现问题不在一处:有的专题页只有十几条链接,正文加起来不到一百字;有的六个专题页讲的是同一件事,互相抢词;还有一个专题页是孤岛,站内除了导航里那一条,再没有别的入口。这四个问题单独看都不致命,凑在一起就变成一种局面:页面能被收录,但拿不到任何排序机会。
一、坑一:只有链接没有内容
聚合页最容易做成的样子就是标题列表。搜索引擎判断页面质量,先看这块内容是不是一个完整的页面,一个只有链接的页面很难被认定为有实质内容。判断标准可以量化:页面上非链接的正文文字量,至少要到几百字。修复方式就是加主题说明和模块导读,不用长篇大论,但要能说清这个专题讲什么。
二、坑二:多个专题页抢同一个词
做专题的时候很容易上头,把一个主题拆成好几个角度分别做页,结果每个页都想排同一个主词。站内自己跟自己竞争,权重被摊薄,最后谁都排不上去。判断方法是把站里所有专题页的标题和主词列出来,看有没有重合。处理方式是合并:主词只留给一个页面,其余角度作为这个页面的模块存在。
三、坑三:专题页是孤岛
专题页上线后只放在导航或者侧边栏的某个位置,正文里没有任何链接指向它,其他文章也不提它。爬虫发现它的频率低,站内权重也传不过去。修复动作有三个:在相关文章里插入指向专题页的链接,锚文本用专题主词;首页或者栏目页给出入口;sitemap 里包含专题页并且及时更新。
四、坑四:分页和筛选页处理不当
专题页内容多了一定会分页,分页处理不好会把权重拆散:分页链接用 JS 或者参数写得不规范,爬虫只认第一页;或者分页的每一页都带着完整的主题说明,造成大量重复内容。正确的做法是保证分页可以被抓取,同时让分页只承载列表,正文性的说明只放在第一页。还有一类情况是把筛选条件生成的地址开放给爬虫,一个专题变成几百个筛选组合页面,内容和主页面高度重复。
五、四个坑的自查脚本
这四个坑都能用脚本批量查出来。下面这段脚本抓一个专题页,输出链接数、重复条目、正文文字量和标记情况:
# 聚合页体检:正文文字量 / 链接数 / 重复条目 / 标记检查
from urllib.request import Request, urlopen
import re
URL = "https://www.example.com/topic/hub.html"
html = urlopen(Request(URL, headers={"User-Agent": "Mozilla/5.0"}),
timeout=10).read().decode("utf-8", "ignore")
links = re.findall(r'href=[^ >]+', html)
text_only = re.sub(r'<script.*?</script>|<style.*?</style>|<[^>]+>', ' ', html)
text_only = re.sub(r'\s+', '', text_only)
print('链接总数:', len(links))
print('去重后链接数:', len(set(links)))
print('重复条目:', len(links) - len(set(links)))
print('非链接文字量:', len(text_only))
if links:
print('文字量/链接数:', round(len(text_only) / len(links), 1))
print('有 canonical:', 'canonical' in html)
print('有分页标记:', 'rel="next"' in html)
看输出的几组比例:正文文字量除以链接数,值太低说明是链接堆砌;重复条目多说明页面上有重复内容;没有 canonical 和分页标记而条目又很多,说明分页处理有遗漏。体检结果不用一次全修,先把最影响判定的两项处理掉,也就是正文太薄和条目重复。
六、修复的先后顺序
先处理内容和重合(补正文、合并抢词的页面),再处理内链(加入口、改锚文本),最后处理分页和标记。顺序有讲究:内容和重合不解决,先把入口加上去,等于让搜索引擎更快地看到一堆低质页面,结果反而更糟。
七、验证
改完之后给两到四周,看专题页的收录、专题页承载的长尾词有没有出现排名、抓取频次有没有变化。判断一个专题页是否成立,最直接的指标是:它有没有拿到一个稳定在首页以内的长尾词。如果一个月过去,专题页收录正常但始终没有任何长尾词进来,多半还是主词选偏了,或者这个专题本身没有存在的价值。
八、结论
专题页没排名,几乎逃不出这四件事:内容太薄、页面之间抢词、页面上没有入口、分页处理不当。这四条都不是靠多投入就能解决的,靠的是把结构理清楚。做之前先问一句这个页面的主词是什么、谁来链它,能省掉大部分返工。聚合页的本质是把内容组织起来,组织不好,收录再多也只是多了一批不产生流量的页面。
相关阅读:
A5创业网 版权所有