Baiduspider真伪验证：反向DNS解析防假冒爬虫

服务器日志里出现大量“Baiduspider”UA的请求，访问频率高得吓人，很多站长的第一反应是封IP。但UA是可以伪造的，直接封可能把真百度蜘蛛也一起挡在外面，导致收录停滞。

百度官方推荐的方法只有一个：反向DNS解析。拿到访问IP后，用host、nslookup或dig反查，看返回的hostname是否以 *.baidu.com 或 *.baidu.jp 结尾。不是这个后缀，就是冒充。

Linux下一条命令就能验证单个IP：host 123.125.66.120。对于批量日志，用脚本自动提取Baiduspider UA的IP，反查后把假蜘蛛IP单独列出来，再决定是否封禁。

#!/bin/bash
# verify_baiduspider.sh：从Nginx日志提取Baiduspider IP并反查真伪
LOG=/var/log/nginx/access.log
TMP=/tmp/baiduspider_ips.txt
 
# 提取UA含Baiduspider的唯一IP
grep "Baiduspider" "$LOG" | awk '{print $1}' | sort -u > "$TMP"
 
while read -r ip; do
 host="$(host "$ip" 2>/dev/null | awk '/domain name pointer/{print $NF}')"
 if echo "$host" | grep -Eq '\.baidu\.com$|\.baidu\.jp$'; then
 echo "REAL $ip -> $host"
 else
 echo "FAKE $ip -> ${host:-NXDOMAIN}"
 fi
done < "$TMP"

验证完再行动。真蜘蛛被封，站点会掉索引；假蜘蛛放任，带宽被白白消耗。大多数WAF都支持按UA加IP反向解析结果做白名单，把这个逻辑写进防火墙规则更稳。

还要分清Baiduspider的不同分身。Baiduspider-ads和Baiduspider-cpro是广告联盟相关抓取，不会进入搜索索引，封禁它们不会影响SEO。但普通Baiduspider、Baiduspider-image、Baiduspider-video是搜索蜘蛛，必须放行。

反查脚本建议每天跑一次，把结果写到日志。突然出现大量假蜘蛛，往往是有人在用伪造UA攻击或爬你内容。早发现早封锁，比事后补漏省带宽得多。

反查脚本值得纳入日常运维。假冒蜘蛛背后往往是采集程序或漏洞探测的前奏，今天来抓内容的伪蜘蛛，明天可能就是来扫后台的。host反查的成本极低，放进每周任务顺手跑一遍，确认是假冒的IP直接加入防火墙黑名单，比事后清理被扒空的内容省事得多。

真伪验证的同时顺手看一眼抓取频次：资源平台后台有Baiduspider的抓取频次曲线，突然暴涨可能是采集方在伪造UA狂抓，突然暴跌则要排查站点可用性。配合反查脚本一起看，蜘蛛侧的画像就完整了。