网站内容被AI抓取还不知道？先把抓取权限设清楚

来源：互联网时间：2026-09-25

网站内容被AI抓取还不知道，是很多站长的真实状态。内容是自己一字一句写的，某天却发现它出现在某个AI问答的回答里，原文没被引用、流量也没回流，这才后知后觉。与其等吃了亏再补救，不如先把抓取权限设清楚，让哪些能抓、哪些不能抓，早早在协议上写明。

一个做教程内容的个人站，半年没看过日志，后来偶然发现自己的系列文章被整批抓走。它花了半天把权限理顺，之后的异常抓取一眼就能看到。下面从『怎么知道被抓』讲到『权限怎么设』。

先确认：你是不是已经被抓了

很多人根本没意识到内容在流失。第一步去服务器日志里看陌生 UA 的请求，第二步在AI问答里搜你文章的独特句子，看是否被原样引用。两步走完，有没有被抓、被谁抓，基本就清楚了。

下面这段脚本帮你快速扫日志：把 LOG 改成你的日志路径，它列出请求量最高的若干个 UA 和它们抓得最多的路径，跑完你立刻能发现异常。

# 扫描日志，列出请求量最高的 UA 与它们抓得最多的路径

import re

from collections import Counter

LOG = "/var/log/nginx/access.log" # 改成你的日志路径

ua_path = Counter()

with open(LOG, encoding="utf-8", errors="ignore") as f:

for line in f:

m = re.search(r'"(?:GET|POST) ([^ ]+) .*?"([^"]*)"\s*$', line)

if m:

path = m.group(1).split("?")[0]

ua_path[(m.group(2), path)] += 1

for (ua, path), n in ua_path.most_common(15):

print("%6d %s %s" % (n, ua[:40], path))

跑完若看到陌生 UA 疯狂抓你的文章页，基本就是被盯上了，进入下一步设权限。

把 robots 权限先写明白

robots.txt 是权限声明的起点。明确写出哪些目录允许搜索引擎抓、哪些目录（比如会员内容、未发布草稿）禁止任何爬虫。对已知的AI采集方，单独用 User-agent 段给出 Disallow，把态度摆上协议。

写法要点：路径要写准，Disallow 后带具体目录而非整站；注释里写清这条针对谁。写错一个斜杠，可能把整站都放开或都关掉，务必核对。

在服务器层补一道硬限制

robots 靠自觉，恶意方不理。所以要在服务器或应用层对异常抓取做硬限制：对单 IP 短时高频请求设阈值、对不明 UA 批量访问限流、对核心内容加访问校验。这样即便对方不守 robots，也抓不动多少。

做法是 nginx 配 limit_req，或在应用里记录并封禁异常 UA。配置后用自己的脚本模拟高频请求测一遍，确认正常访客不受影响、异常被拦。

设完权限还要持续盯

权限不是设一次就完。把『每周看一次日志异常 UA』排进例行工作，新出现的抓取源及时补规则。同时定期搜自己内容的独特句，确认没被无授权引用。发现越权，立即加规则并保留日志当证据。

验证看两点：陌生 UA 的请求量是否回落、正常搜索引擎抓取是否照常。把抓取权限设清楚，内容才真正属于你，而不是躺在别人模型里的免费素材。