ai蜘蛛

建站程序Z-BlogPHP应用中心在2026年10月15日上线一款名为清歌AI蜘蛛屏蔽的免费插件。从名称看，作用是按User-agent拦截以AI训练或内容采集为目的的爬虫，属robots.txt之外的另一种做法。作用范围在robots之前这类插件的作用范围比robots.txt更靠前，也更需要谨慎。robots.txt写错了，最坏的结果是爬虫不遵守；服务端拦截写错了，被挡住的请求不会留下任何提示