手机与微信同号,长按或点击号码即可复制微信号添加咨询
结论先说:不建议一刀切拦。默认放行检索类爬虫(Googlebot、Bingbot、OAI-SearchBot、PerplexityBot),对训练类爬虫(GPTBot、ClaudeBot、CCBot、Bytespider)按目录和内容价值分区决定。改之前先看服务器日志,改完必须验证生效,否则很容易把搜索流量一起关掉。
这两类爬虫的目的完全不同,混在一起讨论,结论必然是错的。检索类决定你能不能出现在 AI 回答里,训练类只决定你的内容会不会进语料库。
| 爬虫 UA | 用途 | 建议 | 原因 |
|---|---|---|---|
| Googlebot / Bingbot | 传统搜索索引 | 放行 | 拦了等于放弃搜索流量 |
| OAI-SearchBot / ChatGPT-User | AI 搜索检索、用户主动访问 | 放行 | 影响被 AI 回答引用与链接 |
| GPTBot | OpenAI 模型训练语料采集 | 分情况 | 拦了不影响搜索收录,只影响训练 |
| ClaudeBot / CCBot | 模型训练、公共语料库 | 分情况 | 同上,按内容价值决定 |
| Bytespider | 字节系内容抓取 | 按需 | 抓取频率高,注意带宽占用 |
| AhrefsBot / MJ12bot | 第三方 SEO 审计 | 按 IP 限速 | 全拦会丢失外链与竞品数据 |
需要说明的是,各家 UA 的具体用途会调整,判断时以官方文档为准。上表是 2026 年 10 月的常见对应关系,用于建立判断框架,不建议直接抄成规则。
一刀切最省事,也最容易误伤。更稳的做法是先给目录分类,再写规则。
具体写法上,robots.txt 只认 UA 和路径,不认"用途"。所以"允许检索、禁止训练"只能靠不同 UA 区分:检索类 UA 放行,训练类 UA 拦指定目录。这与结构化数据对 AI 搜索的作用是配套的两件事:机器能不能读,和读到的结构清不清楚,缺一个都不成立。
不看日志就改 robots.txt,等于凭感觉关水阀。服务器访问日志里能看到真实抓取情况,判断依据主要是三条。
如果某类爬虫只抓不引用、又占用大量带宽,再考虑拦;如果它带来的引用能转化成真实访问,就别拦。识别方法可参考从访问记录识别爬虫与异常流量,重点是按 UA 加状态码分组统计,而不是看总访问量。
规则本身很简单,出错多半在细节。以下是结构要点,路径用占位写法,实际替换成自己的目录。
第三个错误最隐蔽。robots.txt 的 Disallow 只阻止抓取,不阻止已收录页面继续展示;要让页面彻底退出索引,得用 meta robots 的 noindex,且前提是该页面允许被抓取。两个指令互相打架时,结果是页面既不抓也不掉。
| 验证项 | 方法 | 预期结果 |
|---|---|---|
| 文件可访问 | 浏览器直接打开站点根目录的 robots.txt | 返回 200,纯文本,无 HTML 标签 |
| 规则生效 | 搜索引擎站长工具的 robots 测试 | 显示允许或禁止,并给出抓取路径示例 |
| 爬虫响应 | 日志里查目标 UA 的请求状态码 | 被拦目录返回 403 或 404,放行目录仍 200 |
| 索引状态 | 站内搜索指令加站长平台索引量 | 关键页面仍在索引,未出现批量掉出 |
验证时注意时间差:爬虫会缓存 robots.txt 一段时间(常见 24 小时),改完立刻看日志大概率还是旧行为,隔 24—48 小时再判断,别急着回滚。
有几种情况,拦比放更划算。边界最好提前想清楚,不要等流量被搬走再补。
对多数企业官网来说,正确姿态是"开门但设门禁":内容页放行、后台和敏感数据拦住、列表页限速。这比全拦或全放都更符合长期利益,也和GEO 第一步为什么是官网的判断一致。
结论:不影响。GPTBot 是 OpenAI 的采集 UA,与百度蜘蛛是两套独立抓取通道。拦 GPTBot 只影响 OpenAI 的训练语料,不会让百度少收录。真正影响百度收录的是拦 Baiduspider 或整站 Disallow。
结论:会,但概率下降。AI 搜索的检索爬虫与训练爬虫 UA 不同,拦训练类不影响检索类;但如果整站禁止,检索类也进不来,被引用基本归零。想保留引用,就只拦训练 UA,别拦整站。
结论:通常几小时到几天,取决于爬虫重访频率。爬虫一般会缓存 robots.txt 约 24 小时,抓取频繁的大站生效更快。改完不要立刻判断失败,隔 24—48 小时再看日志里的状态码。
结论:有必要,但只需十分钟。小微企业站点的风险主要是带宽被占和内容被整站搬运,写三条规则就够:拦后台、限列表页、放行内容页,不必为每个 UA 做精细策略。
13560189272
地址:广州市天河区信成南街侨景大厦2楼201房(华阳小学正门正对面)