放行 OAI-SearchBot
robots.txt 里确认没有被 Disallow。很多站点为了「不让 AI 白嫖」一次把 GPTBot 与 OAI-SearchBot 全禁了,结果搜索侧也一起消失。正确做法是:GPTBot 可禁,OAI-SearchBot 必须放行。
ChatGPT 的回答是「检索 → 抽段 → 生成」三段拼出来的。能不能被引用,取决于第一段索引里有没有你、第二段摘不摘得动、第三段有没有一句现成的话可用。
先给结论:面向 ChatGPT 的优化不是「提示词技巧」,而是三件具体的事——让 OAI-SearchBot 能抓到页面、让每一节都有可整段搬走的结论句、让品牌与事实在站内外说法一致。另外纠正一个最常见的错误操作:robots.txt 里禁掉 GPTBot 不影响被引用,但把 OAI-SearchBot 一起禁掉,等于主动退出检索池。
同类页面切换(四个引擎的机制不同,改造重点也不同)
它是怎么回答的
搞清链路,才知道该改哪一环。很多人直接跳到「写内容」,结果卡在第一环——页面根本没被抓到。
把你的口语问题拆成多个检索式:同义说法、约束条件、对比对象。用户问「宠物床 OEM 起订量多少」,实际会检索「custom pet bed MOQ」「宠物床 代工 最小起订量」等多条。
从 OpenAI 自建的搜索索引里召回候选页。这份索引由 OAI-SearchBot 抓取建立,与训练用的 GPTBot 是两条独立管线。
对候选页切段,挑出能直接回答问题的段落。整页很长但每段都是形容词的页面,在这一步被丢掉——它找不到一句能用的。
把多段内容合并成回答,并在句末标注来源站点。如果候选来源里没有可用的中文内容,它会直接说「没有找到可靠信息」。
回答长什么样
把「被引用」拆成具体的呈现位,才知道自己的目标是什么、能不能验收。
← 左右滑动查看完整表格 →
| 呈现位 | 长什么样 | 能带链接 | 能不能测 |
|---|---|---|---|
| 内联来源卡片 | 回答句末的站点名 + 标题,可点击跳转 | 是 | 可测:解析引用域名与标题 |
| 来源列表 | 回答下方或侧栏的「来源」折叠区,一次列多条 | 是 | 可测:同上,可统计条数 |
| 品牌名直呼 | 回答里直接写「据某公司介绍…」而不给链接 | 否 | 需人工核对原文,自动化统计不到 |
| 无引用兜底 | 「暂时没有找到相关信息」 | — | 可测:记为一次未提及 |
为什么先讲这一节:不同呈现位的验收方式完全不同。带链接的来源可以自动统计,品牌名直呼只能人工核对。把两种混在一个「引用率」里报,数字好看但不可复核。
改造清单
每一条都能落到某个人、某个页面上,不带「加强」「提升」这类没法验收的说法。
robots.txt 里确认没有被 Disallow。很多站点为了「不让 AI 白嫖」一次把 GPTBot 与 OAI-SearchBot 全禁了,结果搜索侧也一起消失。正确做法是:GPTBot 可禁,OAI-SearchBot 必须放行。
「定制宠物床 OEM 代工|起订量、打样周期与面料选项」比「品质之选,值得信赖」有用一百倍。ChatGPT 靠标题判断这段内容在回答什么问题。
30-60 字说清这一节回答了什么,后面再展开论证。抽段时它优先取首句密度高的段落,把结论埋在第三段末尾等于没写。
主体 + 时间 + 数量 + 口径。「我们经验丰富」不可引用;「2019 年起为 3C、家居、宠物三类出口企业做搜索优化,累计服务 200+ 家(含试点)」可以被整句搬走。
同一问题下常见的回答形态就是对比。把「A 方案 vs B 方案」做成表格,每一行都可能被摘成一句话,命中率远高于散文。
用户提问句式与 FAQ 标题高度重合,是最省力的匹配方式。注意 FAQ 必须有正文问答结构,只加标记不写内容是无效的。
Organization、作者、更新时间、资质证书。生成时会判断来源可信度,一个没有作者、没有日期的页面很难被优先选中。
客户端渲染的正文在抽取阶段极容易抓成空壳。能服务端渲染就服务端渲染,至少保证首屏内容在 HTML 里。
抓取频次由站点整体质量决定。孤岛页、死链、大量参数页会拖慢整站抓取,间接让新内容进不了索引。
全文弹窗、Cookie 强拦、滚动才加载的内容都会降低可抓取比例。至少要保证不被拦截也能读到主体内容。
抓取配置
放行 UA 是所有优化的前置条件。这一步做错,后面写多少内容都不会被看到。
← 左右滑动查看完整表格 →
| 抓取标识 | 用途 | 建议 |
|---|---|---|
| OAI-SearchBot | 为 ChatGPT 搜索建立索引 | 必须放行。禁掉它,页面不进检索池,内容写得再好也不会被引用。 |
| GPTBot | 抓取用于模型训练 | 可以禁。禁它不影响搜索引用,只是不参与训练语料。 |
| ChatGPT-User | 用户点开引用链接时,代表用户访问页面 | 建议放行。拦掉可能导致用户从 ChatGPT 点进来时打不开页面。 |
验收口径
指标说不清的方案,最后一定会变成「感觉有效果」或者「数据不好看但很努力」。
← 左右滑动查看完整表格 →
| 指标 | 怎么来的 | 局限 / 注意 |
|---|---|---|
| 提及率 | 固定问题集每日提问,记录回答里是否出现品牌名或官网域名 | 会话不公开,只能用自己的账号复现;地区、语言、账号历史都会影响结果 |
| 引用率 | 解析回答中的来源链接,统计指向本站的条数占比 | 只覆盖带链接的形态,品牌名直呼统计不到 |
| 首位提及率 | 同一次回答里,品牌是否第一个被提到 | 依赖人工判定,问题越开放越主观 |
| 引荐流量 | 落地页 UTM + referrer 含 chatgpt.com 的会话 | 大量会话不产生跳转,只能捕捉到一部分 |
这四个指标里,只有前三个能反映「内容有没有被用」,最后一个反映「有没有带来人」,两者经常不同步:一个页面可能被频繁引用但几乎不带点击(用户读到答案就走了),另一个页面很少被引用但每次引用都带来询盘。月报里要分开看。监测能力对应平台里的 ChatGPT 适配器,属可接入能力,按套餐与密钥逐引擎开通。
横向对照
同一份内容要同时满足四套机制,但优先级不同。下表是取舍依据,当前引擎列已高亮。
← 左右滑动查看完整对照 →
| 维度 | ChatGPT | Perplexity | Gemini | DeepSeek |
|---|---|---|---|---|
| 检索来源 | 自有搜索索引(OAI-SearchBot 抓取) | 自建实时抓取,每次提问现抓 | Google 索引,与 AI Overviews 同源 | 模型语料为主,联网检索为可选开关 |
| 是否返回引用链接 | 是,回答内联来源卡片 | 是,编号引用 3-8 条 | 是,来源卡片 | 否,默认不返回任何 URL |
| 抓取标识 | OAI-SearchBot / GPTBot / ChatGPT-User | PerplexityBot / Perplexity-User | Googlebot / Google-Extended | 未见官方公开的独立爬虫说明 |
| 内容偏好 | 定义、对比、清单、参数表 | 时效性强、多来源交叉印证的短段落 | 权威性、结构化、站内主题簇完整 | 中文表达自然、行业术语准确 |
| 引用可测性 | 高:可解析引用域名与条数 | 最高:条数、位次、原文全部公开 | 中:GSC 不拆分 AI 展示,只能间接看 | 低:只能人工核对是否被提及 |
| 最先该做的动作 | 放行 OAI-SearchBot,每节补结论句 | 标注更新时间,把 H2 写成问题句 | 先解决收录,再补结构化与作者信息 | 统一全网品牌表述与关键事实口径 |
怎么用这张表:如果你只做得到一件事,就做「检索来源」那一行对应的动作——DeepSeek 靠语料,Gemini 靠 Google 收录,ChatGPT 靠 OAI-SearchBot 抓取,Perplexity 靠实时抓取。入口错了,后面全是空转。
常见误判
这些话在行业里流传很广,逐条拆开看。
错。控制搜索可见性的是 OAI-SearchBot,GPTBot 只负责训练语料。两者是独立管线,禁错对象等于自己退出检索池。
错。单次会话不会改变索引,也不会让模型「记住」你。对话里说的内容只影响这一次会话。
错。抽取单位是段落。一篇 5000 字但每段都是形容词的文章,不如一篇 1200 字、每节都有结论句与数字的文章。
目前没有统一的强制标准,各家引擎采纳程度不一。它是成本很低的补充信号,不是开关。
不是。检索召回看的是内容与问题的匹配度,不等于 Google 排名。排名第一的页面因为不可抽取而缺席,是常见现象。
FAQ
问题来自真实咨询与搜索词,答案与我们实际操作口径一致;不确定的地方会直接说不确定。
会,前提是 OAI-SearchBot 没有被拦。抓取频次不公开,通常与站点更新频率、内链结构、历史抓取成功率相关。你可以在服务器日志里按 UA 过滤确认它是否来过、抓了哪些 URL。看不到它来过,先查 WAF 和 robots.txt,而不是怀疑内容质量。
不会直接影响。GPTBot 负责训练语料,ChatGPT 的搜索索引由 OAI-SearchBot 建立,是两条独立管线。但要注意:把「AI 爬虫」整组拦截的安全插件往往一次禁三个 UA,那种情况下搜索侧也会一起消失。
因为两套系统判定的东西不同。Google 排名看相关性、权威度与页面体验;ChatGPT 抽取看「有没有一段能直接回答问题的文字」。排名靠前只意味着你更容易被召回,能不能被用取决于可抽取性。正文全是「行业领先」「深受好评」的页面,排第一也摘不出来。
按段抽取,通常一到两段,长答案可能合并多个来源的段落。所以优化单位是「段落」:每节都要能独立成篇,开头一句把结论说完,不依赖上一节的上下文。
有,而且竞争比英文小。中文语料里「可核验的具体事实」密度普遍偏低,一篇把参数、周期、认证、口径都写清楚的中文页面,被抽取的概率明显高于同质化的营销文。关键不是语言,是有没有一句现成能用的结论。
不需要,也不建议。为单一引擎重写一套内容,会让站内出现两份口径略有差异的页面,反而损害实体一致性。正确做法是同一篇内容同时满足可读性与可抽取性:完整、有深度,同时每节有结论句、有数字、有来源。
三种可能:一是候选来源里没有覆盖这个问题的内容;二是内容存在但抓不到(被拦、纯 JS 渲染、正文在登录墙后);三是抓到了但抽不出可用的段落。按这个顺序排查,先看抓取日志,再看正文结构。
不建议,也不该接受。同一问题在不同时间、地区、账号下答案不同,引擎换模型或换检索策略时引用可能整体消失。能承诺的是执行动作:巡检频次、问题库数量、内容篇数、技术修复项完成率,以及原始记录可回溯。
技术侧修复(放行、Canonical、正文可抓取)通常在下一次抓取后生效,快则几天。内容侧要等重新抓取与索引更新,通常 2-8 周开始出现,之后持续累积。如果 8 周后一条引用都没有,问题多半在抓取层,不在写作层。
能自己做:放行 UA、改标题与段落结构、补 FAQ、写事实句、维护 sitemap——这些都不需要工具。必须用工具的:固定问题集的批量巡检、引用原文留档、跨引擎对比、历史趋势。原因是人工一天最多问十几个问题,且无法回溯三个月前的原始回答。