AI 爬虫实测:11 万次请求里,真正读了正文的检索型爬虫只有 81 次
基于 www.semkw.com 四个自然日 nginx 原始访问日志的观测。不引用第三方估算,不把 UA 当作事实。
2026 年 11 月 15 日至 18 日,本站共收到 111,731 次请求。按 UA 特征串识别,标称 AI 爬虫的请求 24,919 次,占 22.3%。但这个数字几乎不能回答「AI 有没有在读我的内容」——其中 91% 来自同一个语料采集器,而它 86% 的请求打在标签归档页上;真正会在回答时检索网页的爬虫,四天合计 81 次。
- 111,731四日总请求
- 24,919标称 AI 爬虫
- 22.3%占全部流量
- 86.1%抓取落在标签页
TL;DR
七条结论,先看这里
每条结论下面都给了对应的数据表,可逐行核对。
- 22.3%全部流量中标称 AI 爬虫的比例
- 91.1%其中来自 meta-externalagent 一家
- 306 : 1训练型与检索型的请求比
- 0 次四天内主流 AI 爬虫抓取 llms.txt
| 结论 | 关键数字 | 为什么重要 |
|---|---|---|
| 1. AI 爬虫流量高度集中 | 22,703 / 24,919 | 一家占 91%。只报「AI 爬虫总量」会把这一家的采集量当成整个 AI 生态的兴趣度。 |
| 2. 训练型远多于检索型 | 24,769 : 81 | 约 306 倍。语料采集量与你今天是否被 AI 引用,几乎无关。 |
| 3. 抓取预算被标签页吃掉 | 86.1% | 19,546 次请求打在 /tag/ 归档,正文页只有 3,123 次。这是本站自己最该先修的问题。 |
| 4. 检索型爬虫几乎不读正文 | 0 / 18 | OAI-SearchBot 十八次请求零正文,全在 robots、sitemap 与探针。样本小,但方向明确。 |
| 5. llms.txt 没有被消费 | 0 次 | 四天 14 次请求来自 curl、两个 SEO 机器人、一个语料采集器,主流 AI 爬虫一次都没有。 |
| 6. 小流量「检索爬虫」多是伪装 | 31%–82% | 标称 DuckAssistBot、YouBot、PerplexityBot 的请求里,三到八成在扫 /.dev.vars、/vercel.json 这类漏洞探针。 |
| 7. 404 主要来自 sitemap 命名变体 | 8 次 / 4 天 | 爬虫会主动试 /sitemap.html、/sitemap.txt、/news-sitemap.xml。不提供就白丢一次发现机会。 |
方法
数据是怎么来的,以及它不能证明什么
把口径写清楚,比把结论写得漂亮重要。
样本与口径
- 来源:本站 nginx access log 原始行,未经过统计工具二次加工
- 窗口:2026-11-15 00:00 至 11-18 24:00(+08:00),四个完整自然日
- 总量:111,731 条有效请求行
- 识别:按 User-Agent 特征串匹配,大小写不敏感,先匹配者优先
- 落点:按请求路径分为正文页、robots、sitemap、llms、安全探针五类
- 判定:用「安全探针率」交叉检验 UA 真伪,而不是只看 IP
这份数据不能证明什么
- 不能证明某个引擎「永远不来」——四天窗口对低频爬虫来说太短
- 不能按 IP 反查真伪——日志里 80% 以上是 Cloudflare 边缘 IP,真实来源被代理层抹掉了
- 不能外推到你的站——标签结构、文章量、内链密度不同,比例会差很多
- 不能当作「AI 可见性」指标——它只说明谁来过,不说明谁引用了你
- 不能区分「同一台机器换了 UA」与「两个真实爬虫」——只能靠行为特征做概率判断
162.158.x、172.6x.x 这类边缘节点地址,同一 IP 会同时服务成千上万个真实访客。拿它去比对官方公布的爬虫 IP 段,只会得到「全部不匹配」的假结论。要按 IP 校验,必须先让 nginx 记录 CF-Connecting-IP 头——这件事我们已经排进改造清单。
数据表 1
十九个爬虫的四日请求量
按四日合计降序排列。真实性判定依据见下一节。
| 爬虫 UA | 公开用途 | 11-15 | 11-16 | 11-17 | 11-18 | 合计 | 判定 |
|---|---|---|---|---|---|---|---|
| meta-externalagent | Meta AI 语料采集 | 5,818 | 5,859 | 5,702 | 5,324 | 22,703 | 行为可信 |
| Amazonbot | Amazon 索引与语料 | 12 | 54 | 280 | 1,063 | 1,409 | 行为可信 |
| CCBot | Common Crawl 公共语料 | 0 | 4 | 197 | 106 | 307 | 行为可信 |
| Applebot | Apple 索引与语料 | 52 | 40 | 51 | 64 | 207 | 行为可信 |
| ClaudeBot | Anthropic 语料 | 6 | 23 | 10 | 31 | 70 | 样本过小 |
| Bytespider | 字节 语料 | 4 | 11 | 3 | 23 | 41 | 样本过小 |
| Kimi | 月之暗面 未公开 | 0 | 19 | 7 | 10 | 36 | 样本过小 |
| GPTBot | OpenAI 语料 | 2 | 7 | 4 | 5 | 18 | 样本过小 |
| OAI-SearchBot | OpenAI 检索 | 2 | 3 | 6 | 7 | 18 | 样本过小 |
| ChatGPT-User | 用户触发抓取 | 4 | 3 | 7 | 12 | 26 | 行为可信 |
| Qwen | 阿里 未公开 | 0 | 7 | 2 | 6 | 15 | 疑似伪装 |
| cohere-ai | Cohere 语料 | 0 | 2 | 3 | 9 | 14 | 疑似伪装 |
| YouBot | You.com 检索 | 0 | 5 | 3 | 5 | 13 | 疑似伪装 |
| DeepSeek | 深度求索 未公开 | 0 | 0 | 2 | 10 | 12 | 疑似伪装 |
| DuckAssistBot | DuckDuckGo 检索 | 0 | 5 | 2 | 4 | 11 | 疑似伪装 |
| PerplexityBot | Perplexity 检索 | 0 | 6 | 0 | 2 | 8 | 疑似伪装 |
| Perplexity-User | 用户触发抓取 | 0 | 0 | 1 | 3 | 4 | 疑似伪装 |
| GoogleOther | Google 研究 | 0 | 5 | 1 | 0 | 6 | 样本过小 |
| Claude-User | 用户触发抓取 | 1 | 0 | 0 | 0 | 1 | 样本过小 |
| AI 类合计 | — | 占四日全部请求的 22.3% | 24,919 | ||||
对照组(非 AI):同一窗口内 PetalBot 7,575 次、bingbot 3,036 次、SemrushBot 1,754 次、Baiduspider 458 次、AhrefsBot 85 次。也就是说搜索与 SEO 工具类爬虫合计超过 1.2 万次——AI 爬虫的绝对量并不比传统搜索爬虫少,这个结论和很多「AI 爬虫还没来」的说法相反。
发现一
一家占了 91%,「AI 爬虫总量」不能当兴趣度读
这意味着两件事。第一,如果你把「AI 爬虫访问量」当成一个 KPI 挂到看板上,看到的曲线几乎就是这个语料采集器的采集节奏,和你内容质量、和你在答案里的出现率都没有因果关系。第二,大量「AI 爬虫暴涨」的行业说法,很可能只是某一家采集器扩大了抓取范围。
反过来看也有价值:Amazonbot 四天内从 12 次涨到 1,063 次,88 倍。这类突增值得盯——它是爬虫换了抓取策略,不是你的内容突然变好了。
发现二
训练型与检索型相差约 306 倍
这两类爬虫做的事完全不同,混在一起统计等于什么都没说。
训练与语料采集 24,769 次 回答时检索 81 次
| 类别 | 包含的 UA | 请求数 | 它决定什么 |
|---|---|---|---|
| 训练与语料 | meta-externalagent、Amazonbot、CCBot、Applebot、ClaudeBot、GPTBot、Bytespider、cohere-ai | 24,769 | 未来模型「知不知道你」,周期以月计 |
| 回答时检索 | OAI-SearchBot、PerplexityBot、Perplexity-User、DuckAssistBot、YouBot、Claude-User | 81 | 今天这次回答「引不引你」,周期以分钟计 |
| 用户触发抓取 | ChatGPT-User | 26 | 有真实用户正在对话里打开你的链接 |
| 未公开 UA | DeepSeek、Qwen、Kimi | 63 | 无法归类的,只能看行为 |
一个容易被忽略的细节:「用户触发抓取」(ChatGPT-User)四天 26 次,其中 20 次直接抓的是正文页。它是这份日志里唯一同时满足「AI 相关」和「有人在真实对话里点到你」的流量——26 次比 24,769 次更有商业含义,但它也最容易被总量统计淹没。
发现三
最该先修的一条:86% 的抓取花在标签归档页
这是本站自己的问题,写在这里是因为它比任何方法论都更直接。
/tag/ 归档页,3,123 次(13.8%)打在真正的文章与页面,sitemap 20 次,静态资源 14 次。
| 路径类型 | 请求数 | 占比 | 检索价值 |
|---|---|---|---|
| /tag/ 标签归档 | 19,546 | 86.1% | 极低:标题是标签名,正文是文章摘要列表,几乎不会被当作答案来源 |
| 文章与页面 | 3,123 | 13.8% | 全部价值都在这里 |
| sitemap | 20 | 0.1% | 发现入口,正常 |
| 静态资源 | 14 | 0.1% | 无 |
为什么会长成这样
本站当时有 1,807 篇文章,却有 11,476 个标签——其中 9,997 个(87.1%)只对应一篇文章。每个标签生成一个归档页,加上分页,可索引 URL 数量膨胀到文章数的十几倍。这些页面在 Yoast 里没有被设为 noindex,于是对爬虫完全开放。
| 标签下的文章数 | 标签个数 | 占比 | 性质 |
|---|---|---|---|
| 仅 1 篇 | 9,997 | 87.1% | 与文章页内容高度重复,纯薄页面 |
| 2–4 篇 | 1,122 | 9.8% | 多数仍是薄页面 |
| 5–19 篇 | 308 | 2.7% | 有一定聚合价值 |
| 20 篇以上 | 49 | 0.4% | 值得保留并运营 |
结论不是「标签没用」,而是「九成的标签页不该被索引」。把 87% 的薄标签设为 noindex、保留 357 个有聚合价值的,爬虫的抓取份额就会从标签页转移到文章页——这是目前性价比最高的一个改动,因为它不需要写任何新内容。
发现四
检索型爬虫在做什么:读 robots,不读正文
这一节样本量最小,请按「方向参考」而不是「结论」看待。
| 爬虫 | 总请求 | 正文页 | robots | sitemap | 安全探针 | 探针率 |
|---|---|---|---|---|---|---|
| meta-externalagent | 22,703 | 22,677 | 0 | 21 | 4 | < 0.5% |
| Amazonbot | 1,409 | 1,401 | 0 | 6 | 2 | < 0.5% |
| CCBot | 307 | 301 | 1 | 2 | 3 | 1.0% |
| Applebot | 207 | 189 | 13 | 5 | 0 | < 0.5% |
| ClaudeBot | 70 | 16 | 14 | 28 | 12 | 17.1% |
| Kimi | 36 | 13 | 0 | 14 | 9 | 25.0% |
| ChatGPT-User | 26 | 20 | 0 | 3 | 3 | 11.5% |
| GPTBot | 18 | 5 | 0 | 9 | 4 | 22.2% |
| OAI-SearchBot | 18 | 0 | 14 | 2 | 2 | 11.1% |
| Qwen | 15 | 3 | 0 | 4 | 8 | 53.3% |
| cohere-ai | 14 | 2 | 2 | 4 | 6 | 42.9% |
| YouBot | 13 | 3 | 0 | 2 | 8 | 61.5% |
| DeepSeek | 12 | 4 | 0 | 2 | 6 | 50.0% |
| DuckAssistBot | 11 | 1 | 0 | 1 | 9 | 81.8% |
| PerplexityBot | 8 | 0 | 0 | 3 | 5 | 62.5% |
| Perplexity-User | 4 | 0 | 0 | 0 | 4 | 100.0% |
OAI-SearchBot:18 次,0 次正文
14 次 robots.txt、2 次 sitemap、2 次探针,正文页请求为 0。PerplexityBot 情况类似:8 次请求,0 次正文,5 次探针,5 次 404。在这个窗口里,OpenAI 与 Perplexity 的检索爬虫没有读过我们任何一页内容。样本只有四天,不能推断常态;但它至少说明「加了内链、写了结构化数据,检索爬虫就会来读」这个假设,需要证据支撑。
ChatGPT-User:26 次,20 次正文
这是唯一大量读取正文的 AI 相关 UA,抓到 15 个不同 URL。它代表的是「对话里有人正在打开或引用你的页面」,是真实需求信号——比任何采集量都更接近商机。想让这个数字变大,靠的不是技术放行,而是内容真的回答了具体问题。
发现五
llms.txt:四天零抓取
我们自己也在维护这个文件,所以这条写出来有点不讨好。
/llms.txt 被请求 14 次。来源:curl 6 次(含我们自己的验证脚本)、两个 SEO 机器人各 1 次(PipericBot、SEOJuice-SearchBot)、meta-externalagent 1 次、其余为浏览器 UA。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 均无一次请求。
这个结果与公开讨论中的期待有落差。llms.txt 目前更像一个面向人和工具的约定,而不是被主流 AI 爬虫实际消费的接口。这不代表它没用——它对「让 AI 快速理解站点结构」有间接价值,对内容团队自己梳理信息架构也有用——但它不该被当成一项 GEO 交付承诺。
所以本站的做法是:继续维护 llms.txt(成本低、有描述比没有强),但不把它写进效果指标,也不建议客户把它当作验收项。真正决定能不能被检索到的,仍然是 robots 放行、sitemap 完整、页面本身可抽取。
可复现:grep -c "llms.txt" /www/wwwlogs/semkw.com.log-* —— 然后在结果里按 UA 分组,就能得到同样的数字。这也是我们建议所有站点自己跑一遍的原因:这个结论只有在你自己的日志里才算数。
发现六
小流量的「AI 检索爬虫」,三到八成是伪装扫描
UA 是客户端自己写的字符串,改一个字母的成本是零。
判定方法很朴素:真实爬虫不会去请求 /.dev.vars、/vercel.json、/turbo.json、/fly.toml、/.zshrc 这类部署与凭据文件。这些是漏洞扫描器的标准字典。把这类请求记为「安全探针」,就能估出一个 UA 的真伪。
| 爬虫 | 总请求 | 探针请求 | 探针率 | 判断 |
|---|---|---|---|---|
| meta-externalagent | 22,703 | 4 | < 0.1% | 行为一致,可信 |
| Amazonbot | 1,409 | 2 | 0.1% | 行为一致,可信 |
| CCBot | 307 | 3 | 1.0% | 行为一致,可信 |
| Applebot | 207 | 0 | 0 | 行为一致,可信 |
| ClaudeBot | 70 | 12 | 17.1% | 混合 |
| GPTBot | 18 | 4 | 22.2% | 混合 |
| cohere-ai | 14 | 6 | 42.9% | 多数是伪装 |
| DeepSeek | 12 | 6 | 50.0% | 多数是伪装 |
| Qwen | 15 | 8 | 53.3% | 多数是伪装 |
| YouBot | 13 | 8 | 61.5% | 多数是伪装 |
| PerplexityBot | 8 | 5 | 62.5% | 多数是伪装 |
| DuckAssistBot | 11 | 9 | 81.8% | 多数是伪装 |
规律很整齐:请求量越大,探针率越低。四家上万或数千次的采集器探针率都在 1% 以内,行为完全一致(只抓页面和 sitemap);而请求量只有个位数到几十次的「AI 检索爬虫」,探针率普遍在 40%–82%。这说明低频的 AI UA 里,相当一部分根本不是 AI,而是拿热门 UA 当掩护的扫描器。
这件事的实际影响:如果你按 UA 统计「AI 爬虫访问量」并据此判断优化效果,会把大量扫描噪声算成成绩。要压掉这层噪声,最省事的办法就是先把安全探针路径剔掉,再看剩下的是什么。
发现七
404 不来自内容缺失,来自 sitemap 命名变体
四天里 AI 爬虫触发的 404 只有 50 余次,绝对量很小。但分布很有意思:meta-externalagent 主动试了 /sitemap.html、/sitemap.txt、/news-sitemap.xml、/news_sitemap.xml、/sitemap-index.xml 五种变体;ChatGPT-User 试过 /sitemap.xml。
YouTube 之外的爬虫生态并不统一。虽然 robots.txt 里声明了 sitemap 位置,仍有爬虫会先按惯例猜一遍文件名。这件事的处理成本极低:
- 在
robots.txt里同时声明Sitemap:与索引文件位置 - 把常见的
/sitemap.xml指向索引文件,别让它 404 - 站点确实没有新闻内容,就不要声明 news sitemap——声明了但不更新会被判为低质信号
另一个观察:部分爬虫请求 /robots.txt 拿到的是 301(非 www 或 http 入口的归一化跳转)。规范允许 robots.txt 跟随重定向,不影响放行结果,但每次多一个往返。把 www 与非 www 的 robots.txt 都直接返回内容,能省掉这一步。
推论
这组数据改变了七件事的优先级
如果上面的观测成立,下面这些动作的顺序应该跟着变。
| 序号 | 动作 | 为什么排在这里 |
|---|---|---|
| 1 | 把薄标签页设为 noindex,清理空标签 | 86% 的抓取预算正在被浪费。这一项不需要写新内容,改一个开关就能把份额让给文章页 |
| 2 | 确认 robots.txt 已放行 OAI-SearchBot、GPTBot、PerplexityBot、ClaudeBot | 检索型爬虫第一步只读 robots。这里错了,后面所有内容工作都失效 |
| 3 | 让 sitemap 只包含值得被索引的 URL | sitemap 是检索型爬虫唯一稳定入口。里面塞满标签页,等于告诉它「我的重点在标签上」 |
| 4 | 在 nginx 记录 CF-Connecting-IP | 不记真实 IP,就永远无法校验 UA 真伪,也就永远只能做概率判断 |
| 5 | 把「AI 爬虫访问量」从 KPI 里拿掉,换成「被引用次数」 | 前者 91% 由一家采集器决定,与内容质量无关;后者才是业务指标 |
| 6 | llms.txt 继续维护,但不作为交付承诺 | 四天零抓取。它有价值,但不是这个价值 |
| 7 | 对「用户触发抓取」单独建一个监控 | 26 次 ChatGPT-User 比 24,769 次采集更接近商机,却最容易被总量淹没 |
可复现
在自己的服务器上跑一遍
下面是我们实际用的口径,改两个路径就能用。
不需要任何第三方工具,一个 grep 加一段 awk 就够。建议至少取七个自然日:AI 检索型爬虫频率低,窗口太短会得出「它没来」的假结论。
三个必须注意的口径问题:①日志里的 $7 是请求路径,一定要先 sed 's/?.*//' 去掉查询串,否则同一页面会被算成几十个 URL;②按 UA 分组时用 -i,不同爬虫的大小写写法不统一;③如果站点走 CDN,日志 IP 是 CDN 节点的,别拿它做 IP 校验。
边界
我们明确不外推的四件事
把边界写清楚,比多给几个结论更有用。
样本规模
四个自然日、一个站点。对每天请求几十次以下的爬虫,这个窗口不足以判断「来或不来」。GPTBot 18 次、PerplexityBot 8 次这类数字,只能说明「在这个窗口里来得很少」,不能说明「以后不会来」。
站点类型
这是一个内容量 1,800+ 篇、标签 11,000+ 个的中文企业站。换成一个 50 页的官网,标签页问题根本不存在,训练型与检索型的比例也会完全不同。任何「AI 爬虫占比 22%」的说法都不该跨站套用。
UA 只代表自称
全文所有「某某爬虫来了 N 次」都应读作「自称是某某爬虫的请求有 N 次」。探针率只是概率判断,不是身份验证。真正的验证需要反向 DNS 或官方 IP 段比对,前提是日志里先有真实客户端 IP。
来访不等于引用
这份数据完全不涉及「有没有被引用」。爬虫来过、抓了、存了,与它在下一次回答里用不用你,是两个不同的环节。后者只能靠实测提问来看,任何日志都推不出来。
FAQ
关于这份报告
这份报告的数据可以引用吗?
可以。引用时请标注来源为「重构营销 semkw.com 2026 年 11 月 AI 爬虫观测」,并保留样本窗口(2026-11-15 至 11-18,四个自然日)与站点类型(中文企业站)。请不要去掉窗口期——任何爬虫统计脱离时间范围都会失真。
为什么说「AI 爬虫占比 22.3%」不能当成绩看?
因为 91% 来自同一个语料采集器。这个比例主要反映那一家采集器在这段时间的抓取策略,与你的内容质量、与你在 AI 答案里的出现率都没有因果关系。真正值得跟踪的是被引用次数和「用户触发抓取」的次数。
训练型爬虫多,是不是说明我的内容被拿去训练了?
只能说明被采集了,不能说明进入了哪一次训练、也不能说明会被记住。训练语料通常经过筛选、去重、配比,采集只是第一步。这条链路上,站点能控制的只有「允许或拒绝」,控制不了最终结果。
标签页真的该全部 noindex 吗?
不是全部。判断标准是「这个标签聚合页是否提供了文章页之外的价值」。只有一篇文章的标签页,内容就是那篇文章的摘要,属于纯重复;有几十篇文章、且用户会按这个维度浏览的标签,反而值得保留和运营。本站的口径是保留文章数 5 篇以上的 357 个。
llms.txt 还有必要做吗?
我们的做法是继续维护,但不当作效果承诺。成本很低(一次生成、偶尔更新),对工具和人有价值;但在四天观测里,主流 AI 爬虫一次都没请求过它。把它写进合同验收项,目前缺乏证据支撑。
怎么判断一个 AI 爬虫是真的还是伪装的?
三步:先看它请求的路径里有没有漏洞探针(/.dev.vars、/vercel.json 这类),再看请求量级与行为是否稳定,最后如果能拿到真实 IP 就做反向 DNS 校验。只看 UA 字符串一定被骗。
为什么四天不够,却还是发了这份报告?
因为方向性结论在四天里已经稳定:86% 的抓取落在标签页、91% 的流量来自一家、llms.txt 零抓取——这三条不会因为多测一周而反转。我们同时把「样本不足」写在每一处该写的地方,并在调整标签策略后用同一口径复测。
你们会帮客户做这种日志分析吗?
会,这是诊断阶段的标准动作之一。需要客户提供一段时间的原始访问日志(nginx 或 Apache 均可,不必脱敏到只剩 UA)。如果站点走 CDN 且没有记录真实 IP,我们会先建议加一行日志字段,再等一个周期取数。