AI 爬虫实测:11 万次请求里,真正读了正文的检索型爬虫只有 81 次

基于 www.semkw.com 四个自然日 nginx 原始访问日志的观测。不引用第三方估算,不把 UA 当作事实。

2026 年 11 月 15 日至 18 日,本站共收到 111,731 次请求。按 UA 特征串识别,标称 AI 爬虫的请求 24,919 次,占 22.3%。但这个数字几乎不能回答「AI 有没有在读我的内容」——其中 91% 来自同一个语料采集器,而它 86% 的请求打在标签归档页上;真正会在回答时检索网页的爬虫,四天合计 81 次。

  • 111,731四日总请求
  • 24,919标称 AI 爬虫
  • 22.3%占全部流量
  • 86.1%抓取落在标签页

TL;DR

七条结论,先看这里

每条结论下面都给了对应的数据表,可逐行核对。

一句话:不是「AI 不读你的内容」,而是你在用错误的位置供应它。四天里 AI 爬虫确实来了 24,919 次,但其中 19,546 次花在没有检索价值的标签归档页上;真正会为回答而检索的爬虫只有 81 次,且 OpenAI 的检索爬虫在这个窗口里一次正文都没读——18 次请求全部落在 robots.txt、sitemap 和安全探针路径上。
  • 22.3%全部流量中标称 AI 爬虫的比例
  • 91.1%其中来自 meta-externalagent 一家
  • 306 : 1训练型与检索型的请求比
  • 0 次四天内主流 AI 爬虫抓取 llms.txt
七条结论与对应证据
结论关键数字为什么重要
1. AI 爬虫流量高度集中22,703 / 24,919一家占 91%。只报「AI 爬虫总量」会把这一家的采集量当成整个 AI 生态的兴趣度。
2. 训练型远多于检索型24,769 : 81约 306 倍。语料采集量与你今天是否被 AI 引用,几乎无关。
3. 抓取预算被标签页吃掉86.1%19,546 次请求打在 /tag/ 归档,正文页只有 3,123 次。这是本站自己最该先修的问题。
4. 检索型爬虫几乎不读正文0 / 18OAI-SearchBot 十八次请求零正文,全在 robots、sitemap 与探针。样本小,但方向明确。
5. llms.txt 没有被消费0 次四天 14 次请求来自 curl、两个 SEO 机器人、一个语料采集器,主流 AI 爬虫一次都没有。
6. 小流量「检索爬虫」多是伪装31%–82%标称 DuckAssistBot、YouBot、PerplexityBot 的请求里,三到八成在扫 /.dev.vars、/vercel.json 这类漏洞探针。
7. 404 主要来自 sitemap 命名变体8 次 / 4 天爬虫会主动试 /sitemap.html、/sitemap.txt、/news-sitemap.xml。不提供就白丢一次发现机会。

方法

数据是怎么来的,以及它不能证明什么

把口径写清楚,比把结论写得漂亮重要。

样本与口径

  • 来源:本站 nginx access log 原始行,未经过统计工具二次加工
  • 窗口:2026-11-15 00:00 至 11-18 24:00(+08:00),四个完整自然日
  • 总量:111,731 条有效请求行
  • 识别:按 User-Agent 特征串匹配,大小写不敏感,先匹配者优先
  • 落点:按请求路径分为正文页、robots、sitemap、llms、安全探针五类
  • 判定:用「安全探针率」交叉检验 UA 真伪,而不是只看 IP

这份数据不能证明什么

  • 不能证明某个引擎「永远不来」——四天窗口对低频爬虫来说太短
  • 不能按 IP 反查真伪——日志里 80% 以上是 Cloudflare 边缘 IP,真实来源被代理层抹掉了
  • 不能外推到你的站——标签结构、文章量、内链密度不同,比例会差很多
  • 不能当作「AI 可见性」指标——它只说明谁来过,不说明谁引用了你
  • 不能区分「同一台机器换了 UA」与「两个真实爬虫」——只能靠行为特征做概率判断
为什么不用 IP 段校验:本站走 Cloudflare,日志里的客户端地址 80% 以上是 162.158.x、172.6x.x 这类边缘节点地址,同一 IP 会同时服务成千上万个真实访客。拿它去比对官方公布的爬虫 IP 段,只会得到「全部不匹配」的假结论。要按 IP 校验,必须先让 nginx 记录 CF-Connecting-IP 头——这件事我们已经排进改造清单。

数据表 1

十九个爬虫的四日请求量

按四日合计降序排列。真实性判定依据见下一节。

www.semkw.com,2026-11-15 至 11-18,单位:次请求
爬虫 UA 公开用途 11-15 11-16 11-17 11-18 合计 判定
meta-externalagent Meta AI 语料采集 5,818 5,859 5,702 5,324 22,703 行为可信
Amazonbot Amazon 索引与语料 12 54 280 1,063 1,409 行为可信
CCBot Common Crawl 公共语料 0 4 197 106 307 行为可信
Applebot Apple 索引与语料 52 40 51 64 207 行为可信
ClaudeBot Anthropic 语料 6 23 10 31 70 样本过小
Bytespider 字节 语料 4 11 3 23 41 样本过小
Kimi 月之暗面 未公开 0 19 7 10 36 样本过小
GPTBot OpenAI 语料 2 7 4 5 18 样本过小
OAI-SearchBot OpenAI 检索 2 3 6 7 18 样本过小
ChatGPT-User 用户触发抓取 4 3 7 12 26 行为可信
Qwen 阿里 未公开 0 7 2 6 15 疑似伪装
cohere-ai Cohere 语料 0 2 3 9 14 疑似伪装
YouBot You.com 检索 0 5 3 5 13 疑似伪装
DeepSeek 深度求索 未公开 0 0 2 10 12 疑似伪装
DuckAssistBot DuckDuckGo 检索 0 5 2 4 11 疑似伪装
PerplexityBot Perplexity 检索 0 6 0 2 8 疑似伪装
Perplexity-User 用户触发抓取 0 0 1 3 4 疑似伪装
GoogleOther Google 研究 0 5 1 0 6 样本过小
Claude-User 用户触发抓取 1 0 0 0 1 样本过小
AI 类合计—占四日全部请求的 22.3%24,919

对照组(非 AI):同一窗口内 PetalBot 7,575 次、bingbot 3,036 次、SemrushBot 1,754 次、Baiduspider 458 次、AhrefsBot 85 次。也就是说搜索与 SEO 工具类爬虫合计超过 1.2 万次——AI 爬虫的绝对量并不比传统搜索爬虫少,这个结论和很多「AI 爬虫还没来」的说法相反。

发现一

一家占了 91%,「AI 爬虫总量」不能当兴趣度读

meta-externalagent 四天请求 22,703 次,占全部标称 AI 爬虫请求的 91.1%。它抓了 9,561 个不同 URL,平均每个地址 2.4 次。与此对照,真正代表「有人提问、引擎来检索」的几个爬虫加起来不到 100 次。

这意味着两件事。第一,如果你把「AI 爬虫访问量」当成一个 KPI 挂到看板上,看到的曲线几乎就是这个语料采集器的采集节奏,和你内容质量、和你在答案里的出现率都没有因果关系。第二,大量「AI 爬虫暴涨」的行业说法,很可能只是某一家采集器扩大了抓取范围。

反过来看也有价值:Amazonbot 四天内从 12 次涨到 1,063 次,88 倍。这类突增值得盯——它是爬虫换了抓取策略,不是你的内容突然变好了。

发现二

训练型与检索型相差约 306 倍

这两类爬虫做的事完全不同,混在一起统计等于什么都没说。

训练与语料采集 24,769 次 回答时检索 81 次

按行为目的重新归类(四个自然日合计)
类别包含的 UA请求数它决定什么
训练与语料meta-externalagent、Amazonbot、CCBot、Applebot、ClaudeBot、GPTBot、Bytespider、cohere-ai24,769未来模型「知不知道你」,周期以月计
回答时检索OAI-SearchBot、PerplexityBot、Perplexity-User、DuckAssistBot、YouBot、Claude-User81今天这次回答「引不引你」,周期以分钟计
用户触发抓取ChatGPT-User26有真实用户正在对话里打开你的链接
未公开 UADeepSeek、Qwen、Kimi63无法归类的,只能看行为

一个容易被忽略的细节:「用户触发抓取」(ChatGPT-User)四天 26 次,其中 20 次直接抓的是正文页。它是这份日志里唯一同时满足「AI 相关」和「有人在真实对话里点到你」的流量——26 次比 24,769 次更有商业含义,但它也最容易被总量统计淹没。

发现三

最该先修的一条:86% 的抓取花在标签归档页

这是本站自己的问题,写在这里是因为它比任何方法论都更直接。

把 meta-externalagent 的 22,703 次请求按路径分类:19,546 次(86.1%)打在 /tag/ 归档页,3,123 次(13.8%)打在真正的文章与页面,sitemap 20 次,静态资源 14 次。
meta-externalagent 请求落点分布
路径类型请求数占比检索价值
/tag/ 标签归档19,54686.1%极低:标题是标签名,正文是文章摘要列表,几乎不会被当作答案来源
文章与页面3,12313.8%全部价值都在这里
sitemap200.1%发现入口,正常
静态资源140.1%无

为什么会长成这样

本站当时有 1,807 篇文章,却有 11,476 个标签——其中 9,997 个(87.1%)只对应一篇文章。每个标签生成一个归档页,加上分页,可索引 URL 数量膨胀到文章数的十几倍。这些页面在 Yoast 里没有被设为 noindex,于是对爬虫完全开放。

标签的文章数分布(共 11,476 个标签)
标签下的文章数标签个数占比性质
仅 1 篇9,99787.1%与文章页内容高度重复,纯薄页面
2–4 篇1,1229.8%多数仍是薄页面
5–19 篇3082.7%有一定聚合价值
20 篇以上490.4%值得保留并运营

结论不是「标签没用」,而是「九成的标签页不该被索引」。把 87% 的薄标签设为 noindex、保留 357 个有聚合价值的,爬虫的抓取份额就会从标签页转移到文章页——这是目前性价比最高的一个改动,因为它不需要写任何新内容。

这件事我们还没改。标签索引策略会一次性影响站内数万 URL 的索引状态,必须与收录、内链、sitemap 同步调整,不能单独动一个开关。改完我们会用同一套口径再测一轮,把前后数据放进这张表——在拿到第二组数据之前,这里只给观测,不给效果承诺。这也是我们把这条结论放在最前面的原因:它是我们自己身上最贵的一个问题。

发现四

检索型爬虫在做什么:读 robots,不读正文

这一节样本量最小,请按「方向参考」而不是「结论」看待。

各爬虫请求落点与安全探针率(四日合计)
爬虫 总请求 正文页 robots sitemap 安全探针 探针率
meta-externalagent 22,703 22,677 0 21 4 < 0.5%
Amazonbot 1,409 1,401 0 6 2 < 0.5%
CCBot 307 301 1 2 3 1.0%
Applebot 207 189 13 5 0 < 0.5%
ClaudeBot 70 16 14 28 12 17.1%
Kimi 36 13 0 14 9 25.0%
ChatGPT-User 26 20 0 3 3 11.5%
GPTBot 18 5 0 9 4 22.2%
OAI-SearchBot 18 0 14 2 2 11.1%
Qwen 15 3 0 4 8 53.3%
cohere-ai 14 2 2 4 6 42.9%
YouBot 13 3 0 2 8 61.5%
DeepSeek 12 4 0 2 6 50.0%
DuckAssistBot 11 1 0 1 9 81.8%
PerplexityBot 8 0 0 3 5 62.5%
Perplexity-User 4 0 0 0 4 100.0%

OAI-SearchBot:18 次,0 次正文

14 次 robots.txt、2 次 sitemap、2 次探针,正文页请求为 0。PerplexityBot 情况类似:8 次请求,0 次正文,5 次探针,5 次 404。在这个窗口里,OpenAI 与 Perplexity 的检索爬虫没有读过我们任何一页内容。样本只有四天,不能推断常态;但它至少说明「加了内链、写了结构化数据,检索爬虫就会来读」这个假设,需要证据支撑。

ChatGPT-User:26 次,20 次正文

这是唯一大量读取正文的 AI 相关 UA,抓到 15 个不同 URL。它代表的是「对话里有人正在打开或引用你的页面」,是真实需求信号——比任何采集量都更接近商机。想让这个数字变大,靠的不是技术放行,而是内容真的回答了具体问题。

发现五

llms.txt:四天零抓取

我们自己也在维护这个文件,所以这条写出来有点不讨好。

四天内 /llms.txt 被请求 14 次。来源:curl 6 次(含我们自己的验证脚本)、两个 SEO 机器人各 1 次(PipericBot、SEOJuice-SearchBot)、meta-externalagent 1 次、其余为浏览器 UA。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 均无一次请求。

这个结果与公开讨论中的期待有落差。llms.txt 目前更像一个面向人和工具的约定,而不是被主流 AI 爬虫实际消费的接口。这不代表它没用——它对「让 AI 快速理解站点结构」有间接价值,对内容团队自己梳理信息架构也有用——但它不该被当成一项 GEO 交付承诺。

所以本站的做法是:继续维护 llms.txt(成本低、有描述比没有强),但不把它写进效果指标,也不建议客户把它当作验收项。真正决定能不能被检索到的,仍然是 robots 放行、sitemap 完整、页面本身可抽取。

可复现:grep -c "llms.txt" /www/wwwlogs/semkw.com.log-* —— 然后在结果里按 UA 分组,就能得到同样的数字。这也是我们建议所有站点自己跑一遍的原因:这个结论只有在你自己的日志里才算数。

发现六

小流量的「AI 检索爬虫」,三到八成是伪装扫描

UA 是客户端自己写的字符串,改一个字母的成本是零。

判定方法很朴素:真实爬虫不会去请求 /.dev.vars、/vercel.json、/turbo.json、/fly.toml、/.zshrc 这类部署与凭据文件。这些是漏洞扫描器的标准字典。把这类请求记为「安全探针」,就能估出一个 UA 的真伪。

安全探针率与请求规模的关系(四日合计)
爬虫总请求探针请求探针率判断
meta-externalagent22,7034< 0.1%行为一致,可信
Amazonbot1,40920.1%行为一致,可信
CCBot30731.0%行为一致,可信
Applebot20700行为一致,可信
ClaudeBot701217.1%混合
GPTBot18422.2%混合
cohere-ai14642.9%多数是伪装
DeepSeek12650.0%多数是伪装
Qwen15853.3%多数是伪装
YouBot13861.5%多数是伪装
PerplexityBot8562.5%多数是伪装
DuckAssistBot11981.8%多数是伪装

规律很整齐:请求量越大,探针率越低。四家上万或数千次的采集器探针率都在 1% 以内,行为完全一致(只抓页面和 sitemap);而请求量只有个位数到几十次的「AI 检索爬虫」,探针率普遍在 40%–82%。这说明低频的 AI UA 里,相当一部分根本不是 AI,而是拿热门 UA 当掩护的扫描器。

这件事的实际影响:如果你按 UA 统计「AI 爬虫访问量」并据此判断优化效果,会把大量扫描噪声算成成绩。要压掉这层噪声,最省事的办法就是先把安全探针路径剔掉,再看剩下的是什么。

发现七

404 不来自内容缺失,来自 sitemap 命名变体

四天里 AI 爬虫触发的 404 只有 50 余次,绝对量很小。但分布很有意思:meta-externalagent 主动试了 /sitemap.html、/sitemap.txt、/news-sitemap.xml、/news_sitemap.xml、/sitemap-index.xml 五种变体;ChatGPT-User 试过 /sitemap.xml。

YouTube 之外的爬虫生态并不统一。虽然 robots.txt 里声明了 sitemap 位置,仍有爬虫会先按惯例猜一遍文件名。这件事的处理成本极低:

  • 在 robots.txt 里同时声明 Sitemap: 与索引文件位置
  • 把常见的 /sitemap.xml 指向索引文件,别让它 404
  • 站点确实没有新闻内容,就不要声明 news sitemap——声明了但不更新会被判为低质信号

另一个观察:部分爬虫请求 /robots.txt 拿到的是 301(非 www 或 http 入口的归一化跳转)。规范允许 robots.txt 跟随重定向,不影响放行结果,但每次多一个往返。把 www 与非 www 的 robots.txt 都直接返回内容,能省掉这一步。

推论

这组数据改变了七件事的优先级

如果上面的观测成立,下面这些动作的顺序应该跟着变。

按这份数据重排的动作优先级
序号动作为什么排在这里
1把薄标签页设为 noindex,清理空标签86% 的抓取预算正在被浪费。这一项不需要写新内容,改一个开关就能把份额让给文章页
2确认 robots.txt 已放行 OAI-SearchBot、GPTBot、PerplexityBot、ClaudeBot检索型爬虫第一步只读 robots。这里错了,后面所有内容工作都失效
3让 sitemap 只包含值得被索引的 URLsitemap 是检索型爬虫唯一稳定入口。里面塞满标签页,等于告诉它「我的重点在标签上」
4在 nginx 记录 CF-Connecting-IP不记真实 IP,就永远无法校验 UA 真伪,也就永远只能做概率判断
5把「AI 爬虫访问量」从 KPI 里拿掉,换成「被引用次数」前者 91% 由一家采集器决定,与内容质量无关;后者才是业务指标
6llms.txt 继续维护,但不作为交付承诺四天零抓取。它有价值,但不是这个价值
7对「用户触发抓取」单独建一个监控26 次 ChatGPT-User 比 24,769 次采集更接近商机,却最容易被总量淹没

可复现

在自己的服务器上跑一遍

下面是我们实际用的口径,改两个路径就能用。

不需要任何第三方工具,一个 grep 加一段 awk 就够。建议至少取七个自然日:AI 检索型爬虫频率低,窗口太短会得出「它没来」的假结论。

# 1) 各 UA 的请求量(先看谁来了) zcat access.log-*.gz | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head -40 # 2) 只看 AI 相关 UA,并按路径分类 for ua in gptbot oai-searchbot chatgpt-user perplexitybot claudebot ccbot amazonbot meta-externalagent; do echo "== $ua" zcat access.log-*.gz | grep -i "$ua" \ | awk '{print $7}' | sed 's/?.*//' \ | awk '{ if ($0 ~ /^\/robots/) r++; else if ($0 ~ /sitemap/) s++; else if ($0 ~ /^\/tag\//) t++; else p++ } END { printf " 正文 %d robots %d sitemap %d 标签页 %d\n", p, r, s, t }' done # 3) 安全探针率(判断 UA 真伪) zcat access.log-*.gz | grep -iE 'gptbot|claudebot|perplexitybot|duckassistbot' \ | grep -cE '/\.dev\.vars|/vercel\.json|/turbo\.json|/fly\.toml|/wrangler\.toml|/\.zshrc' # 4) 独立 URL 数(看是否在重复抓取) zcat access.log-*.gz | grep -i meta-externalagent | awk '{print $7}' | sed 's/?.*//' | sort -u | wc -l

三个必须注意的口径问题:①日志里的 $7 是请求路径,一定要先 sed 's/?.*//' 去掉查询串,否则同一页面会被算成几十个 URL;②按 UA 分组时用 -i,不同爬虫的大小写写法不统一;③如果站点走 CDN,日志 IP 是 CDN 节点的,别拿它做 IP 校验。

边界

我们明确不外推的四件事

把边界写清楚,比多给几个结论更有用。

样本规模

四个自然日、一个站点。对每天请求几十次以下的爬虫,这个窗口不足以判断「来或不来」。GPTBot 18 次、PerplexityBot 8 次这类数字,只能说明「在这个窗口里来得很少」,不能说明「以后不会来」。

站点类型

这是一个内容量 1,800+ 篇、标签 11,000+ 个的中文企业站。换成一个 50 页的官网,标签页问题根本不存在,训练型与检索型的比例也会完全不同。任何「AI 爬虫占比 22%」的说法都不该跨站套用。

UA 只代表自称

全文所有「某某爬虫来了 N 次」都应读作「自称是某某爬虫的请求有 N 次」。探针率只是概率判断,不是身份验证。真正的验证需要反向 DNS 或官方 IP 段比对,前提是日志里先有真实客户端 IP。

来访不等于引用

这份数据完全不涉及「有没有被引用」。爬虫来过、抓了、存了,与它在下一次回答里用不用你,是两个不同的环节。后者只能靠实测提问来看,任何日志都推不出来。

FAQ

关于这份报告

这份报告的数据可以引用吗?

可以。引用时请标注来源为「重构营销 semkw.com 2026 年 11 月 AI 爬虫观测」,并保留样本窗口(2026-11-15 至 11-18,四个自然日)与站点类型(中文企业站)。请不要去掉窗口期——任何爬虫统计脱离时间范围都会失真。

为什么说「AI 爬虫占比 22.3%」不能当成绩看?

因为 91% 来自同一个语料采集器。这个比例主要反映那一家采集器在这段时间的抓取策略,与你的内容质量、与你在 AI 答案里的出现率都没有因果关系。真正值得跟踪的是被引用次数和「用户触发抓取」的次数。

训练型爬虫多,是不是说明我的内容被拿去训练了?

只能说明被采集了,不能说明进入了哪一次训练、也不能说明会被记住。训练语料通常经过筛选、去重、配比,采集只是第一步。这条链路上,站点能控制的只有「允许或拒绝」,控制不了最终结果。

标签页真的该全部 noindex 吗?

不是全部。判断标准是「这个标签聚合页是否提供了文章页之外的价值」。只有一篇文章的标签页,内容就是那篇文章的摘要,属于纯重复;有几十篇文章、且用户会按这个维度浏览的标签,反而值得保留和运营。本站的口径是保留文章数 5 篇以上的 357 个。

llms.txt 还有必要做吗?

我们的做法是继续维护,但不当作效果承诺。成本很低(一次生成、偶尔更新),对工具和人有价值;但在四天观测里,主流 AI 爬虫一次都没请求过它。把它写进合同验收项,目前缺乏证据支撑。

怎么判断一个 AI 爬虫是真的还是伪装的?

三步:先看它请求的路径里有没有漏洞探针(/.dev.vars、/vercel.json 这类),再看请求量级与行为是否稳定,最后如果能拿到真实 IP 就做反向 DNS 校验。只看 UA 字符串一定被骗。

为什么四天不够,却还是发了这份报告?

因为方向性结论在四天里已经稳定:86% 的抓取落在标签页、91% 的流量来自一家、llms.txt 零抓取——这三条不会因为多测一周而反转。我们同时把「样本不足」写在每一处该写的地方,并在调整标签策略后用同一口径复测。

你们会帮客户做这种日志分析吗?

会,这是诊断阶段的标准动作之一。需要客户提供一段时间的原始访问日志(nginx 或 Apache 均可,不必脱敏到只剩 UA)。如果站点走 CDN 且没有记录真实 IP,我们会先建议加一行日志字段,再等一个周期取数。