AI 机器人占据了 52% 的网络流量：比人类还多

作者

网络流量的过半是 AI 机器人 — 核心数字 3 个

  • 整体网络流量的 52.3% 来自 AI 机器人[AI CERTs]
  • LLM 学习用爬虫流量在 8 个月内从 2.6% 增加到 10.1%，增长了 4 倍[2026 AI Bot Impact Report]
  • Meta AI 机器人占据整体 AI 爬虫流量的 52%，远超 Google(23%) 和 OpenAI(20%)

发生了什么？

进入 2026 年，AI 机器人占据了互联网流量的过半数。根据 2026 AI Bot Impact Report，整体网络流量的 52% 来自机器人，超过了人类用户流量(47.7%)。[2026 AI Bot Impact Report]

特别是 LLM 学习用爬虫急剧增加。 OpenAI、Anthropic、Google DeepMind 等 AI 企业为了模型学习而大规模收集网络信息，该部门的流量就达到了 35%。[AI CERTs]

OpenAI 的 GPTBot 在追踪期间增长了 305%，执行 JavaScript 的用户行为爬取也在 2025 年增加了 15 倍。[2026 AI Bot Impact Report]

为什么重要？

坦率地说，这是互联网的根本经济结构正在动摇的信号。

网站通过广告收入运营。但是如果超过一半的访问者是不看广告的机器人呢？广告模式本身受到威胁。我个人认为，这对整个内容产业的影响仍然被低估了。

更严重的是服务器负载。 AI 机器人消耗高达 70% 的动态资源，加剧了共享主机环境中的“吵闹的邻居”问题。一个网站的机器人流量会降低同一服务器上其他网站的性能。

Cloudflare 等企业推出了 AI 爬虫拦截工具，一些发行商开始采用“按爬取收费”模式。免费抓取内容的时代即将结束。

今后会怎么样？

AI 机器人流量预计会继续增加。 AI 企业的模型学习需求没有减少的迹象，随着 AI 代理的出现，机器人直接浏览网站的情况也在增加。

网站运营者面临选择。有数据显示，拦截 AI 爬虫会减少 75% 的流量。[2026 AI Bot Impact Report] 拦截的话担心搜索曝光，允许的话服务器费用会飙升。

最终，AI 企业和内容创作者之间似乎需要达成新的协议。现在的免费搭车结构是不可持续的。

常见问题 (FAQ)

Q: AI 机器人流量会影响我的网站速度吗？

A: 是的。 AI 爬虫比普通用户更快地请求更多页面。如果使用共享主机，由于同一服务器上其他网站的机器人流量，我的网站也可能会变慢。 Core Web Vitals 分数下降会对 SEO 产生负面影响。

Q: 拦截 AI 爬虫会降低搜索排名吗？

A: Google 或 Bing 等搜索引擎爬虫与 AI 学习用爬虫不同。即使拦截 GPTBot 或 Anthropic 爬虫，也不会直接影响 Google 搜索排名。但是，在 AI 搜索服务中的曝光可能会减少。

Q: 如何查看我的网站的 AI 机器人流量？

A: 可以通过分析服务器日志中的 User-Agent 来查看。查找 GPTBot、ClaudeBot、Google-Extended 等字符串。如果使用 Cloudflare 等 CDN，可以在机器人管理仪表板中单独查看 AI 爬虫流量。

如果这篇文章对您有帮助，请订阅 AI Digester。

参考资料

发表评论