来源：环球网

【环球网科技报道 记者 林迪】Akamai最新发布的《2025年数字欺诈与滥用报告》揭示了一个正在重塑互联网生态的隐秘威胁：AI驱动的恶意爬虫程序在过去一年内流量暴增300%，其活动不仅扰乱网站性能、扭曲业务指标，更在无声中蚕食企业利润与核心数据资产。

报告显示，传统的“价格战”已悄然升级为一场看不见硝烟的“算法战”，而大多数企业尚未建立有效防御体系。

AI爬虫流量激增，恶意占比超六成

报告显示，当前互联网流量中高达42.1%来自各类爬虫程序，其中65.3%被归类为恶意爬虫。更令人警惕的是，在这些恶意爬虫中，63.1%已采用先进技术手段，包括行为模拟、动态请求调整和多步骤逻辑逆向工程，使其极难被传统防护机制识别。

“AI爬虫程序的兴起，已不再仅仅是安全团队所关注的问题，而是上升为董事会必须应对的战略要务。”Akamai应用程序安全部高级副总裁兼总经理Rupesh Chokshi强调，“业务负责人必须立即行动起来，构建能够确保AI落地、管理动态风险并保障数字运营安全的框架，否则就会陷入被动。”

尽管AI爬虫目前在总流量中占比尚不足1%，但其增长速度与破坏力不容小觑。以商业行业为例，在短短两个月观察期内，AI爬虫发起的请求数量超过250亿次；而在数字媒体发行领域，AI爬虫触发的流量占比约10%，其中出版业占据了63%的主导地位，成为受冲击最严重的行业。

AI爬虫对不同行业的攻击呈现出显著差异，根源在于各行业数据价值与安全威胁类型的双重驱动。

Akamai大中华区售前技术经理 马俊

在电商领域，近一半（47%）的AI爬虫流量集中于此，主要目标是实时抓取价格、库存及促销信息。“购物季、线上价格频繁变动等客观因素驱动了大量AI爬虫活动。”Akamai大中华区售前技术经理马俊在采访中解释，“这些数据被用于模型训练或比价工具，导致企业营销效果失真、广告投入浪费，甚至引发‘数字掠夺’型攻击。”

金融行业虽仅占4%的爬虫流量，却承受着高强度攻击——银行机构遭受的攻击量是保险业的6倍，达10亿次规模。其中80%为训练类爬虫，旨在获取高价值金融数据以支撑投资决策模型。然而，更大的风险来自“钓鱼攻击”：攻击者利用爬取的数据伪造银行网站，窃取用户账号密码，直接威胁客户资产安全。

医疗健康行业则面临90%以上的AI爬虫活动源于内容抓取。“医疗数据对AI模型训练具有特殊价值，”马俊指出，“一旦泄露，不仅造成巨额合规罚款，还可能因勒索软件锁定病历系统而被迫支付赎金。”

出版与数字媒体行业则遭遇“零点击搜索”的致命打击。原本依赖搜索引擎引流实现广告变现的模式被颠覆——AI爬虫直接抓取优质内容用于模型训练，导致‘零点击搜索’现象频发，直接造成广告收入下滑和流量流失，严重冲击了商业模式。。“这意味着直接的财务损失与业务数据下滑，”马俊坦言，“对出版业而言，AI Bot的影响是无可忽视的。”

从“好/坏二分”到“影响导向”，探索AI爬虫共存新路径

过去，企业常将爬虫简单划分为“好”（如Googlebot）与“坏”（如盗号脚本）。但AI爬虫的出现模糊了这一界限。搜索引擎爬虫通常遵循robots.txt协议、主动声明身份，行为规范；而AI爬虫则更具随机性与目的性，可能基于用户实时查询临时抓取，且不遵守传统规则。

“所谓‘好’与‘坏’，不再取决于爬虫本身属性，而应基于其对企业和业务的实际影响来判断——是有益助力，还是额外负担。”马俊强调。

在此背景下，Akamai倡导建立“以AI对抗AI”的防御体系。其解决方案通过四层架构实现综合治理：资产发现，全面识别所有API，包括“影子API”，消除管理盲区；态势管理，基于OWASP等标准主动检测漏洞，优先治理高风险接口；运行时保护，运用AI实时反制探测行为，动态识别并预警新型攻击；安全测试，结合静态代码扫描与渗透测试，提前修复潜在漏洞。

“我们实际上是在与时间赛跑，”马俊表示，“如果能够将API治理推进到理想状态，就有能力应对那些日益智能、高速的AI技术挑战——它们本质上仍是技术手段，只不过效率更高、速度更快。”

面对无法完全阻断的AI流量，部分行业开始探索合规共存与价值转化机制。以出版业为例，Akamai联合TollBit与Skyfire推出基于“HTTP 402标准”的内容计费与变现平台。当AI爬虫请求访问时，系统可自动生成支付凭证，按请求量或数据规模收费，使内容抓取转化为收入来源。

“尽管真实用户访问可能减少，但通过AI Bot带来的请求可实现收入补偿，甚至开辟新的增长点，”马俊解释道，“这才是适用于出版业的AI Bot策略。”

与此同时，跨国企业在数据抓取合法性方面面临复杂合规挑战。各国对数据跨境、隐私保护及AI监管要求各异。对此，Akamai建议企业从四方面构建合规策略：识别风险并分类数据；重点关注跨境传输合规；借助OWASP等技术框架落地防护；建立法务、安全、开发等多部门协同机制。

“合规治理不仅是技术问题，更涉及企业内部多部门协作，”马俊指出，“企业应形成内部合力，共同构建并落实合规清单。”

警惕“未知的未知”：中小企业如何低成本防御

对于资源有限的中小企业，全面部署高级防护似乎遥不可及。但马俊强调，OWASP框架本身具备普适性，关键在于选择合适的技术路径。

他提出六大评估维度：技术先进性（是否具备AI对抗能力）、持续迭代能力、全面可观测性、准确性与鲁棒性、可操作性（支持SOC/SIEM集成）以及合规性。“安全供应商应具备持续服务和技术迭代能力，能够长期支持企业成长。”

更重要的是，企业需根据自身行业特性确定防护优先级。金融企业应聚焦身份验证与撞库攻击防护；医疗机构则需严防PII（个人可识别信息）泄露风险；电商则要防范价格抓取与Magecart注入攻击。

“围绕自身行业特点与面临的风险，确定相应的防护优先级，”马俊建议，“选择能够全面、快速覆盖OWASP框架的解决方案，以便高效落地并系统应对各类安全风险。”

尽管AI爬虫威胁日益严峻，当前企业普遍仍处于“观察为主”的阶段。这种态度源于对误拦业务流量的担忧，但也暴露了防御体系的滞后。

“忽视这类流量将直接导致业务目标无法达成，并引入新的风险，”马俊呼吁企业立即采取五项行动：采用基于风险的Bot管理方法、监控AI抓取活动、部署AI特定安全控制、利用安全框架（如OWASP）、实施全面API安全策略。