随着人工智能技术的飞速迭代，AI爬虫凭借强大的逆向工程能力和动态规避技术，正成为互联网安全领域的新型威胁。它们不仅能精准突破传统防御系统，还能针对不同行业的业务逻辑实施定制化攻击，给企业带来流量失真、数据泄露、营收下滑等多重风险。
Akamai大中华区售前技术经理 马俊
Akamai作为全球领先的网络安全和云计算提供商，在网络安全领域深耕多年，始终密切关注AI驱动的攻击演变趋势。近日，Akamai大中华区售前技术经理马俊围绕《欺诈与滥用：在AI的浑浊水域中探寻方向》报告核心内容，接受了专访，深度解析AI爬虫的攻击特性、行业影响，并分享了Akamai以AI对抗AI的全方位防御方案。
AI爬虫：从技术赋能到安全威胁的异化
AI技术的崛起在推动产业数字化升级的同时，也被恶意攻击者所利用，催生出具备高智能、自适应特性的AI爬虫。与传统爬虫相比，这类新型攻击工具的威胁性呈指数级提升。
马俊指出，AI爬虫的核心优势在于其强大的推理与自适应能力。攻击者借助大语言模型的理解能力，可对复杂的多步骤业务逻辑进行自动化逆向工程，同时通过强化学习动态调整请求频率、模拟鼠标移动轨迹等，轻松规避基于统计异常或机器学习的传统检测系统。“AI能够通过大量请求持续试探系统边界，逐步分析出防护策略，最终反推出企业的安全机制并实现绕过防御。”
更值得警惕的是，AI技术显著降低了网络攻击的门槛。黑产市场中涌现的FraudGPT、WormGPT等恶意模型，只需极低成本就能生成高仿真的钓鱼工具、恶意代码和勒索软件。其中，FraudGPT每月仅需90欧元，就能为攻击者提供无道德约束的攻击助力，甚至可模拟企业高管语气撰写钓鱼邮件，大幅提升攻击成功率。
从流量数据来看，AI爬虫的增长态势令人瞩目。过去一年，全球AI Bot流量增长率高达300%，在互联网流量中的占比虽仍较小，但增速迅猛。这些流量主要分为三类：用于模型训练的训练类Bot、响应用户指令的代理/助手类Bot，以及替代搜索引擎的搜索类Bot。其中，训练类Bot因各大企业构建大模型的需求旺盛而成为主流，OpenAI、字节跳动、Meta等企业的爬虫流量在全球范围内尤为突出。
行业差异化冲击：数据价值与安全威胁决定风险格局
AI爬虫对不同行业的攻击呈现出鲜明的差异化特征，这种差异本质上由行业数据价值和特定安全威胁共同决定。专访中，马俊结合具体数据，剖析了电商、金融、医疗、出版等重点行业的安全困境。
电商行业无疑是AI爬虫攻击的重灾区，其AI Bot流量占比高达47%，远超其他行业总和。在零售细分领域，这一占比更是达到电商Bot检测量的75%。每逢购物季和促销活动，价格、库存等实时数据的频繁变动会吸引大量爬虫聚集。除了流量冲击，电商行业还面临Magecart数字掠夺攻击的威胁，攻击者通过注入恶意脚本窃取用户支付数据，2025年初以来针对Magento的攻击活动仍持续活跃。某电商客户在大促期间就曾遭遇流量异常飙升，后续复盘发现增量流量多为AI Bot，核心业务指标并未同步增长，还导致源站性能下降，影响真实用户体验。
金融服务行业的AI Bot流量占比约4%，但风险集中度极高。银行作为核心攻击目标，触发量超过10亿次，是保险公司的6倍。该行业80%以上的AI Bot为训练和搜索类爬虫，用于收集金融数据支撑投资决策和自动化交易。其面临的主要威胁是网络钓鱼与品牌冒充，60%的被监控域名为钓鱼网站，攻击者通过模仿合法网站窃取用户凭证，引发账户被盗等连锁风险。
医疗健康行业的AI爬虫增长率已超过电商，90%的触发量来自训练和搜索类Bot，其中训练Bot达13亿次。医疗数据的高价值使其成为攻击目标，数据泄露平均成本全球最高，达742万美元，勒索软件攻击导致的停机每天损失更是高达190万美元。这些数据既被用于用户健康信息查询，也成为药物发现和数据分析的非法数据源。
出版/数字媒体行业则深陷内容贬值的困境。该行业AI Bot触发量约50亿次，占总触发量的10%，出版业本身在“其他数字媒体”类别中占比为63%。AI爬虫抓取优质内容用于模型训练，却导致网站“零点击搜索”现象频发——用户通过AI直接获取答案，无需访问原网站，直接造成广告收入下滑和流量流失，严重冲击基于网络的商业模式。
此外，不同区域的AI爬虫活动也存在差异。北美地区是AI Bot流量最集中的区域，占全球总量的54.9%，美国以288亿次的攻击次数遥遥领先；亚太地区位列第二，印度、日本、中国是主要目标市场，Meta的爬虫流量最为突出；拉丁美洲则呈现特殊性，金融服务成为最易受攻击的行业，与当地撞库攻击频发相关。
全方位防御体系：以AI对抗AI，贯穿全生命周期防护
面对日益严峻的AI爬虫威胁，Akamai提出了“以AI对抗AI”的防御理念，构建了覆盖流量多层级流量和API全生命周期的完整解决方案。马俊详细介绍了这一体系的核心架构与实践路径。
在整体防护架构上，Akamai从被动检测、差异化交付和端点防护等多层次措施。初始层级通过被动检测，分析User-Agent、访问频率等特征，完成首轮流量筛选；中间层针对不同内容类型实施差异化处理；第三层聚焦API接口，依托专门的API安全能力提供精准保护。这一架构整合了机器学习与大数据分析能力，能够有效区分爬虫行为与真实用户访问。
针对API安全，Akamai推出了涵盖发现、态势管理、运行时保护、安全测试四个层面的专项方案。资产发现环节通过自动连续的API库存排查，消除影子API带来的管理盲区；态势管理基于OWASP框架，主动检测代码漏洞、身份验证缺失等风险；运行时保护是“以AI对抗AI”的核心，实时识别OWASP Top10威胁，联动安全响应流程；安全测试则通过静态代码扫描和渗透测试，将漏洞修复前置到开发阶段。
对于不同类型的AI Bot，Akamai制定了精细化管控策略。训练型Bot通常遵守robots.txt规则，可通过监控评估其业务价值；推理型Bot按需抓取且经常忽略规则，需加强行为检测与访问控制；未声明型Bot伪装性强、难以识别，需启用Bot检测机制并阻断高风险访问。同时，通过意图识别路由将已声明身份的AI Bot引导至安全内容区，加固缓存策略对抗AI枚举攻击。
在内容保护与变现方面，Akamai创新地与TollBit、Skyfire合作推出基于HTTP 402标准的内容付费与变现解决方案。针对出版业等内容密集型行业，让AI Bot的每次访问都能通过支付网关转化为收益，既解决了内容被盗用的问题，又为行业开辟了新的营收增长点，实现了安全与商业价值的平衡。
对于中小企业关心的OWASP框架落地问题，马俊给出了明确的优先级建议。企业应结合行业特性确定核心风险点，如金融行业聚焦访问控制与身份验证，医疗行业重点防范PII数据泄露。在选择解决方案时，需考量技术先进性、持续迭代能力、全面可观测性、准确性与鲁棒性、可操作性和合规性六个维度。Akamai的APP & API Protector等产品可帮助中小企业更高效、更低成本地实现OWASP标准落地，简化部署流程，获得前沿安全防护能力。
合规与个体防护：构建全维度安全屏障
在全球化背景下，不同国家对数据抓取的法律框架存在差异，跨国企业的合规压力日益增大。对此，马俊建议企业从四方面推进合规建设：首先做好风险识别与数据分类，明确不同数据的保护优先级；重点关注跨境数据传输合规，适配各地监管要求；借助OWASP等成熟技术框架实现合规落地；建立跨部门协同机制，整合开发、运维、法务等团队力量构建合规清单。
除了企业层面的防护，个人与个体开发者的安全意识提升同样重要。AI技术降低攻击门槛的同时，也让个人设备面临更大威胁。马俊提醒，无论是普通用户还是开发者，都应警惕钓鱼邮件、陌生链接和非正规应用，避免设备被植入恶意程序。同时，企业需加强员工安全教育，防范因人为疏忽导致的企业数据泄露。他提出三点具体建议：提高风险意识，不轻视潜在威胁；扩大安全教育覆盖面，惠及个人、群体与企业员工；善用AI技术的正向价值，在防范风险的同时提升工作生活效率。
展望未来，AI技术的演进将持续推动攻击与防御的动态博弈。马俊强调，当前全球对AI Bot流量的拦截率普遍偏低，北美不足9%，亚太地区仅1.4%，多数企业仍处于监控观察阶段。随着AI爬虫技术的不断升级，企业必须摒弃“一刀切”的应对方式，转向精细化、动态化的治理模式。
Akamai发布的《欺诈与滥用：在AI的浑浊水域中探寻方向》报告，不仅揭示了AI爬虫带来的严峻挑战，更为行业提供了系统化的防御指引。在这场AI驱动的安全攻防战中，唯有以先进技术构建全生命周期防护体系，结合行业特性精准施策，方能在数字浪潮中筑牢安全防线，实现业务的稳健发展。
