作者：派拓网络网络安全高级副总裁Rich Campagna
AI应用与企业的快速融合为企业创造了巨大的机遇。这些智能系统具有彻底改变运营方式、推动创新和提高生产力的潜力。虽然企业愈发积极地采用AI，但要充分发挥AI的潜力，关键在于落实强大的安全措施。如果企业能够积极主动地解决安全问题，就能营造一个推动AI技术安全与普及的可信环境。
在这种环境下，企业需要对AI工具在执行训练、推理等功能时访问的海量数据实施管控。应对这些威胁的最好方法是使用AI驱动的解决方案，这样采用AI的企业将脱颖而出。
AI的普及以及随之产生的风险
生成和分析工具等AI应用的快速普及给各个行业带来了一场巨变。麦肯锡最新调查显示，超过75%的企业已将AI应用于各种业务功能。这一快速发展证明了AI所带来的巨大价值。
但同其他强大技术一样，负责任地使用AI非常重要。虽然AI的普及速度惊人，但企业仍需密切关注底层数据以及AI系统的安全性。如果能够将安全融入到AI开发和部署的每一个环节，企业就可以放心地发挥AI的优势并减轻潜在风险。
底层数据面临的挑战
企业在整合AI的过程中，需要采取拥有前瞻性的数据管理方法。Hugging Face等平台提供了海量模型和数据集（截至目前已有超过150万个模型和40万个数据集）且其中大部分为开源，而企业应确保以负责任且道德的方式使用这些信息，例如使用医疗数据集时应严格遵守隐私法规。企业可通过落实强有力的数据治理实践，更好地应对这些复杂性。
同样，有关大语言模型（LLM）训练数据的持续讨论突出了尊重知识产权的重要性。如果能够积极主动地解决这些问题，AI生态系统将变得更加可持续且合法。此外，派拓网络研究人员发现的恶意AI模型不仅证明了保持警惕的必要性，同时也促使企业开发出专门用于识别和缓解此类威胁的安全解决方案。
需要更多的控制措施
那么企业应采取什么样的措施？无论如何停止使用AI绝非明智之举，而且对于希望保持竞争力的现代企业而言并不现实。
关键在于采用“安全设计”理念，即将安全因素融入到AI应用开发生命周期的各个阶段，帮助开发者和数据专家构建强大、可信的模型。一个综合全面的AI安全平台应涵盖多个关键领域：
AI智能体安全：防止智能体受到新型代理威胁，例如工具滥用、身份冒充和内存操控。
AI模型扫描：通过主动扫描AI模型发现漏洞，确保模型的使用安全。这能够保护AI生态系统免受反序列化攻击、模型篡改、恶意脚本等风险。
安全态势管理：通过监视与AI生态系统相关的安全态势风险，帮助企业避免因访问或平台配置错误、敏感数据泄露，及过度授权导致的安全态势风险。
运行时安全：防止大语言模型（LLM）驱动的数据、AI应用和模型受到幻觉、有毒内容、资源过载、提示注入、敏感数据泄露、恶意代码等运行时境威胁。
防御基于AI的数据泄露
在AI这片“无人区”，机遇与挑战并存。一旦AI模型和数据集缺乏保护，随时可能发生大规模数据泄露。鉴于AI伴随的风险，企业似乎既离不开AI，又对其有所忌惮。但当竞争对手和攻击者都在应用AI时，企业别无选择。
AI能够给企业带来明显的优势，如加快应用开发速度、提高流程自动化程度、大幅提升生产力等。而要充分发挥这些优势，企业从一开始就参考最佳实践打下强大、安全的牢固基础，以保障AI应用开发生命周期每个阶段的安全，追踪和监控每位员工的AI使用情况，并时刻防止AI应用中的数据遭到泄露和未经授权的访问。
