让AI像“扫码支付”一样便利每个人的生活——探营2024世界人工智能大会蚂蚁集团

蚂蚁是一家由技术驱动、创新驱动的科技公司。20年前创立的支付宝让移动支付走进千家万户,方便每一个人的生活。10年前蚂蚁金服成立,用数字技术创新普惠金融服务,助力每一个小微企业的发展。面向未来,蚂蚁将以更大力度拥抱科技创新,2023年蚂蚁的年度科技研发投入金额211.9亿元,全力聚焦人工智能、数据要素核心技术,把蚂蚁科技的底色做得更加扎实,用科技创造更大的价值。

2024世界人工智能大会(WAIC)7月4日正式开幕,蚂蚁集团通过参展参会,集中展示大模型产业应用实践、携手行业探讨AI科技和产业发展。

在2024WAIC展区,蚂蚁展示了AI面向产业、服务普通人生活的方方面面,包括AI生活管家“支付宝智能助理”,AI金融管家,以及AI就医助理等,这些应用既涵盖了普通人衣食住行的日常需求,也延伸到了理财、就医等高专业性的领域。这些便捷的AI服务,能像“扫码支付”一样便利每个人的生活。蚂蚁集团也理性看待AI技术发展,在大模型可靠性、经济性、易用性等技术方面持续投入,布局了知识图谱、运筹优化、隐私保护计算等技术;在科技伦理层面,蚂蚁集团成立了科技伦理顾问委员会,由7名外部专家构成,为蚂蚁集团科技伦理建设给予方向性、战略性、针对性的指导建议。

“镇馆之宝”支付宝智能助理亮相展区,现场体验人人可享的AI应用

大模型进入应用时代,蚂蚁集团将展出基于百灵大模型研发的最新AI应用,打造人人可享的AI。在这里,您将看到蚂蚁大模型全栈技术布局大图,以及蚂蚁AI在各行各业的应用。主要包括AI生活管家“支付宝智能助理”,以及AI金融管家和AI就医助理等,参会观众可沉浸式体验AIGC应用。

AI生活管家「支付宝智能助理」

首次展示的「支付宝智能助理」基于蚂蚁集团自研的百灵大模型进行研发,致力于成为人人可用的AI生活管家。它依托支付宝这一国内最大的服务型App,用户在首页下拉就能唤起,问一问就能获得出行、健康、政务、金融等领域的超8000项数字生活服务,不仅“有脑有嘴能对话”,更是“有手有脚能办事”。

同时,伴随AI走向产业共建,支付宝智能助理也将成为专业智能体生态的平台入口。用户通过与智能助理的对话,就能一键连接生活、金融、医疗等垂直行业的AI智能体,获得更专业丰富的服务。

互动体验1:WAIC大会智能助理

本届世界人工智能大会,支付宝创造性地将AI融入展会服务,打造“AI逛展搭子”,为观众提供智能观展的新体验。观众抵达会场后,在支付宝首页下拉,便能唤起智能助理,获取本届大会的核心亮点、场馆导览、论坛议程等资讯,还能快速预定酒店、呼叫网约车、搜寻附近的餐馆及充电宝、定制本地游玩攻略等,AI助理在手,逛展不发愁。

AI技术的创新应用,不仅提升了公众的看展体验,更解决了吃、住、行、游、购、娱等展会之外的多元需求。

互动体验2:让AI替你点单,支付宝智能助理与咖啡机器人“梦幻联动

为了让支付宝智能助理的服务能力得到具象化展示,蚂蚁展区搭建了智能助理与咖啡机器人的“梦幻联动”。在展览现场你可以在蚂蚁咖啡体验店,对AI助理大屏说“帮我点一杯热美式”,咖啡机将接受智能助理信息开始制作,1分钟后就能收到通过智能助理下单、机器人制作的一杯咖啡,真正实现“有手有脚能办事”。

AI点单这一新功能,已在支付宝App开启测试,首批支持星巴克、瑞幸、喜茶、霸王茶姬、蜜雪冰城等11个茶饮品牌的支付宝小程序。用户通过支付宝智能助理下达指令,比如“我想点一杯星巴克的中杯冰拿铁”,AI便会进入小程序自动下单,用户确认并付款后,就能到附近的线下门店取到咖啡。

(支付宝智能助理点咖啡效果图,以实际为准)

支付宝AI点单的功能,并非简单通过调用接口来实现,而是基于原生多模态大模型的技术,让智能助理具备屏幕感知与仿真执行能力,就像让AI有了“眼睛”和“手脚”,过去用户多次点击才能完成的操作,未来只需要一句话,AI就能帮你办好。据支付宝介绍,这一名为ACT(Transformer for Adctions)的智能服务技术,目前仍在测试中,未来将持续调整优化,并在快餐点单、医院挂号、门票预定等场景中落地应用。

AI金融管家

金融管家,可以帮助用户用一部手机就获得高质量的行情解读、持仓分析、投教陪伴等个性化的服务,降低金融专业服务的获得门槛。目前已经服务了4300万用户,而且支小宝的服务水平已经趋近于真人行业专家,未来将让每个投资者都拥有一个「私人理财专家」。

金融管家效果图,以实际展出为准

AI就医助理

AI就医助理是利用AI大模型、数字人等技术,助力医疗机构为患者的提供覆盖就医前、中、后的“AI陪伴就诊”服务。此前,蚂蚁联合浙江卫健委推出了全国首个AI就医助理“安诊儿”, 运用了亚运同款数字人技术,让每个患者在就诊全程都有贴心的数字陪诊员。这一方案也正在全国医院、医疗机构落地。

“安诊儿”效果图

此外,蚂蚁还展示了研发助手CodeFuse、遥感大模型及大雁系统、AI创意海报、AI表情包、AI灵活就业等不同场景的应用,服务普通人生活的方方面面。

在沉浸式的数字人中心,游客可和全国首个陪诊数字人安诊儿、政务数字人小赣事、10亿人参与的亚运数字人、央视数字主播等会面,体验虚实结合的数字生活服务,观赏虚拟人小艺带来的唱跳表演。

数字人中心效果图

AI鉴真产品首次亮相 共建安全可信的AI

AI鉴真中心

如果说AI的A面是应用,那么它的B面就是反欺诈和AI安全。用AI打败AI,也从技术想象走到了真实场景里。

在蚂蚁集团“AI鉴真中心”,将展出包括多模态AI鉴真、“谍影重重”深度伪造(Deepfake)互动,为普通人揭开“声音模拟、AI换脸”的真相,在展区现场来一把“人机对抗”,进一步了解到反深伪技术的发展,守护人们的安全。

互动1:AIGC鉴真

该互动模拟了蚁天鉴AIGC检测和证照深度合成检测两大能力,对抗声音模拟、证件伪造等AI滥用风险场景的过程。「攻击端」模拟了常见伪造手法,涵盖证照、视频等多样化素材可供选择,可对「防御端」检测模型进行攻击。该产品依托生成模型构建TB级样本,实时攻防对抗,快速精准鉴别图像、视频、音频、文本内容的真伪并形成检测报告,从而帮助用户识别和评估相关素材是否被篡改或深度生成,防御AI技术的潜在滥用。

互动方式:现场观众在装置前,可以选择互动装置上的证照、视频等多样化素材,该互动会先对这些素材做一番伪造模拟生成;上述步骤完成之后,该互动能对上述伪造的素材(如图像、视频、音频、凭证)快速进行精准鉴别,并形成检测报告。

多模态鉴真效果图

互动2:“谍影重重”深度伪造(Deepfake)互动——“AI换脸”对抗

Deepfake,指的是基于深度学习算法,从大量的视频和图像数据中学习,伪造出逼真的面部动画和语音。

Deepfake 不仅增加了公众识别视频真伪的难度,也进一步滋生了诈骗、色情等违法犯罪活动的风险和隐患。 在2024年世界人工智能大会上,蚂蚁集团特设“谍影重重之 Deepfake 互动展”,用户上传一张照片就可以生成仿真视频。通过场景化的体验,让观众了解Deepfake的使用场景和领先的反深伪技术。

ZOLOZ作为蚂蚁数科的安全科技品牌,搭建了端云一体的技术体系,会对摄像头状态、设备及网络环境、输入图像等进行严格审查,确保软硬件环境安全无风险。此外,ZOLOZ会通过GAN模型,生成超 30 万测试样本并进行判别训练,每个月还会对其进行超过20000次的攻防测评,模拟上百种伪造攻击情况,以保持技术的领先性。

互动方式:用户上传一张自己的照片,通过AI换脸合成一张虚假人脸视频,尝试使用合成后的视频去刷脸,该互动能够鉴别出该视频是否是AI合成,进而阻止风险行动。

深度伪造互动效果图

大会首发大模型安全产品“蚁天鉴2.0”亮相展区

本次大会首发的国内首个大模型安全一体化解决方案“蚁天鉴”2.0届时将在展区展示,观众能第一时间参观了解这项产品的最新能力。

蚁天鉴是业内首个实现产业级应用的大模型安全评测与防御一体化解决方案,可保障大模型的生产和使用更加安全、可控、可靠。目前,“蚁天鉴”的检测与防御产品已开放给20余家外部机构和企业使用,曾被评为2023年世界人工智能大会“镇馆之宝”。随着AI技术向大模型和Agent范式发展,蚁天鉴升级到2.0版本:

1)在大模型安全评测上:打造了大模型安全评测“智能体Agent”,并新增大模型X光、大模型基础设施检测等两大评测能力。蚁天鉴2.0依托“智能体”,针对大模型的幻觉、算法和软件系统安全及AIGC滥用的危害,提供全方位智能化的自动化评测体系,渐进式挖掘大模型潜在的弱点和漏洞。目前,蚁天鉴2.0有超300万高质量评测题库,支持50万/日饱和式诱导攻击,实现1工作日内完成评测,全流程自动化率>99%。

新增的两项评测能力:一是「大模型X-ray」,即大模型X光。可针对大模型的内在神经元进行X光扫描来做探查和判断,让研究人员了解大模型内部在发生什么、定位可能引发风险的神经元、并进行编辑修正,在模型内部治理幻觉,实现从源头识别和抑制风险。二是「大模型基础设施评测」。从攻击者视角出发,深入扫描模型算法组件及模型软件系统,可及时准确发现大模型供应链及运行环境安全问题,保障云到端的应用安全可控。

2)面对新技术的滥用场景,蚁天鉴还推出了「AI鉴真」解决方案,支持多模态内容真实性和深度伪造检测,可快速精准鉴别图像、视频、音频、文本内容的真伪,有效应对AI换脸、声音模拟、证件伪造等各类深度伪造风险场景。图像识别准确率99.9%达到行业最高优秀级别(信通院评测)。

蚂蚁集团是国内较早布局大模型安全的厂商。蚁天鉴除了大模型安全评测,还提供大模型安全防御方案。在大模型安全防御上,蚁天鉴2.0构建了“内置+外挂”双重防御护栏,在提问环节做预防,对回答内容进行风险过滤,保障其应用安全。

大模型研发前沿技术

大模型从智能涌现到应用涌现实现人人可得,需要解决专业、安全、可信等问题,并布局关键技术。本次会展中,蚂蚁展示了应对大模型大规模应用背后的系列关键技术。

多模态:让大模型能看能听也能说,像人一样感知和交互

本次WAIC期间,蚂蚁百灵大模型多模态能力全面提升——它能“看”会“听”,能“说”会“画”,可支持音、视、图、文等多模态理解与生成,可以让大模型更像人一样感知和互动,支撑智能体体验升级,其能力未来将应用在支付宝智能助理等多个AI智能体。

百灵大模型多模态能力,在中文图文理解MMBench-CN评测集上达到GPT-4o水平,在信通院多模态安全能力评测达到优秀级(最高),具备支持规模化应用的能力,能支持AIGC、图文对话、视频理解、数字人等一系列下游任务。

蚂蚁集团有着丰富的应用场景,百灵大模型的多模态能力,也已被应用在支付宝智能助理、搜索推荐、互动娱乐等场景。在生活服务,蚂蚁集团利用多模态能力实现了ACT技术,并应用在支付宝智能助理上,可轻松调起各类服务。在医疗领域为用户实现复杂任务的操作,可以对超过100多种复杂的医学检验检测报告进行识别和解读,还可以检测毛发健康和脱发情况,对治疗提供辅助。

智能认知决策技术与平台:为大模型装上可信大脑

蚂蚁科技集团与浙江大学的【智能认知决策技术与平台】,实现了对大模型、图学习、知识图谱、运筹优化技术的融合和突破,大幅提升了AI的认知、推理和决策能力,特别是解决了AI落地严谨产业中专业知识薄弱、复杂决策能力不足的关键挑战,为大模型装上可信大脑!目前已在医疗、政务、金融等行业机构实现规模化应用。该技术平台也已获得了2024WAIC的SAIL奖TOP30。

“隐语cloud”大模型密算平台:让大模型更安全地获取专业领域数据

大模型向下扎根深入行业,必须要破解高质量数据供给的挑战。当下,高质量数据供给和安全流通,成为大模型进入垂直产业应用的首要挑战。其一,行业大模型要获得解决专业问题的能力,首先要经过数量充足、质量高的专业数据训练。然而,专业数据往往分散在不同的机构、企业中,并且由于价值大、保密要求高,难以流动。此外,在企业、大模型厂商和用户之间存在信任壁垒,企业担心数据对外泄露,大模型厂商担心模型资产安全,用户担心个人数据和隐私风险。

现阶段大模型在垂直行业应用时,许多企业通过私有化部署来应对数据安全挑战,这不仅增加企业的运维和服务成本,也影响对外服务的效率和质量。对行业的发展来说,私有化方案不利于多方数据跨领域、跨行业高效融合,无法进一步激发大模型的能力。

在本次大会期间,蚂蚁集团“隐语cloud”大模型密算平台将对外发布。“隐语Cloud”大模型密算平台,通过软硬件结合的可信隐私计算技术,在大模型托管和大模型推理等环节实现数据密态流转,保护模型资产、数据安全和用户隐私。7月5日下午,浙江蚂蚁密算科技有限公司CEO王磊将在《隐私计算:助力大模型与数据可信融合发展》分论坛发布该产品,并体系化地分享这套服务的技术思路,以及产品特点。

此外,围绕大模型可靠、经济、易用的三大问题,蚂蚁展示了在大模型领域研发重点:包括1)大模型应用的可信框架,实现行业规模应用;2)如何让大模型瘦身,在APP上让大模型跑起来;3)绿色计算为大模型降本增效;4)ACT让大模型触手可及,提升易用性。

与此同时,尽管大模型催生了新一轮技术创新与产业变革,与之而来的安全可信问题不容忽视。在科技伦理展区,您将了解蚂蚁集团科技伦理的建设工作。蚂蚁集团从 2015 年就积极投入可信 AI 的技术研究。围绕「安全、合规、可控、可靠」的目标,目前蚂蚁集团建立了大模型综合安全治理体系,未来将保持人力资源和算力资源的持续投入、高强度投入,加强大模型安全治理,目前大模型伦理建设人员占整体大模型技术人员的将近 20%,未来将继续保持高水平和高强度的投入。

在展区数字技术出海模块,您还可近距离了解蚂蚁数科服务一带一路的数字化升级案例,OceanBase中国数据库服务全球。