当今全球算力市场，正站在格局重塑的临界点。
英伟达GPU的市场占有率高达90%，意味着市场上没有对手。这种垄断不仅体现在硬件性能，更渗透到从底层驱动到上层推理服务的整条封闭软件链。就中国市场和用户而言，一方面叠加着成本昂贵与供货风险的双重压力，另一方面国产GPU厂商体量弱小、产能有限，软件投入更难抗衡。但GPUStack CTO梁胜预判五年之后英伟达的市场占有率很可能回落到50%左右，剩下的市场，正是国产GPU与开放生态的历史性机遇。
机遇的另一面是需求结构的迁移。梁胜认为，当下GPU使用的最大的增长点是推理，是Token工厂和Token的用量，算力消耗正从训练走向大规模推理，从云端中心走向企业、运营商乃至边缘节点，“人人都想成为Token工厂”。GPUStack CEO秦小康测算，未来算力消耗中，推理将占80%，训练约占20%。
在此背景下，开源的意义被空前放大：异构硬件的适配、推理引擎的调优、成百上千个模型的兼容，绝非任何单一企业能够闭门完成；唯有开源，才能汇聚社区、伙伴与用户之力，把复杂的算力变成“开箱即用”的公共服务，让国产算力的巨大潜力真正释放。
9月2日，位于北京市中关村东升科技园的万丽酒店一层大宴会厅“GPUStack AI Infra生态与技术创新大会”会场座无虚席，来自全国各地的社区开发者、企业用户与生态伙伴齐聚一堂，在见证这家开源算力平台最新进展的同时也在共同思考：当算力成为数字时代的新型基础设施，如何让国产GPU更简单、更高效地释放价值；如何在全新的AI时代，抓住Token带来的商机？
开源破局：做算力时代的操作系统
GPUStack的切入，源于一个被普遍低估的“多对多”难题。据梁胜介绍，公司要“根本上解决一个多对多的问题”——上面是层出不穷的模型，下面是五花八门的GPU，中间的推理后端又有十几种，排列组合近乎天文数字。为此，GPUStack立志为国产的GPU打造一个可以从上到下跟Nvidia竞争的一个软件堆栈，而且这个软件完全开源，得到整个业界、合作伙伴和整个生态环境的支持。在梁胜看来，GPUStack类似新一代的、基于GPU的数据中心的一个操作系统，Token工厂则像运行其上的“Word、Excel”相关应用。
GPUStack CEO秦小康
秦小康把这一理念凝练为“Token工厂”：“把卡也要管好，然后在卡上部署的模型也能够一键部署”，最终让Token的生产和供应变得更简单。他引用计算机界泰斗李国杰院士的话——“计算的魅力就是让它变得简单”——将其视为产品方法论。性能调优是另一张王牌：梁胜算过一笔账，如果性能提高30%，那就相当于白白获得了30%的GPU，实测收益少则33%，多则甚至200%。
GPUStack CTO梁胜
现场演示印证了“开箱即用”并非口号。
COO江鹏仅用约15分钟，便从开源代码库拉起一套完整算力平台：一台管理服务器纳管英伟达A100、AMD MI300X、华为昇腾910B三个异构节点，集群中10张GPU卡有8张为国产卡；部署千问模型时，三个副本被自动调度到三种不同硬件上，并自动切换CANN、CUDA、ROCm等对应的推理后端。更重要的是，性能调优模式可将国产卡利用率从50%—60%提升至60%—70%，某金融客户在华为昇腾NPU上运行大模型，优化后吞吐量提升8—9倍、延迟降低80%—90%，国产卡正从“可用”走向“好用”。
GPUStack COO江鹏
生态聚力：投资与合作的双轮驱动
开源的价值，不仅在于技术本身，更在于它天然凝聚起一个开放的生态。秦小康表示，GPUStack“我行我素”的产品哲学，即“把做的事情做到极致、不做的交给伙伴”这种风格，赢得了亚信科技、帝欧水华、Xsky、容芯致远等众多合作伙伴的支持，实现了优势互补、互惠共赢。
帝欧水华集团董事长朱江（右）
投资方与用户的双重身份，让帝欧水华集团成为最有说服力的注脚。帝欧水华最初是GPUStack的用户，后来变成了GPUStack第二大股东。“我们花近1000万自研算力纳管平台，后来发现开源体系更快速、更易用”。董事长朱江坦言公司看中了GPUStack的生命力，也更看好开源模式的战斗力。他透露，双方认识时平台约8万用户，如今已超过11万且覆盖了全世界。依托四川的水电优势——上游雅江在建总投资达1.2万亿元的超级水电——帝欧水华与GPUStack联合推出算力建设、算力租赁、模型服务一体化方案，规划从千卡走向万卡乃至10万张卡。对年底实现15万用户的目标，朱江充满信心：如果国产GPU能像水一样每天能源源不断供应的话，这个用户数还会更快增长。
亚信联合创始人、亚信科技董事长田溯宁博士
亚信科技的合作则聚焦基于GPUStack模型底座的算力工厂平台，一分钟之内即可售卖Token。在双方提出的联合方案中，GPUStack提供算力纳管与模型服务，亚信提供企业网关与运营治理，为用户交付一套可持续运营的AI基础设施，把Token消耗“翻译成财务语言和责任语言”，让算力从静态资产变成一张可以调用、能计量、能适应、能复用的生产网络。亚信联合创始人、亚信科技董事长田溯宁博士与梁胜结识超过二十年，他感慨“中国软件影响世界”的梦想正在AI时代被续写。
此外，共享KV Cache存储、方便用户直接启用XSKY Mesh Fusion加速推理的XSKY，让每台设备预装GPUStack AI OS，做GPU时代的Intel、与GPUStack打造新型“Wintel联盟”的容芯致远等也都一一接入这一底座。
“开源模式的核心优势在于能够快速汇聚用户、积累反馈、形成飞轮效应，最终成为行业事实标准。”梁胜认为，以开源打造的标准化产品一旦成为业界的实施标准，就是最大的护城河。在目前GPUStack全球部署超11万实例中，7.69万个在中国，美国、日本分列二三位，而这一切单纯是靠开源软件本身传播的能力。
从算力孤岛到智能底座——葛洲坝实践
真实的落地，最能检验开源平台的成色。
面对算力孤岛、异构算力、多样模型管理与海量文档解析四重挑战，葛洲坝集团在GitHub上发现GPUStack后决定以开源破局：把子公司闲置的GPU远程接入集团大资源池，实现统一接入、统一服务、统一配额、统一运营；以“子公司出少量算力、共享集团模型生态”的激励机制化解托管动力不足；再通过业务请求、调度控制、容器隔离、硬件归集四层架构，让异构算力各归其位、统一调度。
最亮眼的突破在文档解析。团队将自研解析服务封装成pipeline，挂载到GPUStack通用代理上：单GPU推理节点每分钟可解析200页文档，3000页的合同数十秒即可完成，日均调用量超过1万次。
葛洲坝集团AI算法工程师架构师聂雄伟
据集团AI算法工程师架构师聂雄伟介绍，迄今为止，葛洲坝AI平台累计调用接口137.3541万次，部署智能体49个，接入模型60个，Token累计调用量达134.3074421亿个。聂雄伟本人也为开源社区贡献了三个功能，其中两个与文档解析相关。他引用“相信开源的力量”，强调无论是模型还是平台，开源都在推动AI基础设施前行，让企业AI从“能不能聊”真正走向“能不能干活、干多快、干多少”。
未来展望：从算力管理到智能底座
GPUStack的实践表明，开源模式正在深刻改变AI基础设施的构建方式——以开放底座打破算力孤岛，以简单易用降低使用门槛，让闲置的卡、沉睡的模型变成可持续运营的Token生产网络；对国产GPU而言，则是以生态合力弥合国产GPU的软件短板，让国产硬件能够真正“跑起来、跑得快、跑得稳”，从而在市场上获得更多份额。秦小康将此视为时代赋予的使命。
梁胜表示，面向未来，GPUStack将持续推进推训一体、PD分离、智能路由等前沿技术，帮助用户将Token成本降至最低，将算力利用效率提至最高。
随着国产GPU产能与性能的持续提升，以及GPUStack开源生态的不断壮大，一个由开源驱动的、多元算力共存的AI基础设施新时代，正在加速到来。
本文来源于DOIT传媒，文章内容仅供参考，不构成投资建议。
评论列表