近日，华为发布AI数据湖解决方案，该方案通过集成数据存储、数据管理、资源管理和AI工具链，提供充足的AI语料，加速模型训练与推理效率。
华为AI数据湖解决方案分为三层：
最底层的部分是数据存储层，这里提到了三个存储系统，分别是：用于快速数据访问的OceanStor A 系列高性能AI存储，用于近线数据存储的OceanStor Pacific全闪分布式存储，以及可实现AI语料库与向量数据库备份的OceanStor Protect备份存储。
其中，华为OceanStor Protect备份存储的性能很高，是业内一些产品的10倍。此外，它具有99.99%勒索攻击侦测准确率。
在此存储阵列基础之上，还有数据管理层和人工智能工具链层。
数据管理层有三个华为产品，DME Omni-Dataverse、DME IQ和eDataInsight。此外，还有很多第三方的工具，比如，数据仓库、向量数据库、数据目录、数据血缘、版本管理和访问控制等工具。
华为的DME Omni-Dataverse（统一数据空间）是一个全局文件系统和数据管理框架，通过单一数据命名空间来消除地理分散的数据中心之间的数据孤岛。它具有千亿级文件数据秒级检索的能力，使能数据高效处理。
华为的DME IQ 是一个云运营和维护平台，使用了大数据分析和 AIOps技术，提供自动故障报告和实时问题跟踪能力。
华为AI数据湖解决方案最上层提供各种AI工具链，主要负责将数据湖中的数据，通过数据处理管道和第三方工具（如LangChain），提供给各类硬件引擎进行处理。在这一层中包含华为的 iData 和 ModelEngine 组件，iData 负责数据的采集与启用，ModelEngine支持模型的运行。
华为表示，Model Engine 提供了一套端到端的 AI 工具链，能够在专用与共享的 CPU、NPU 和 GPU 资源池之间，实现作业的调度与交付。同时，华为已支持用于文件传输的 GPUDirect 协议，并正在开发对 GPUDirect Object 协议的支持。
此外，华为还提到了DCS数据中心解决方案，这是一个融合了计算、存储、网络与管理的虚拟化数据中心概念。
其核心的虚拟化平台是eSphere，用于提供虚拟化层支持。eSphere 通过 Omni-Dataverse 实现对统一全局命名空间的访问，从而能够直接操作其中的数据集。eContainer提供容器化的能力，可以与华为云容器引擎（CCE）集成。
华为数据湖技术栈中的资源管理层，提供了 xPU 调度、多租户管理以及 AI 助理功能。其中集成了 AI Copilot 的 DataMaster 组件，通过 AI 赋能，增强了运维能力。AI Copilot 支持自然语言问答，实现智能交互，同时还能提供故障排查与运维任务的自动引导，以及系统健康状态的主动检查。
本文参考内容：
https://blocksandfiles.com/2025/05/02/huawei-data-lake-ai-stack
