在上一篇《先进制造业数字化转型,为什么基于传统存储无法完成?》中,我们分析了先进制造企业在数字化转型过程中所面临的存储架构挑战,企业需要更高性价比的存储系统,更需要实现全局数据的秒级查询,这些是传统存储无法满足的。
本文将从先进制造企业数字化转型中典型场景的存储需求出发,结合 XSKY 分布式存储的实际案例,看分布式存储如何帮助企业进行存储转型,满足相关的数据使用需求。
01 本地硬盘存储方案的痛点与转型实践
XSKY 的某集团客户从事动力/储能锂离子电池单体到系统应用的研发、生产、销售,专注于为新能源汽车动力及智慧电力储能提供优质解决方案。该公司产品应用领域覆盖乘用车,商用车(城市公交车,物流车,卡车等),特种车,工业车辆,工程机械装备,船舶等动力领域,以及风光电新能源电力储能接入,电网电力储能,后备电源等储能领域。
该公司的动力电池产线有电池包封装产线共计 100 多个机台,每个机台会生成电池充放电出厂检测质量日志数据,其生产数据大小在 40KB 到 500KB 左右,一条产线每天会产生超过 2 万个文件,每天产生的数据总量 1TB 左右。
同时,按照该公司的客户要求,相关的数据需要保存十年以上,期间不能删除。
该公司采用了本地硬盘存储方案,以承接生产线的数据。但是这样的方案给该公司的数据管理带来了众多挑战和困难:
- 由于质检机台系统品牌多而且杂乱,存在各机台系统本地硬盘上的数据,无法进行统一存储接口开发,后续无法进行统一有效的管理;
- 当前产线机台生成的质检数据为海量日志小文件,在进行产品的质量追溯时,不仅需要通过每个机台的硬盘进行检索,而且文件系统的检索效率低下;
- 由于采用了本地硬盘的方式存储数据,企业无法对数据进行标签管理,就无法在后续对数据进行分类管理和权限管控;
- 该公司对于一周内的生产数据需要二次分析,因此一周产生的数据需要保持原路径不变,超过一周的数据则需要进行统一存储管理,现有的本地硬盘存储方案根本无法满足这一需求;
- 由于数据需要长期保存(十年以上),为确保存储系统的性价比,对于数据需要按照生命周期进行定期的删除,现有存储方案也无法满足。
因此,XSKY 在分析了其数据存储需求之后,为该公司规划了智能数据采集解决方案,该方案采用了星辰天合分布式对象存储 XEOS 和分布式文件存储 XGFS,统一承接该公司的生产工厂产线机台、研发测试、电芯制造、仓储物流及 OA 办公所有业务数据,其架构如下:
在部署星辰天合的方案之后,该企业顺利解决了旧有本地硬盘存储方案的问题,满足了企业在数字化转型中的数据存储和查询需求,带来了极高的应用价值:
- 以 XSKY 智能存储方案,实现了生产机台、研发测试、电芯制造、仓储物流、OA 办公等所有业务数据的统一承接,能够顺利实现对数据的统一管理;
- 统一了用户权限管控,无需企业的技术人员在工控机中逐个配置用户权限,只需要在存储端即可统一配置用户权限,极大地降低了运维压力;
- 实现了历史数据平滑迁移,同时含原集中式 NAS 存储中的 1800+ 用户带权限无缝迁移;
- 新智能方案具备了按需自动打标签的能力,该企业因此能够实现多维度精准检索,实现百亿级数据秒级检索,质检效率提升百倍;
- 由于部署了智能存储方案,从而帮助该企业实现了冷热数据分层流动,以及数据全生命周期管理,能够降低整体 50% 以上存储成本;
- 更重要的是,由于 XSKY 智能存储方案统一对接所有机台,因此实现了所有生产机台统一监控管理,实时掌握机台设备运行状态,及时发现问题并快速处理。
02 传统 NAS 存储方案的痛点与转型实践
光伏行业太阳能电池片是太阳能发电系统中的核心部件,硅片视觉检测对提升产品的良品率具有重要意义。视觉检测又包括外观检测以及 EL 检测,会产生大量的业务数据。同时国家也有政策要求,这部分数据要长期保存。因此对数据的管理以及使用有一定的要求,对 IT 基础架构提出了更大挑战。
XSKY 在光伏行业的一个客户,是全球最大的太阳能光伏产品和能源解决方案提供商之一,在遇到 XSKY 帮其改造存储架构之前,采用的就是传统的 NAS 存储这种传统的存储方案,已经无法满足其数字化转型的需求,甚至都无法满足现阶段的客户需求:
- 由于 NAS 存储容量有限,该企业采用了多套 NAS 产品对接各厂区的生产机台,在 NAS 存储的容量已满之后,想要扩容,发现成本太高;
- 该企业对于 NAS 存储数据快写满的解决办法之一,就是将数据拷贝到硬盘上进行保存。由于数据需要专用系统才能读取,因此如果要查询历史数据时,必须把硬盘插回硬盘盒才能够读取,导致查询一个数据最少要耗费数小时时间,甚至要更换多块硬盘才能够找到数据,数据回溯效率极为低下;
- 根据客户需求和市场要求,相关数据需要保存 15 年,数据量太大,导致整体的存储成本太高;客户希望能够对相关高清图片进行压缩之后存储,以便降低存储成本,现有系统也无法支持;
- 由于是多套 NAS 存储系统对接,无法形成统一的存储池,多个生产厂区的数据没有做到统一的数据汇聚和管理,也无法统一查询;
- 该企业希望对产生的数据进行多维度打标签,例如,按照厂区-日期-产线-机台这样的标签方式,然后再通过标签进行查询。现有的 NAS 系统完全不支持这样的需求;
- 该企业希望存储系统能够跟 MES 等系统进行联动,以便通过图片的 SN 号动态地去 MES 系统中获取柜号、托号等信息,并为图片生成相应的标签信息。
经过沟通和讨论,该客户选择部署了 XSKY 的智能数据采集解决方案,以 XSKY 的统一数据平台 XEDP 以及对象存储 XEOS,配合 XSKY 的数据管理平台 EasyData,很好的解决了客户的难题,并为其数据的应用带来了巨大的变化,其架构如下:
新的分布式存储架构,帮助该客户解决了旧有 NAS 存储系统带来的各种挑战,并带来了诸多收益:
- 该企业的多个厂区数据统一采集到了星辰天合的分布式对象存储平台中,实现了数据的统一汇聚和管理;
- 该企业采用了事件通知功能,将每一张图片精准压缩成 2 份图片数据,一份为 800 万像素,一份为 100 万像素,前者保留 6 个月,后者保留 5 年,极大地降低了所需的存储空间,降低 IT 建设成本 50%以上,满足了客户对存储系统性价比的需求;
- 星辰天合的智能数据采集解决方案能够帮助该企业对接产写业务文件名自动打标签,实现多维度秒级检索查询,且查询的数据支持打包下载,即时满足客户的需求;
- 能够实现多协议支持,可以对 MES、OA、ERP、PLM、AOI、质检分析以及后期大数据业务平台同时提供支持。
小结
针对诸如半导体、光伏、风电、锂电池、液晶面板、生物制药、汽车制造等先进制造行业,以及相应业务场景,包括 EDA、封测、工业质检、机器视觉、工业大数据等,XSKY 能够提供统一的数据管理平台统一支撑,对外提供块存储、文件存储及对象存储不同存储接口,来支持上层 OA、ERP、CRM 等结构化数据需求,支持各种场景的非结构化数据的业务需求,也有领先的对象存储 XEOS 和数据管理平台 EasyData 等工具,帮助企业构筑更完善的存储基础设施。
其中,专为先进制造业工业质检开发的 EasyData 易数管理平台,可以对生产质检数据进行采集(丰富的采集策略)、处理(自动标签、按需压缩)、查询(秒级查询、批量检索)、预览(在线预览、按需标注)、下载(单个、批量、打包灵活选择)等全业务流程的操作,满足生产部门、品控部门及 IT 部门的使用需求。星辰天合针对先进制造数字化转型所推出的智能存储解决方案,得到了众多先进制造企业的认可,已经帮助超过 200 家企业更新了其数据基础设施,提升了数字化转型能力。