百亿文件 On Demand， 深南电路是如何做到的?

从 20 亿文件中查询一个数据，可以秒级返回结果么？

可以。

多套业务，可以用同一套存储系统满足么？

也可以。

可以实现在存储端配置管理 Windows ACL，而不访问客户端环境么？

当然也可以。

这是深南电路无锡厂区管理人员在规划新产线工厂时，陆续问出的三个问题。在原有的厂区和生产线中，他们已经饱受相关问题折磨，从而严重影响了他们的工作效率。

他们需要据此实现数据 ON Demand，即数据随需而变：在进行质量检测管理的时候，数据能够被随需快速查询到；在业务系统需要的时候，数据能够被随需访问；在工作人员和产品不断变化时，相关的数据权限能够被随需控制。

这听起来简直是天方夜谭，但是深南电路相信，一定有企业能够提供合适的创新方案，满足这些需求。

成立于 1984 年的深南电路，始终专注于电子互联领域，经过近 40 年的深耕与发展，已经拥有印制电路板、电子装联、封装基板三项业务。

在长期发展的历程中，深南电路始终致力于引入创新技术和先进设备来提升生产效率，方能在日趋激烈的市场竞争中脱颖而出，成长为中国印制电路板行业的领先企业，中国封装基板领域的先行者。

因此，在提升基础设施能力、找到更能提升数据价值的系统方面，深南电路也是始终不遗余力。

在调研选型了多家厂商的方案、并进行相关的 POC 测试验证之后，深南电路发现只有星辰天合的产品及解决方案的能力，可以满足其业务规划需求，最终选择了与星辰天合合作，构筑存储基础设施，支撑了其无锡厂区新产线的业务。

150 亿数据

实现秒级查询

怎么才能够保证产品的质量？

质检工作必须要及时、准确。

单靠人工质检是难以满足大规模的印制电路板、封装基板等产品的检测需求的，毕竟人工存在个体差异，不利于保证质量一致性。同时，传统 CV 计算机视觉算法的机器视觉系统难以应对缺陷位置随机出现的情况。

为此，深南电路引入了基于 AI 算法的视觉缺陷检测系统（AOI），实现了对随机缺陷的识别和检测，拓展了传统机器视觉的应用范围，可以更好地实现 PCB 缺陷识别和外观检测。

在该质量检测过程会产生大量的影像数据，每个机台大概每天会产生 6 万多个图片数据，而深南电路规划中的无锡厂区新产线，会建设 100 多台生产封测机台设备，包含前道和后道测试机台，那么每天会产生大概 600 多万个图片数据，每天会新增 3.5TB 数据量。

这些数据，会按照“电子产品相关生产数据要存储 3 年，汽车相关生产数据存储 15 年”的规则，被长期保存，以便在产品发生质量问题时可以回溯。

为何需要数据检索追溯？

一方面，为确保出厂产品质量，质检员需要定期对缺陷检测系统的结果进行抽检；另外一方面，一旦出厂产品出现问题，需要及时进行回溯查询，不仅要发现问题所在，更要去查看同一批次产品的质量问题，并据此持续训练缺陷检测系统，提高良品率。

在原无锡一期SUB-A厂，由于采用了集中式 NAS 存储， 20 亿文件存储的情况下，查询一个图片，则需要数小时，会严重耽误质检的抽查工作以及产品质量回溯工作，饱受深南电路相关员工的诟病。

在新建的无锡 SUB-B 厂，深南电路预期存储数据量将达 150 亿个文件，希望新的存储系统能够满足秒级查询的需求，这也是他们跟星辰天合的相关技术人员反复强调的一个内容。

星辰天合以数据存储平台支撑了机台数据的存储，满足了千亿文件存储及管理能力，尤其是实现了 150 亿文件秒级检索的需求，极大地提升了深南电路质检工作的效率。

不仅如此，星辰天合的数据存储平台还可以实现机台生产数据的自动打标签、方便实现多维度查询；也能够实现与其 AI 训练平台的平滑对接，以帮助深南电路通过 AI 训练以提升 AOI 质检准确度及质检效率。

一套存储

支撑多个业务系统

容器云平台对接了一套存储系统；

对象存储平台对接了另外一套开源的存储系统；

质量检测系统和 AI 训练平台对接了星辰天合的数据存储平台。

这样竖井式的存储架构，不仅使得数据流动不灵活，也使得深南电路的存储管理极为复杂。

存储系统为什么不能统一？

深南电路在体验到了星辰天合的数据存储平台丰富的功能和易用的管理之后，希望能够以一套存储平台来支撑上述的多个业务系统。

能够同时支持对象、文件和块存储的统一数据平台 XEDP，正是星辰天合的优势所在。

因此，在了解到深南电路容器云平台使用的是青云 KubeSphere，对象存储平台使用的是开源的 MinIO 之后，为了更友好的使用体验，星辰天合单独为深南电路配置了 CSI 容器接口，通过 CSI-iSCSI 容器接口对接青云 kubesphere 平台，承接其容器云后端存储；同时，通过标准 S3 接口直接给对象业务使用，替换原有的开源存储方案。

同时，如上图所示，在容器和对象存储之外，星辰天合的统一数据平台 XEDP，通过 SMB/CIFS 文件接口支撑 了深南电路无锡 SUB-B 新厂区所有机台数据存储；通过 NFS 接口对接思谋 AI 平台，直接将机台数据共享给 NFS 做模型训练。

通过一套存储支撑了所有的业务系统之后，深南电路得以构筑更为简便的数据基础设施，简化了存储的管理，也得以提升了整个工厂的存储使用效率，让无锡 SUB-B 新厂区的生产更为高效。

存储端配置 Windows ACL

效率提升 5-10 倍

没有人愿意做大量繁复的重复劳动。

不仅浪费时间和精力，更重要的是无法体现工作的价值。

客户端的 Windows ACL 权限配置工作，一度是令深南电路管理人员头疼的老大难问题。

由于工厂产品随客户需求不断变动，相关操作人员访问不同数据的权限也需要即时做相应的修改，每次权限的变动都需要管理员登录到不同的客户端进行逐一的 ACL 配置修改，大量时间都被重复繁琐的工作消耗。

深南电路的管理员非常期待，这个权限能够在存储系统的内部实现，也就是在存储端配置管理 Windows ACL，这样他们就可以免去大量的无谓的配置工作。

Windows ACL（Access Control List，访问控制列表）是 Windows 内针对某一文件或目录的 ACE（Access Control Entry）集合。每个 ACE 可以针对某一用户或用户组设置允许或拒绝访问某一文件或目录，并设置创建文件、创建文件夹、删除等十余项权限。在对细粒度权限管控要求较高的场景中，需要登陆到 Windows 客户端，连接可访问的 SMB 共享后，通过手工调整 ACL 来控制权限。

虽然此前这种通过 Windows 客户端设置 Windows ACL ，是业内普遍的管理方式，但长期以来一直有统一管理的诉求，深南电路的管理员也并不例外。

针对深南电路的诉求，星辰天合在新版本中实现了该功能，并为他们进行了在线升级之后交付。

这极大的解放了深南电路相关管理员的工作量，他们因此可以：

• 在存储管理界面统一配置 ACL，不再需要频繁登陆 Windows 客户端，连接、登陆不同的 SMB 共享去操作、查看；
• 单个目录支持同时配置本地、AD 域用户/用户组作为主体。打破绝大部分 Windows 客户端只能针对 AD 用户/用户组设置 ACL 的限制；
• ACL 设置效率提升 5-10 倍，针对已经存储了上亿文件的文件夹，权限设置能快速应用于子文件、文件夹生效。
• 还能够兼容过去 Windows 客户端已设置的 ACL、功能选项、操作习惯，且原方式仍然可用。

百亿文件秒级查询、一套存储对接所有业务系统、存储端 Windwos ACL 配置…… 

一个个需求正被满足，一项项变化正在发生。

在星辰天合的帮助下，深南电路的生产线变得更加智能，管理更简化、工作效率更高，极好的满足了深南电路对提升工厂效率的需求，这也使得深南电路在其其南通厂区的规划中直接复制了无锡新厂区的整体方案。

两个新厂区均启用了 Windows ACL 管理功能，客户可以在存储端统一对无锡新厂区和南通新厂区进行统一的用户权限配置，大幅提高其工作效率。

正是这样不间断地引入新方案和部署能力更强的数字化方案，让深南电路得以不断地提升运营效率，可以有能力开发更多新客户，也有更多精力有序推进研发工作。

就在 9 月 5 日的公告中，深南电路表示公司已成为内资最大的封装基板供应商、国内领先的处理器芯片封装基板供应商。

这就是百亿文件实现随需应变（On Demand）的价值，是智能存储的力量，更是数字化转型的魅力。

未经允许不得转载：DOIT » 百亿文件 On Demand， 深南电路是如何做到的?