青云QingCloud 非结构化数据存储 U10000 在海量小文件场景的应用

青云科技（qingcloud.com）QingStor U10000作为一款分布式存储，在支持线性扩展上表现不俗。U10000最低3节点起步，随着节点数量的增长，存储容量和存储集群的性能都会线性增长。

U10000的存储效率比较高。通过可灵活配置的EC纠删码，能让整个集群的物理磁盘可用空间达到90%以上，存储效率对于U10000这种超大容量存储来说，经济意义特别大。

U10000在支持线性扩展和EC纠删码技术的基础上，能为海量小文件提供高性能读写，单桶单目录能支持百亿级小文件存储，并且能做到性能不衰减。

海量小文件的性能表现受到越来越多关注，比如，在机器学习场景中，就需要大量小文件，一些训练需要几亿甚至十几亿的文件，存储性能问题会严重影响训练效率。U10000基于Rust语言编写，在性能和安全性上有较大提升。

在数据安全性机制方面，数据层面采用的是多副本技术，而元数据则进行了强一致性处理，元数据和存储数据进行了分层设计。此外，U10000还有多重访问安全机制、智能预警机制。

在运维管理方面，提供了友好的可视化管理界面，可以更好地对存储集群进行各种配置、操作和监控。

U10000 其实已经在非结构数据存储场景上有不少创新实践。

慈铭体检医疗集团的体检服务从预约阶段到报告获取都转到了线上，体检报告除了可以查看体检数据，还可以查看健康态势，背后依靠的是一套数据分析平台。

青云帮助该医疗集团构建了业务承载平台，使用了青云云易捷超融合平台，存储部分则是将数据与U10000对象存储做对接后，实现了对PACS系统的影像数据进行实时调取和长期存储，其中就用到了U10000协议互通的特性，实现了对象和文件互通，为AI医疗相关的创新应用提供了便利。

某智能驾驶科技公司，其自动驾驶研究业务的开展离不开高精度地图，高精度地图需要采集大量图片和视频数据，采集而来的数据需要经过多重处理，需要与各种数据分析和数据存储平台交互，在这种场景下，U10000协议互通的优势也能得到充分发挥。

在早期，其所有业务都运行在公有云上，处于安全方面的考虑，开始构建私有化的集群，由于该公司的规模比较大，对于服务提供商的能力要求也很高，青云的方案基本解决其高精度地图从数据采集、生产、训练整个生命周期的存储和算力需求。

苏州华兴源创是一家工业自动测试设备与整线系统解决方案提供商，主要测试产品用于LCD、柔性OLED、半导体、新能源汽车电子等行业的生产厂家，以及为行业提供定制化的数据融合软件平台。

华兴源创的数据挑战来自自有数据中心的中台、上层工厂流程再造、供应链优化以及安全保障四个方面，涉及到上百套业务系统，有各种各样类型的数据，业务平台对存储的需求也各不相同。

比如，关键业务数据需要有更多副本的存储，对性能要求高的应用需要全闪存的存储配置，数据增长快的应用需要扩展能力更强的存储，而这些需求，绝大部分都由QingStor U10000来满足，其余需求由NeonSAN块存储系统来满足。

清华大学天津电子信息研究院是清华大学电子信息学科的 “产学研一体化”的成果转化基地，其中的高端光电子芯片创新中心，从事芯片设计和开发方面工作，有许多EDA（电子设计自动化）设计需求，需要反复运算、验证，所以，他们对于数据存储系统的要求也很高。

EDA的前端设计阶段会出现大量的随机读写操作，后端设计阶段需要大量顺序读写操作，这对存储系统的综合能力要求很高，非常考验分布式存储架构的设计能力，实际上，U10000也能很好地满足其需求。