青云QingCloud：大数据价值不在量级，在应用起来

前不久,青云科技(qingcloud.com,股票代码:688316)发布了青云大数据工作台,旨在通过整合其完整的数据产品和服务,为客户提供一个一站式智能大数据开发与治理平台,打通大数据全链路,盘活数据价值。

上个月,在2022中国国际大数据产业博览会上,工信部部长肖亚庆表示,“十三五”时期我国大数据产业年均复合增长率超过30%,2021年产业规模突破了1.3万亿元,大数据产业链初步形成。大数据应用从互联网、金融、电信等领域逐步向智能制造、数字社会,数字政府等领域拓展,极大丰富了我国数据资产,催生了一批新场景、新模式、新业态。

诚然,大数据不仅是推动AI、物联网等技术应用的源头活水,更是数字化时代的宝贵信息资产,其价值并不在于规模庞大的数据信息,而是在于对这些有意义的数据进行专业化处理。曾有人将数据比喻为蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。类比来看,大数据的价值也并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。

打通链路 盘活价值

回顾国内大数据产业近年来的发展,自2015 年国务院正式印发《促进大数据发展行动纲要》起,其便已经正式上升到了国家战略层面。在随后的几年中,伴随新型智慧城市和数字城市建设热潮,各地与大数据和数字经济相关的园区加速落地,大数据产业规模也在持续增长。

同时,随着AIoT、云时代的来临,越来越多的企业意识到了大数据的重要性。而在实际数据应用中,企业数据流链路中隐藏的痛点逐一显现——数据链路冗长、各平台间数据流转不及时、大数据使用门槛高等。换言之,如果没有一套完整的系统保证整条链路的高效运转,是很难保证最终从数据中提炼出来有价值的信息和知识的。

针对于此,青云科技发布了青云大数据工作台,旨在通过整合其完整的数据产品和服务,为客户提供一个一站式智能大数据开发与治理平台,打通大数据全链路,盘活数据价值。

青云QingCloud大数据产品经理刘雄风介绍,2014年-2018年,青云科技在广度上实现了数据产品和服务的全覆盖,2018年至今,青云科技在深度上,对产品性能、服务质量、服务范围进行了全方位提升。目前,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态。

同时,在其数据产品、服务与解决方案落地应用过程中,青云科技了解到,客户的需求正在逐步升级——从最初的“底层资源”问题,逐步进阶到“数据层”问题,主要体现在数据开发和作业运维调度、数据实时计算、数据同步等方面。所以,客户需要能把数据价值盘活和利用起来的平台。

基于客户需求的升级,青云科技推出了青云大数据工作台,可以降低大数据使用门槛,将代码开发降到最低,让非技术人员也能进行大数据分析,实现数据在云平台各产品之间快速流转,支撑上层业务,消除企业“数据孤岛”,实现数据的统一调度和计算,从而进一步帮助企业挖掘数据价值,提升整体的数据洞察能力。

一站式智能大数据开发与治理平台

目前,青云大数据工作台已上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,从最底层到最上层分为五层架构——云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、应对丰富的业务场景。

具体到功能层面:

第一,数据上云:可以提供本地数据源上云服务,支持结构化、非结构化、半结构化的数据,可将数据安全地同步到云端,后续计算在云端完成,充分解放了企业的服务器压力。

第二,数据开发:在云上的大数据开发环境,将数据进行加工,支持实时处理、离线批量处理。根据业务需求,客户还可以选择“可视化算子拖拽、界面化SQL 开发、Jar 包提交”三种方式构建数据开发任务,满足多维度的开发者的任务构建。

第三,数据同步:将处理完的结果数据,根据数据特性,存储在不同的存储介质中,以便使用。数据源可以是消息队列 Kafka、数据库 MySQL 等,目标数据源可以是消息队列 Kafka、数据库 MySQL、数据分析引擎 Elasticsearch等。

第四,作业运维调度:大数据处理的核心是运行在Flink集群上的任务。青云大数据工作台自主研发的调度和任务管理模块,可以同时根据任务维护和资源分配维度分别监控,实时跟踪计算资源饱和度,提醒企业根据需求调整计算资源,助力全流程高并发处理。

第五,引擎资源管理:提供云端全托管Flink集群,几分钟完成计算集群部署;具备云原生弹性扩容能力,节省资源,提高资源利用率;提供细粒度资源管控,最小资源使用粒度仅 0.5 CU,精细化资源管控;支持按量和包年包月计费,适配不同需求,价格低廉,安全稳定。

未来,青云大数据工作台还将持续迭代,聚焦在数据治理、数据资产、优化体验等层面。

基于完备的架构与功能,青云大数据工作台可以轻松应对中小型互联网或移动互联网客户较为关心的精细化运营分析场景、以智慧工厂为代表的实时计算场景、以科研数据为基础的可视化开发与运维场景以及构建数仓场景。

刘雄风指出,青云大数据工作台目前主要聚焦在以物联网和工业大数据为代表的的新兴领域。其中,在工业领域,随着不断细密度的政策迭代,推动工业大数据的全面采集、工业设备互联互通速度加快,青云科技将在物料能耗优化、产线效率分析、故障定位、出库物流追踪、库存优化及产品质量追溯等方面,进行大数据的深入实时分析、计算等。

值得一提的是,青云科技所提供的方案不局限于大数据工作台的单一产品,而是与青云科技的KubeSphere容器平台、IoT平台形成合力,组建了“大数据工作台+KubeSphere+IoT”三位一体的技术方案。

“青云大数据工作台+KubeSphere+IoT”三位一体技术方案

在架构上,该方案的最上层是物联网平台,中间是大数据工作台,最底层是容器平台。首先,青云科技通过容器平台进行资源的保障,提供按需使用、弹性伸缩、一键扩容、在线运维的功能保障;其次,大数据工作台可以提供数据处理的能力,结合消息中间件、数据仓库、数据服务等云原生的产品组件,从横向数据流方面提供一站式的数据实时处理和输出能力;最后,在物联网层形成“云、网、边、端”统一管理、统一数据采集和统一边缘控制。

如今,该方案已在不同领域实现了成熟落地。以某行业领先的工业自动化测试设备与整线系统解决方案提供商为例,其数据源涵盖多个维度,生产数据包括机加工设备、物联网系统中的SMT设备和AGV设备、立库等,未来还计划引进质量监测设备;运营数据则包括了水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇/园区的运营信息。所以,客户需要统一的数据接收和存储、统一的数据API服务,需要建设统一的“物联网+大数据”平台。

该方案则可以应对这一难题,由IoT平台进行“云、网、边、端”的数据源统一控制,客户可以将数据通过消息中间件进行统一传输,传输到大数据工作台上再做原始库数据集成的操作。数据存储到原始数据库后,客户可将原始库单独对外提供数据权限、数据存储和数据查询服务。对于原始库存储的数据,客户还能进行数据的二次加工,形成最终结果库,结果库同样可以对外提供数据权限、数据存储和数据查询的服务。

结语

AIoT时代下,数据的重要性无需赘述,而其价值绝不仅仅是停留在量级,而是隐藏在应用之中。也正因如此,越来越多的企业开始重视业务与运营之中的大数据管理、应用,客户需求更加明确——“客户需要端到端的全链路解决方案,而不是简单地堆积一些大数据产品组件”。换言之,构建高效的数据流链路才能进一步挖掘数据流背后的实际价值。青云大数据工作台的出现,无疑全面满足了这一需求,激活企业数据资产,释放数据价值。