UCloud优刻得：赋能新型大数据分析平台点亮云计算“数字版图”

葛俊俊

2020年09月26日10:13 来源：人民网-上海频道

当下，企业无论是数字化转型还是智能化升级，都与数据密不可分。然而由于数据规模庞大、数据类型众多，使得数据价值的实现仍然存在很高的技术门槛，企业用户也日益被大数据生态的复杂性所困。

为了帮助企业用户解决大数据分析门槛高、效率低的问题，2019年5月，UCloud优刻得适时发布了无服务器的新产品USQL数据湖分析。这是一款可扩展性强、成本低廉、计算与存储分离的新型大数据分析产品，可帮助用户轻松完成面向海量数据的数据建模工作。

在助力企业数字化转型中，作为独立的第三方云计算服务商，优刻得得心应手。自2012年成立起，凭借中立、安全、可信赖的定位，赢得云计算市场领先地位，并于2019年年底，成功登陆科创板，成为A股第一家“同股不同权”上市公司。优刻得表示，对于未来胸有成竹，预计将进一步“攻城略地”，在产业互联网中大展宏图。

“大数据”成烦恼，企业囿于大数据之困

没想到大数据时代，“大数据”竟形成了“大麻烦”。越来越多中小企业业务数据规模达到数百TB量级，日增长量以TB为单位，必须极大程度依赖大数据工程师，这使得数据部门每月需投入大量的人力物力进行数据分析工作。

优刻得技术副总裁杨镭表示，大数据人才的门槛较高，需要掌握复杂的技术栈；其次大数据分析前期的服务部署，需要投入巨大的成本；大数据系统建立后，分析人员需要经过漫长等待才可获得结果。

此外，后续需求将会变更多，任务处理周期长；当对数据分析结果存有疑问时，无法查看原始数据进行校验。

杨镭指出，如果企业大数据业务中日常不固定的分析需求多且无法自主完成，则需要占用数据部门有限的技术人力资源；若需求变动返工次数多，会导致大量重复性工作；并且随着数据规模日增长量的不断提升，用于临时存放不固定需求数据的GreenPlum成本与日俱增。

降低大数据使用门槛助力企业降本增效

恰逢其时，USQL数据湖分析产品的发布，解决了不少企业的燃眉之急。

产品架构

USQL数据湖分析产品的后端是一个能力强大的计算平台，可以在PB级海量数据上进行复杂的SQL计算；同时USQL拥有读取型Schema的属性，可关联分析多种存储格式的数据，极大降低了产业用户使用大数据的门槛。

“该产品采用了存储、计算相分离的模式，为客户提供在读取数据时灵活定义、修改数据结构等服务，解决了传统数据仓库写入时定义数据结构带来的局限性。”杨镭表示，相较原有数仓ETL分析及自建Hadoop集群分析，USQL可将计算成本降低99%，将分析效率提升21.6倍。

该平台的亮点包括：数据格式丰富。读取时定义数据结构，支持关联分析JSON、ORCCSV、PARQUET等格式存储的结构化数据；高性能高效率。USQL采用全内存计算，支持GB-PB量级数据分析，10GB级数据分析秒级完成；数据迁移成本低。灵活兼容数据存储方式，只需将现有数据放入对象存储（UFile）中，就可使用DDL&SQL查询。

在实践中，USQL成功赋能新媒体整合营销平台爱普新媒的业务部门。该部门业务数据规模达到数百TB，日增长量为1TB左右，业务日常不固定的分析需求多，现有的大数据处理方案下，数据部门每月需投入大数据工程师20个人日，额外花费数千元维持一个数据仓库集群，且平均每次需求处理时长为1.8天。

爱普新媒新架构图

根据其需求，优刻得基于爱普新媒原有架构，使用USQL替换原先用于临时加载数据的GreenPlum，使得业务分析师能够直接通过SQL分析UFile中海量数据，全程无需大数据工程师的参与。此外，优刻得一周内完成USQL产品升级，得以支持JSON、GZIP两种数据格式，减少对接上的障碍，并协助部门重新布局其现有数据。

使用数据分析湖USQL后，爱普新媒计算成本降低97.5%，任务周期缩短55.6%；分析效率提高5倍，分析时间可从600秒降至118秒，整体明显提高SQL分析效率。值得一提的是，使用USQL产品，业务分析师可直接通过SQL在对象存储UFile中完成数据分析，极大减少对工程师的依赖，大数据工程师投入降为0。

技术创新驱动闯出一片新蓝海

让用户以最低的价格买到性能最优的产品，在云计算的核心地带，优刻得以用户需求为导向，以技术创新为驱动，在基础产品比拼的红海中冲出一片蓝海。

2018年10月，优刻得与上海陈天桥脑疾病研究所、华山医院、复旦大学合作，进行用VR辅助治疗患者认知障碍的探索，通过云计算边缘算力来代替本地渲染、传输高清测试画面、搜集更多测试数据，协助医生解决认知障碍的监测和治疗难题。

2020年7月8日，优刻得与长城物业旗下一应科技达成战略合作，联合发布AIoT“全要素”智慧社区解决方案，通过引入云计算+大数据+AIoT等新技术创新，帮助社区物业、楼宇以及园区等产业进行智能化升级，让生活和工作更加智慧。