2021数博会领先科技成果公开 华为云获黑科技奖及新技术奖

华为云GaussDB(DWS)实时数据分析技术

 

为了响应政企用户在IoT和运维监控等场景下对数据仓库时效性的需求，2020年华为云发布了GaussDB(DWS) 实时数仓新品，其具备快、易、简、省四大特点：

 

1）快：实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库，并可线性扩展。

 

2）易：支持基于SQL完成复杂流式计算语义定义，简化开发。以Druid监控的一个场景为例，仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。

 

3）简：实现了1 = N。在一个平台内，同时实现Flink/Spark Streaming（流数据处理）+Druid（流数据预聚合）+InfluxDB（时序数据处理），简化了开发和运维工作。

 

4）省：时序数据经过实时数仓的自适应压缩算法，最高可达40:1的压缩比，将多维度行列存储优化，数据冷热温自动分区，极大地减少存储空间，节省用户成本。

 

华为云GaussDB(DWS)实时数据分析技术，在已支撑1000+大客户核心业务运行的标准数仓架构上进行演进，具备企业级内核的关键能力（高性能，高扩展，高可用，融合分析，智能运维）。针对实时数据分析场景，在统一架构下增加时序引擎和CEP引擎，实现T+0的实时数据与历史数据关联分析能力。该架构首创性的把多引擎融合在一起协同工作，在OLAP引擎基础上进行扩展，通过插件的方式扩展CEP引擎和时序引擎，使得数据在集群内流动，一数多用，高效多维度分析。