Hologres:阿里云推出的混合服务分析处理一体化实时湖仓引擎

AI新闻 人工智能研究所
88

一、Hologres是什么

Hologres是阿里云自研的HSAP(Hybrid Serving/Analytics Processing,混合服务分析处理)一体化实时湖仓平台,原生兼容PostgreSQL协议。它采用存算分离云原生架构,核心能力是一份数据存储,同时支撑OLAP多维分析、在线高并发点查,打破传统架构中分析系统与在线KV服务两套存储、数据双写的痛点。

Hologres深度打通阿里云大数据体系,可无缝对接Flink、MaxCompute、OSS、Paimon等组件,同时内置向量检索引擎,满足大数据实时分析、在线数据服务、AI向量知识库RAG等业务需求。

Hologres(图1)

二、功能特色

  1. PostgreSQL协议兼容
    支持标准SQL,JDBC/ODBC驱动接入,DBeaver、Navicat、Quick BI、Tableau等BI与数据库客户端可直接连接,开发人员学习成本低。

  2. HSAP混合负载引擎
    列存引擎面向海量数据聚合、多维即席查询;行存引擎面向主键高并发点查。同一张表可同时开启行存+列存,无需拆分业务,一份数据同时支撑分析与在线查询。

  3. 云原生存算分离,支持Serverless
    计算资源与存储资源独立弹性扩缩容。Serverless实例无需固定购买计算节点,按照查询实际消耗计费,适配流量波动大的业务场景。

  4. 阿里云大数据生态原生打通
    Flink实时写入、CDC数据同步;支持直读MaxCompute离线表、OSS上Hive/Paimon外部表,实现离在线湖仓一体,无需数据搬迁。

  5. 内置向量检索与AI能力
    原生向量索引,SQL语句即可完成向量存储、相似度检索;内置AI函数,可直接在SQL中调用大模型,快速搭建RAG知识库。

  6. 实时写入与强一致性
    支持Flink CDC、批量导入、SQL插入多种写入方式,写入后数据秒级可见,满足实时大屏、实时指标场景。

三、技术细节

  1. 存储架构
    采用存算分离架构,底层存储依赖阿里云OSS,计算节点无状态,可快速弹性扩缩。表支持行存、列存,也可混合存储。列存按列压缩,适合扫描聚合;行存基于主键索引,适合单行快速查询。

  2. 查询引擎
    MPP分布式查询引擎,优化器兼容PG语法,针对多维聚合、大表Join做分布式优化;行存查询采用主键索引,支持万级QPS低延迟点查。

  3. 数据模型
    支持分区表、主键、二级索引、向量索引;支持外部表,直接读取OSS、MaxCompute的数据,无需导入Hologres内部存储。

  4. 资源隔离
    支持实例内资源组划分,可隔离分析查询和在线点查任务,避免大的分析SQL抢占在线业务资源,保障在线接口稳定性。

四、应用场景

  1. 实时数仓与实时大屏
    业务数据库通过Flink CDC同步数据至Hologres,数据秒级落库。分析师通过SQL做多维统计,前端BI大屏展示实时订单、流量、风控指标。

  2. 离在线一体化湖仓分析
    实时明细数据写入Hologres内部表,历史海量离线数据存放在MaxCompute。通过联合查询,一份SQL同时查询实时+离线数据,构建统一湖仓。

  3. 统一在线数据服务
    替代HBase、Redis作为业务数据查询层,业务服务通过主键直接查询Hologres获取明细数据,省去双写维护两套存储系统。

  4. 数据湖查询加速
    创建外部表,直接读取OSS上Hive、Paimon数据,无需把数据导入引擎内部,低成本完成数据湖的交互式查询。

  5. AI向量检索RAG
    文档向量化后存入Hologres向量字段,通过向量相似度SQL检索,搭建企业知识库、智能问答系统。

五、使用方法

  1. 开通实例
    登录阿里云控制台,搜索Hologres,创建实例,可选固定规格实例或Serverless版本,配置网络、白名单。

  2. 连接数据库
    使用PG客户端、DBeaver、JDBC连接,连接地址、账号密码在实例控制台获取。

  3. 建表
    执行标准PG语法建表,根据业务选择行存、列存或者混合存储,需要向量检索时增加向量类型字段并创建向量索引。
    示例建表语句:

CREATE TABLE order_real (
 order_id BIGINT PRIMARY KEY,
 user_id BIGINT,
 order_amount DECIMAL(12,2),
 create_time TIMESTAMP
) WITH (
 storage_engine='row,column',
 segment_key='create_time'
);
  1. 数据写入

  • 实时:Flink CDC同步MySQL数据写入Hologres;

  • 离线:INSERT语句批量导入,或者通过外部表映射读取存量数据。

  1. 数据查询
    标准SQL执行多维分析,主键SELECT做在线点查,向量函数完成相似度检索;BI工具接入制作可视化报表。

  2. 运维监控
    控制台查看CPU、内存、读写QPS、查询耗时,配置资源组隔离,优化慢SQL。

Hologres(图2)

六、竞品对比

产品 所属厂商 核心定位 核心优势 主要短板
Hologres 阿里云 HSAP混合负载实时湖仓平台 一份存储同时支持OLAP分析+在线高并发点查;PG兼容;深度对接阿里云大数据生态;内置向量检索 仅阿里云公有云可用,无法本地机房部署;自建生态适配弱
ClickHouse 开源 OLAP列式分析引擎 聚合查询性能极强,开源免费,社区活跃 主键点查性能弱,不适合高并发在线服务;事务能力有限
StarRocks 开源 MPP实时OLAP引擎 秒级实时分析,多表Join性能优秀,支持本地与云部署 原生不擅长高并发主键点查,离在线一体化湖仓能力弱于Hologres

七、常见问题解答

Q:Hologres和PostgreSQL有什么区别?

A:Hologres兼容PostgreSQL的SQL语法和协议,但底层是分布式MPP架构,面向大数据场景,支持海量数据实时写入、分布式聚合;原生PostgreSQL是单机/主从关系型数据库,适合OLTP事务业务,大数据量分析性能不足。

Q:Hologres可以直接替代MySQL吗?

A:不可以。Hologres主打实时分析、高并发点查,不适合高频事务(事务支持弱),不适合大量更新、删除的OLTP业务,MySQL这类事务型数据库依然是业务主库首选。

Q:Serverless版Hologres和固定实例怎么选?

A:业务查询波动大、测试环境、低频分析场景选Serverless,按查询计费节省成本;业务有稳定高并发在线点查,需要固定资源隔离,优先选择固定规格实例。

Q:Hologres读取MaxCompute数据是否需要把数据拷贝过来?

A:不需要。通过外部表可以直接读取MaxCompute存储的数据,数据仍然保存在MaxCompute,不需要迁移,实现冷热数据联合查询。

Q:Hologres向量检索支持多大规模向量数据?

A:向量存储规模受实例存储上限限制,支持亿级向量,内置向量索引加速相似度查询,适合企业RAG知识库场景。

八、相关链接

九、总结

Hologres作为阿里云自研HSAP实时湖仓平台,依靠存算分离架构与PG协议兼容特性,将在线点查和多维分析能力融合在一套存储系统中,深度整合阿里云Flink、MaxCompute等大数据组件,同时提供向量检索能力,简化实时数仓、离在线数据服务、AI知识库等场景架构,减少多组件维护成本,是阿里云体系下构建实时湖仓方案的核心引擎。

打赏
THE END
作者头像
人工智能研究所
发现AI神器,探索AI技术!