实时湖仓引擎 DLink
DLink提供多种数据类型的统一存储能力,支持流批一体数据处理、数据分析、数据科学等多工作负载。采用存算分离架构,弹性扩展、高并发、低延时,支持PB级多模数据存储与处理,无缝连接大数据生态,提供一站式数据探索与数据开发能力。 数据入湖 支持多种异构数据以实时或离线批量的方式同步到数据湖,解决了架构复杂度高,数据格式不统一等问题,打通多种业务系统数据,为用户构建数据湖,满足多种数据查询与应用。 即席分析 支持海量数据即席查询,支持多catalog的联邦查询,支持在线编写SQL语句、语法检查、调试和发布部署,并提供线上运维管理能力。整个过程无需复杂编程,大大降低了用户的使用门槛。 统一元数据管理 集成大规模技术元数据管理,表和分区的所有元数据通过统一的元数据访问,并持久化,使用高性能表格管理,可向多计算引擎添加表,单表可达数十PB,保障跨语言和兼容性。 实时计算 提供可视化DLink SQL作业提交和任务管理能力。支持在流上执行类SQL任务,SQL能力至少包括:过滤、转换、基于窗口的计算能力、提供窗口数据的统计能力、关联能力、流数据的拆分与合并。支持多种作业类型:SQL 作业、JAR 作业、ETL 作业等。 湖仓管理 提供湖仓内数据的统一管理,包含过期快照删除、小文件合并、删除过期快照等功能。并基于Ranger实现对数据类资源进行权限控制;支持catalog/database/table/view/function列表级别权限控制。