随着智能化技术的飞速发展，尤其是以生成式AI为代表的技术快速应用，推动了数据与智能的深化融合，给数据基础设施带来了新的变革和挑战。如何简化日益复杂的系统架构，提高数据处理效率，降低开发运维成本，促进数据开放共享和创新应用，成为企业关注的核心问题。
一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一体化；数据处理-多模型一体化；数据分析-历史与实时数据一体化；资源管理-多集群应用、资源和数据一体化。
数据架构：湖仓集一体化
过去，企业在建设数据平台时通常使用传统的Hadoop湖+MPP仓的混合架构，逐渐有部分企业开始使用类似Hudi/Iceberg的湖仓技术。这两种技术架构都存在一些局限性，在线分析能力较弱，无法满足集市业务需求。因此企业往往需要再引入额外的分析查询引擎，用混合架构来满足湖仓集业务需求。
混合架构中，数据需要存储在不同平台里来提供服务，首先就造成了数据冗余和存储资源占用。其次，数据需要跨平台ETL流转，流转开销高，时效性较差。数据跨平台流转中还容易导致数据一致性问题，影响业务正确性。此外，多平台的开发标准不一致，存在一定的技术门槛，权限管理复杂。
星环科技大数据基础平台TDH从2014年支持了事务表和存储过程开始，形成了湖仓集一体雏形，在2023年TDH9.3版本中引入了湖仓集统一存储格式Holodesk，只需一种存储格式即可同时满足ODS数据实时数据接入、数仓模型加工和高性能集市查询分析等业务，不需要针对不同的业务场景使用不同的存储引擎而构建烟囱式混合架构。在星环一体架构下，湖仓集对用户来说，仅仅是业务逻辑上的区分，底层使用统一的技术栈，真正实现湖仓集一体化。
TDC 5.0在多集群及应用统一纳管基础上，对跨集群资源均衡调度、自动弹性伸缩、数据共享等能力进一步升级，帮助用户构建一体化的大数据与智能平台，降低企业多集群运维管理成本，最大化资源利用率，加速业务上线与创新。
跨集群资源均衡调度 实现对多个集群底层资源的统一管理，当某个集群负载较大，需要扩展存储或者计算资源时，能够跨集群自动调用富余集群的资源，实现多个集群之间资源的均衡调度，提升所有集群的整体资源利用率。
跨集群自动弹性伸缩 根据配置的基于时间周期、负载变化的自动弹性伸缩策略，对业务繁忙时间段和业务负载突增时，自动进行存储和计算资源的扩缩容，满足业务对资源的需求，保障业务性能的稳定性。
跨集群数据共享 跨多个集群实现数据的共享，集群之间不需要做ETL，可以直接共享使用对方集群的存储，进而实现No Copy的数据共享，避免数据复制带来的存储压力和数据时延，以及不一致性问题。
本文转载自：，不代表科技讯之立场。原文链接：http://show.wolaioa.com.cn/preview/4EUYgxwqq7AWwuT1Yi4rYQ.html
