
火山引擎DataLeap:支持万级表的数据血缘图谱,是如何实现的?
数据来源广、量级大、场景多,导致数据之间关系变得异常复杂。 经过读取、清洗、存储、计算等一系列流程之后,数据最终汇入指标、报表等服务系统中。但如何对数据溯源、跟踪变化,成为困扰数据研发工程师的难题之一。 数据血缘描述了数据的来源和去向,以及...
数据来源广、量级大、场景多,导致数据之间关系变得异常复杂。 经过读取、清洗、存储、计算等一系列流程之后,数据最终汇入指标、报表等服务系统中。但如何对数据溯源、跟踪变化,成为困扰数据研发工程师的难题之一。 数据血缘描述了数据的来源和去向,以及...