作者：中通快运信息中心副总监张贤孝
*本文根据中通快运信息中心副总监张贤孝在「StarRocks Summit 2023」上演讲整理，感兴趣可前往峰会官网，查看直播回放。
前言
数字化或者数据驱动不仅仅是 IT 职能，数据部门不是一个传统的支撑部门，而是新一代信息技术驱动下的一场业务、管理和商业模式的深度变革和重构，技术是支撑，业务是内核。
中通快运成立于 2016 年，是中通品牌旗下快运企业，聚焦数智物流新趋势， 提供面向企业及个人客户的全链路一站式物流服务。目前，中通快运在全国部署了 80 家分部中心、9000 多台自由车辆和几千个网点。在日常生活中，快递一般处理重量在 10 公斤以下的小件，快运则处理重量在 30 公斤以上的大件物品，比如家具、电器等。
在数字化的过程中，中通快运随着业务的发展也进行了一系列数据架构上的实践，同时也将过程中的思考整理出来分享给大家。
一、传统数据架构遇挑战，业务用数难、IT 响应难
与互联网和科技公司不同，身为传统企业，中通快运在初期搭建数据架构时，主要是为了解决运营操作的问题，忽略了数据对于业务决策的重要性。因此，在业务系统开发过程中，对数据架构的规范和部署不够重视，这也是许多传统物流公司面临的问题。
1.分析和数据业务混合，导致数据无法分离和扩容。
物流企业偏传统企业，大多数软件是流程管理软件。在开发运输管理系统时，需要完成发车控制、货物卸载、装载和分拣等操作，并生成庞大的行为数据。开发时会出现行为数据和业务数据杂糅、无法分离的问题，导致无法扩容和升级。
2.软件基础架构混乱，存在单点故障，无法快速升级。
随着业务数据库的增大，我们需要进行纵向升级来逐渐提升数据库的能力。然而，这种纵向升级导致了数据层面的单点故障，因为数据同步造成的性能消耗超过了额外机器的收益，导致无法继续升级。
3.数据备份周期短，无法挖掘历史数据的价值。
由于每天产生数据量极大，所以数据在存储时只能保存三个月甚至更短的时间。这种数据备份的方式，导致业务人员无法利用历史数据进行分析，发挥其价值。
4.开发和部署方式呈现烟囱式，无法快速响应业务变化。
物流行业的业务正在快速变化，需要快速响应不同的运营模式，但当前每个系统都是独立开发的，没有考虑模块化组装的方式来提高开发效率和对外部需求的响应速度。
当意识到传统的数据架构可能存在问题，中通快运就开始积极改进和优化基础数据架构，以提高系统的稳定性、可扩展性和灵活性。
二、锚定“数据赋能业务”，中通快运推动架构进化
数据赋能业务是个脱胎换骨洗筋伐髓的过程，业务需求驱动数据准备，推动业务运作流程的演进，驱动业务软件架构面向数据的标准化治理，这是一个螺旋上升的过程。
我们开始重新梳理和规划数据架构，结合业务和数据两部分思考，确定了通过数据赋能业务，实现数据服务业务流程，驱动业务决策的核心目标，并开始针对这一目标进行实践。
1. 重新定位数据部门价值，推动业务流程变革
当意识到传统的数据架构可能存在问题，中通快运 IT 团队开始推动集团高层，将数据部门定位为业务赋能的核心，重新定位数据部门的价值，将其纳入战略规划中，推动业务流程的变革。同时，与业务部门紧密合作，理解业务需求，提供相应的数据服务和解决方案，实现数据驱动的业务决策和优化。
2. 数据服务治理，基于 StarRocks 建设高效驱动业务的数据中心
服务治理是指在业务架构中面向数据进行设计，确保数据采集和建立数据之间的关系。中通快运将数据作为业务架构设计的核心，建立数据之间的关系和流程，将操作和分析两种业务进行解耦，提供灵活的数据存储和访问方式。
中通快运采用了 Paimon 和 StarRocks 来构建批流一体的数据基础，提供不同的对外服务标准。
首先是实时响应，所有数据都通过实时采集传输过来。由于传统企业的业务操作可能不是完全静态的，可能存在行为逆转的情况，因此在实时操作过程中需要落表，我们使用了 tiDB 作为实时存储库。
而 StarRocks 承担着核心的 OLAP 能力。对于实时性的数据需求，通过 StarRocks 实时链路完成秒级响应（约为 10 秒）。对于历史数据的大规模对比和复杂查询，通过 StarRocks 进行存算分离，直接读取和查询 Paimon 的数据，以实现快速响应，业务端发生的数据传输到服务端的响应时间优化到 2-3 分钟。
由于中通快运的业务需要支持分析和操作两种模式，因此存储和计算分为实时和离线两部分，数据分析链路为湖仓一体，采集以实时为主，辅之以批处理同步，重点是满足秒级实时响应的需求。
三、多重价值落地，实现数据服务业务、驱动业务
中通快运不仅仅将数据视为一种资源，还将其视为推动业务发展的关键要素。中通快运 IT 团队能够保持灵活性和敏捷性，深入了解业务，快速适应新的业务要求，并结合 StarRocks 提供相应的数据服务和解决方案，收获整个集团层面的进展：
1.提升数据分离和扩容能力，实现便捷数据管理
通过混合数据业务的分离，中通快运可以更好地管理和扩展数据资源。这使得企业能够更有效地利用数据进行决策和优化业务流程。数据分离和扩容的能力提升还可以为中通快运提供更好的数据管理和资源分配，以满足不断增长的业务需求。
2.提高业务运营效率，实现数据驱动业务
通过架构升级，中通快运可以进行深入的数据分析和挖掘，从历史数据中发现潜在的业务洞察和趋势，从而帮助业务人员做出更明智的决策，并优化业务流程，提高效率和竞争力。
3.敏捷的开发，快速响应业务需求
通过采用模块化和组装化的开发方式，中通快运可以更快速地响应业务变化，能够更灵活地开发和部署新的功能和服务，以满足不断变化的业务需求。
四、结语
数据部门不仅仅是传统支撑部门，也要承载了企业发展过程中业务管理和商业模式的深度重构与融合的使命，一路走来，感谢 StarRocks 给予的支持。
未来，也希望进一步探索 StarRocks 资源隔离和物化视图能力，为企业提供更强有力的数据分析解决方案，赋能业务更好的决策和进一步升级。
