在金融科技領域,螞蟻金服的成長歷程堪稱一部技術驅動業務發展的教科書。螞蟻金服副 CTO 胡喜首次系統性地回顧了公司過去 15 年在數據處理技術架構上的關鍵演進。從最初服務于淘寶擔保交易的“支付寶”,到如今支撐起一個覆蓋支付、理財、信貸、保險等多元生態的金融科技平臺,其數據處理能力的蛻變,不僅是技術挑戰的應對史,更是對金融級穩定性、安全性與極致體驗的不懈追求史。
第一階段:單體架構下的數據孤島與早期探索(2004-2009)
支付寶誕生之初,技術架構相對簡單,核心是圍繞擔保交易的單體應用。數據處理需求主要集中在交易流水記錄、賬戶余額更新等基本功能上。數據存儲主要依賴傳統關系型數據庫,通過簡單的讀寫分離和主從復制來應對早期的讀寫壓力。此時的“數據處理”更接近于傳統 OLTP(聯機事務處理)場景,數據規模有限,架構的核心目標是保證每一筆交易“不錯、不丟、不重”,為信任奠基。隨著用戶量和交易量的快速增長,以及業務從單純的支付向繳費、轉賬等場景擴展,數據開始出現“孤島”現象,不同業務的數據難以互通和整合,為后續的架構升級埋下了伏筆。
第二階段:服務化拆分與數據整合破冰(2010-2014)
面對業務復雜度的指數級增長,螞蟻開啟了轟轟烈烈的“服務化”改造。將龐大的單體應用拆分為數百個微服務,如支付服務、會員服務、賬務服務等。這一變革對數據處理產生了深遠影響:數據源從集中變得分散。為了打破數據孤島,實現統一的用戶視圖和業務分析,數據倉庫(Data Warehouse)和早期的大數據平臺開始登上舞臺。通過 ETL(抽取、轉換、加載)流程,將各業務系統的數據定期同步到中央數據倉庫,支持商業智能(BI)分析和報表生成。為了滿足實時監控和簡單實時查詢的需求,消息隊列和早期的流計算技術開始試點應用。這一階段,數據處理開始從“記錄系統”向“分析系統”延伸,但實時性和一致性能力仍在建設中。
第三階段:金融級分布式架構與數據中臺萌芽(2015-2018)
“雙十一”等極致業務場景的淬煉,推動螞蟻技術架構全面轉向自主研發的金融級分布式架構。在數據處理層面,標志性事件是 OceanBase 數據庫在核心賬務系統全面取代傳統數據庫,實現了在線事務處理能力的線性擴展和高可用。與此面向海量數據實時處理的需求催生了流計算引擎(如早期版本的 Blink,后融入 Apache Flink 社區)的深度應用,實現了交易風險實時監控、營銷活動實時決策等關鍵能力。更重要的是,隨著“中臺”戰略的提出,數據中臺概念開始落地。通過建立統一的數據模型、數據服務和數據治理體系,將數據作為一種核心資產和能力進行沉淀與共享,賦能前線業務快速創新。數據處理體系正式形成了離線(數倉)、實時(流計算)、在線(分布式數據庫)三線并進的格局。
第四階段:云原生、智能化與全球化數據架構(2019至今)
螞蟻技術架構全面擁抱云原生,并向全球化邁進。數據處理架構也隨之進化。計算與存儲進一步解耦,存算分離架構使得資源彈性調度和成本優化達到新高度。實時化能力成為標配,“流批一體”技術棧趨于成熟,讓數據分析從“T+1”全面邁向“秒級”甚至“毫秒級”。第三,數據和智能深度融合。基于海量、多模態的數據湖,大規模機器學習平臺得以構建,驅動智能風控、智能投顧、智能客服等場景不斷深化。為支撐全球化業務,數據處理架構必須滿足多地部署、數據合規(如 GDPR)、跨境低時延同步等復雜要求,形成了單元化、多活的數據部署與治理體系。
演進背后的核心邏輯與未來展望
胡喜道,螞蟻數據處理架構 15 年的演進,始終圍繞三條主線展開:一是 “穩如磐石”的金融級可信,在任何規模下保障數據的強一致、高可用和資金安全;二是 “快如閃電”的極致體驗,通過實時化技術縮短數據價值變現的路徑,提升用戶和商戶體驗;三是 “智能普惠”的業務賦能,降低數據使用門檻,讓數據能力像水電煤一樣方便地被所有業務單元調用。
隨著隱私計算、區塊鏈、量子計算等前沿技術的融合,數據處理架構將朝著 “可信、綠色、共生” 的方向繼續演進。在保障數據安全與用戶隱私的前提下,更高效地挖掘數據價值,降低計算能耗,并與合作伙伴共建開放的數據技術生態,將是螞蟻及整個行業面臨的下一個里程碑。