崗位職責
1.架構設計與規(guī)劃:設計和規(guī)劃數(shù)據(jù)中臺的整體技術架構,包括數(shù)據(jù)采集、存儲、計算、治理、服務等模塊,制定中長期技術演進路線。
2.技術選型與評估:深入理解業(yè)務需求,評估和選擇適合企業(yè)需求的大數(shù)據(jù)技術棧(如Hadoop、Spark、Flink、Kafka、Hive、DataX、Airflow等),確保技術方案的先進性與穩(wěn)定性。
3.核心系統(tǒng)設計:主導數(shù)據(jù)倉庫/數(shù)據(jù)湖分層架構設計、數(shù)據(jù)建模(維度建模、Data Vault等)、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)質量體系等核心系統(tǒng)的架構設計。
4.平臺集成與對接:設計并實現(xiàn)數(shù)據(jù)中臺與各業(yè)務系統(tǒng)、外部數(shù)據(jù)源、數(shù)據(jù)應用之間的集成方案,支持跨系統(tǒng)、跨網(wǎng)絡的數(shù)據(jù)安全引接與服務輸出。
5.數(shù)據(jù)治理架構:構建數(shù)據(jù)標準、數(shù)據(jù)質量、數(shù)據(jù)安全、主數(shù)據(jù)管理等治理體系的技術架構,推動數(shù)據(jù)資產(chǎn)化落地。
6.性能與穩(wěn)定性保障:優(yōu)化數(shù)據(jù)處理性能,設計高并發(fā)、低延遲的數(shù)據(jù)服務架構,確保平臺的高可用性與容災能力。
7.團隊指導與協(xié)作:指導開發(fā)、運維、數(shù)據(jù)治理團隊理解并實施架構方案,組織技術評審,解決關鍵技術難題。
8.國產(chǎn)化適配:主導或參與數(shù)據(jù)中臺在國產(chǎn)化硬件、操作系統(tǒng)、數(shù)據(jù)庫等信創(chuàng)環(huán)境下的適配與優(yōu)化工作。
9.技術前瞻與創(chuàng)新:跟蹤大數(shù)據(jù)、數(shù)據(jù)湖、湖倉一體、DataOps、AI融合等前沿技術,推動技術創(chuàng)新與落地。
任職要求
1.計算機、軟件工程、信息技術或相關專業(yè)本科及以上學歷,5年以上大數(shù)據(jù)平臺開發(fā)或架構經(jīng)驗,3年以上數(shù)據(jù)中臺項目架構經(jīng)驗。
2.精通主流大數(shù)據(jù)技術棧(Hadoop生態(tài)、Spark、Flink、Kafka等),熟悉數(shù)據(jù)倉庫建模理論與實踐。
3.具備百萬級企業(yè)數(shù)據(jù)中臺或數(shù)據(jù)平臺整體架構設計交付案例,熟悉數(shù)據(jù)采集、清洗、存儲、計算、服務全流程。
4.深入理解數(shù)據(jù)治理核心領域(元數(shù)據(jù)、數(shù)據(jù)質量、數(shù)據(jù)標準、數(shù)據(jù)安全)的技術實現(xiàn)方案。
5.熟悉微服務架構、API網(wǎng)關、容器化(Docker/K8s)、云原生技術,具備平臺化、服務化設計能力。
6.具備良好的溝通協(xié)調(diào)能力、系統(tǒng)思維,能夠推動團隊技術落地。
7.具備較強的技術文檔編寫能力,能清晰表達復雜技術方案。