崗位職責:
一、數(shù)據(jù)平臺設(shè)計與開發(fā)
1、參與數(shù)據(jù)中臺技術(shù)架構(gòu)設(shè)計,推動離線/實時數(shù)據(jù)管道開發(fā),完成數(shù)據(jù)采集、存儲、計算及服務(wù)接口開發(fā)。
2、編寫高效ETL流程與核心模塊代碼,保障數(shù)據(jù)高效流轉(zhuǎn)與處理。
二、數(shù)據(jù)治理與質(zhì)量提升
1、設(shè)計并實施數(shù)據(jù)清洗規(guī)則,構(gòu)建維度模型,優(yōu)化數(shù)倉分層與數(shù)據(jù)血緣管理,提升數(shù)據(jù)準確性與一致性。
2、通過SQL/腳本開發(fā)實現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換與加載,保障數(shù)據(jù)資產(chǎn)標準化。
三、系統(tǒng)性能優(yōu)化與穩(wěn)定性保障
1、監(jiān)控Hadoop/Spark等分布式集群運行狀態(tài),解決性能瓶頸,優(yōu)化資源分配與查詢效率。
2、設(shè)計數(shù)據(jù)分區(qū)、索引及容災(zāi)備份方案,確保平臺高可用性與可靠性。
四、技術(shù)前瞻與創(chuàng)新落地
1、跟蹤Flink/Kafka等前沿技術(shù),探索在業(yè)務(wù)場景中的應(yīng)用,推動機器學習與大數(shù)據(jù)平臺融合。
2、輸出技術(shù)文檔與最佳實踐,賦能團隊技術(shù)成長。
五、團隊協(xié)作與 mentorship
1、指導(dǎo)初/中級工程師完成開發(fā)任務(wù),保障項目交付質(zhì)量與進度。
2、分享技術(shù)經(jīng)驗,參與代碼審查與流程優(yōu)化,提升團隊整體效能。
任職要求:
1、本科及以上學歷,計算機相關(guān)或理工類相關(guān)專業(yè)
2、具有5年及以上大數(shù)據(jù)開發(fā)工作經(jīng)驗;
3、精通Hadoop、Spark、Flink、Kafka等大數(shù)據(jù)組件,熟悉Hive、HBase、ES、Doris等存儲工具;
4、熟練掌握Java/Scala/Python,具備SQL調(diào)優(yōu)能力,了解Shell腳本;
5、掌握數(shù)據(jù)倉庫建模方法,熟悉ETL流程及OLAP分析技術(shù);
6、了解機器學習算法(如Kmeans、SVM),能結(jié)合業(yè)務(wù)場景實現(xiàn)數(shù)據(jù)挖掘;
7、具備跨部門協(xié)作能力,能獨立解決復(fù)雜問題,能對可行的方法進行分析選擇并清晰闡述,適應(yīng)快速迭代的項目需求;
8、政治素質(zhì)好,遵守紀律,品行端正,愛崗敬業(yè)。