崗位職責:
1、設(shè)計、構(gòu)建和維護高可靠、高性能的大數(shù)據(jù)平臺架構(gòu)(Hadoop/Spark/Flink/Kafka等);
2、開發(fā)數(shù)據(jù)管道(ETL/ELT),處理海量文本、圖片、視頻等結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),支持實時與離線分析場景;
3、優(yōu)化數(shù)據(jù)存儲、計算性能與成本,解決數(shù)據(jù)傾斜、資源調(diào)度等核心問題;
4、與算法、業(yè)務(wù)團隊協(xié)作,為機器學(xué)習(xí)、BI可視化等場景提供高質(zhì)量數(shù)據(jù)服務(wù);
5、保障數(shù)據(jù)安全、質(zhì)量與合規(guī)性,建立監(jiān)控告警體系。
任職要求:
1、本科及以上學(xué)歷,計算機相關(guān)專業(yè),3年及以上相關(guān)工作經(jīng)驗;
2、精通 Hadoop/Spark/Flink 等生態(tài)組件,具備實時數(shù)倉開發(fā)經(jīng)驗。掌握 Hive/HBase/ClickHouse/Doris 等至少2種存儲引擎;
3、具有大數(shù)據(jù)開發(fā)經(jīng)驗,主導(dǎo)過TB級數(shù)據(jù)規(guī)模的項目落地;
4、具備數(shù)據(jù)治理(元數(shù)據(jù)、血緣、質(zhì)量監(jiān)控)工具開發(fā)經(jīng)驗。