職位描述
崗位職責(zé):
1. 數(shù)據(jù)清洗與ETL開(kāi)發(fā)
? 負(fù)責(zé)基礎(chǔ)數(shù)據(jù)清洗、轉(zhuǎn)換和加載(ETL)流程的開(kāi)發(fā)與維護(hù),使用工具(如Kettle、DataX)或腳本(Python/SQL)處理結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)。
? 協(xié)助構(gòu)建數(shù)據(jù)管道(Data Pipeline),監(jiān)控?cái)?shù)據(jù)流程運(yùn)行狀態(tài),定位并修復(fù)數(shù)據(jù)異常問(wèn)題。
2. 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)支持
? 參與數(shù)據(jù)倉(cāng)庫(kù)的簡(jiǎn)單建模(如星型模型)和維度表構(gòu)建,支持?jǐn)?shù)據(jù)分析師完成報(bào)表開(kāi)發(fā)。
? 維護(hù)數(shù)據(jù)存儲(chǔ)(如Hive、MySQL),優(yōu)化基礎(chǔ)SQL查詢(xún)性能。
3. 系統(tǒng)測(cè)試與數(shù)據(jù)驗(yàn)證
? 兼職數(shù)據(jù)系統(tǒng)測(cè)試,包括ETL流程驗(yàn)證、數(shù)據(jù)質(zhì)量檢查(如完整性、一致性)及測(cè)試報(bào)告編寫(xiě)。
? 協(xié)助業(yè)務(wù)團(tuán)隊(duì)驗(yàn)證數(shù)據(jù)需求,確保數(shù)據(jù)輸出符合預(yù)期。
4. 技術(shù)學(xué)習(xí)與協(xié)作
? 學(xué)習(xí)大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark)和AI數(shù)據(jù)預(yù)處理方法(如特征工程),探索數(shù)據(jù)與AI結(jié)合的初級(jí)應(yīng)用場(chǎng)景。
? 配合業(yè)務(wù)團(tuán)隊(duì),將數(shù)據(jù)需求轉(zhuǎn)化為可執(zhí)行方案。
任職要求:
1. 基本要求
? 本科及以上學(xué)歷,計(jì)算機(jī)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)或相關(guān)專(zhuān)業(yè)(應(yīng)屆生或1-3年經(jīng)驗(yàn))。
? 具備SQL編寫(xiě)能力,熟悉至少一種數(shù)據(jù)庫(kù)(MySQL/Oracle/Hive)。
? 掌握Python或Shell腳本編程,能獨(dú)立開(kāi)發(fā)簡(jiǎn)單ETL任務(wù)。
2. 技術(shù)能力
? 必備?:
? 了解ETL流程及工具(如Kettle、DataX)。
? 熟悉Linux操作及Git版本控制。
? 加分項(xiàng)?:
? 接觸過(guò)大數(shù)據(jù)組件(Hadoop/Hive/Spark)或BI工具(FineReport/Tableau)。
? 了解基礎(chǔ)數(shù)據(jù)建模概念(如星型模型)。
3. 軟素質(zhì)與潛力
? 邏輯清晰?:能獨(dú)立完成數(shù)據(jù)需求開(kāi)發(fā)與問(wèn)題排查。
? 學(xué)習(xí)能力?:對(duì)數(shù)據(jù)技術(shù)和AI結(jié)合有強(qiáng)烈興趣,愿意深入技術(shù)細(xì)節(jié)(如數(shù)據(jù)特征工程、AI數(shù)據(jù)預(yù)處理)。
? 協(xié)作意識(shí)?:具備溝通能力和團(tuán)隊(duì)精神,能承擔(dān)重復(fù)性工作并逐步提升效率。