職位描述
數(shù)據(jù)治理數(shù)據(jù)庫開發(fā)大數(shù)據(jù)開發(fā)PythonShellHadoopFlinkKafkaHADOOP 生態(tài)云原生數(shù)據(jù)平臺(tái)
任職要求:
· 通知大專及以上學(xué)歷,計(jì)算機(jī)科學(xué), 軟件工程, 數(shù)據(jù)科學(xué)等相關(guān)專業(yè)。
· 5 年以上數(shù)據(jù)工程師經(jīng)驗(yàn),具備專業(yè)技能:精通 Linux 操作系統(tǒng),熟練使用 SQL,掌握至少一種大數(shù)據(jù)平臺(tái)(Hadoop 生態(tài)或云原生數(shù)據(jù)平臺(tái))運(yùn)維與數(shù)據(jù)治理實(shí)戰(zhàn)經(jīng)驗(yàn)。
· 腳本語言(Python/Shell)。
· 熟悉大數(shù)據(jù)組件(如 Dataworks, Maxcompute, EMR, Flink, Redis, Kafka, CK, Hologres)的原理, 部署與調(diào)優(yōu)。
· 了解數(shù)據(jù)治理核心領(lǐng)域(數(shù)據(jù)質(zhì)量, 元數(shù)據(jù), 數(shù)據(jù)安全, 合規(guī)),有數(shù)據(jù)治理工具(如 Collibra, Alation, Apache Atlas)使用經(jīng)驗(yàn)者優(yōu)先。
· 熟悉至少一種云平臺(tái)(阿里云, AWS, Azure)的數(shù)據(jù)服務(wù)(如 EMR, Redshift, BigQuery),具備阿里云環(huán)境下數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)者優(yōu)先。
· 掌握數(shù)據(jù) pipeline 開發(fā)與優(yōu)化技巧,有 ETL 工具(如 DTS, DataStage, Informatica)或調(diào)度工具(Airflow)使用經(jīng)驗(yàn)者優(yōu)先。
· 了解監(jiān)控與告警工具(CMS, Prometheus, Grafana), 容器化技術(shù)(K8s, Docker)者優(yōu)先。
· 具備良好的溝通協(xié)調(diào)能力,能有效對(duì)接業(yè)務(wù), 合規(guī), 技術(shù)等跨團(tuán)隊(duì)需求。
· 較強(qiáng)的問題分析與解決能力,能快速定位并處理平臺(tái)故障, 數(shù)據(jù)質(zhì)量問題。
· 有責(zé)任心,抗壓能力強(qiáng),具備持續(xù)學(xué)習(xí)新技術(shù)的熱情。
加分項(xiàng):
· 持有 阿里云ACP認(rèn)證, AWS SAA等相關(guān)證書。
· 主導(dǎo)過大型企業(yè)級(jí)數(shù)據(jù)治理項(xiàng)目,或有零售,金融,地產(chǎn)等行業(yè)數(shù)據(jù)合規(guī)經(jīng)驗(yàn)。
· 熟悉數(shù)據(jù)建模理論,具備數(shù)據(jù)倉庫設(shè)計(jì)經(jīng)驗(yàn)。
查看全部