崗位職責(zé):
1、核心系統(tǒng)研發(fā):負(fù)責(zé)自研DAG數(shù)據(jù)流水線核心模塊的維護(hù)與功能迭代,包括但不限于調(diào)度系統(tǒng)、任務(wù)執(zhí)行引擎、元數(shù)據(jù)管理、權(quán)限控制等。
2、計(jì)算引擎集成:深度集成和優(yōu)化主流大數(shù)據(jù)計(jì)算任務(wù),特別是對(duì)Spark、SQL、DataX等任務(wù)類型進(jìn)行封裝、監(jiān)控和性能調(diào)優(yōu)。
3、云原生實(shí)踐:深入研究Spark on K8S,持續(xù)優(yōu)化任務(wù)在K8S集群上的執(zhí)行性能、資源利用率和穩(wěn)定性,解決實(shí)踐中遇到的技術(shù)難題。
4、平臺(tái)能力擴(kuò)展:根據(jù)業(yè)務(wù)需求,設(shè)計(jì)并開發(fā)新的任務(wù)指件、數(shù)據(jù)質(zhì)量監(jiān)控模塊、告警系統(tǒng)以及可視化運(yùn)維工具。
任職要求:
必備要求
1、Java基礎(chǔ)扎實(shí):5年以上Java開發(fā)經(jīng)驗(yàn),深入理解JVM、多線程、IO/NIO、集合框架等,具備優(yōu)秀的編碼能力和良好的沒(méi)計(jì)模式理解。
2、后端框架熟練:熟練使用Spring Boot/Spring Cloud等主流微服務(wù)框架,有復(fù)雜后端系統(tǒng)設(shè)計(jì)與開發(fā)經(jīng)驗(yàn) 。
3、大數(shù)據(jù)生態(tài)經(jīng)檢;熟悉Hadoop/Spark生態(tài),有Spark應(yīng)用開發(fā)或調(diào)優(yōu)經(jīng)驗(yàn),能夠理解其基本工作原理。
4、數(shù)據(jù)庫(kù)與SQL:精通SQL,熟悉MySQL/PostareSQL等至少一種關(guān)系型數(shù)據(jù)庫(kù)。
5、基礎(chǔ)運(yùn)維能力:熟悉Linux操作系統(tǒng),熟練使用Shell腳本,了解Docker、Kubernetes等容器化技術(shù)的基本概念和操作。
6、熟悉AI編程工具,有Vibe Coding經(jīng)驗(yàn)。
加分項(xiàng)(具備以下一項(xiàng)或多項(xiàng)者優(yōu)先)
1、有DophinScheduler、Airflow、Azkaban等開源工作流調(diào)度系統(tǒng)二次開發(fā)或使用經(jīng)驗(yàn)。
2、有Spark on K8S的實(shí)際部署、運(yùn)維或調(diào)優(yōu)經(jīng)驗(yàn)。
3、熟悉Datax等并有相關(guān)插件開發(fā)經(jīng)驗(yàn)。
4、熟悉Prometheus/Grafana等監(jiān)控體系,有平臺(tái)可觀測(cè)性建設(shè)經(jīng)驗(yàn)。