国产成人精品日本亚洲999,99久久久国产精品免费蜜臀 ,v一区无码内射国产,被调教的少妇雅芳1一19,国产成人a亚洲精v品无码

ETL開發(fā)工程師
一、核心職責：
1、實時數(shù)據(jù)處理：
（1）使用 Java 編寫 Flink 數(shù)據(jù)處理邏輯，熟練運用 Flink SQL 進行流式數(shù)據(jù)開發(fā)。
（2）負責處理日均百億級別的車輛實時數(shù)據(jù)流（如車輛狀態(tài)、軌跡、告警等），進行實時清洗、聚合、風控判斷。
（3）將實時計算結(jié)果輸出到 StarRocks、Redis 等查詢引擎和緩存中，保障低延遲數(shù)據(jù)服務(wù)。
2、離線數(shù)據(jù)倉庫：
（1）使用 Spark 及 Hive SQL 構(gòu)建和維護車聯(lián)網(wǎng)離線數(shù)據(jù)倉庫。
（2）基 Hadoop 生態(tài)（包括 Tez 和 MapReduce 引擎）進行大規(guī)模數(shù)據(jù)的ETL開發(fā)與性能調(diào)優(yōu)。
（3）了解presto、impala、hive、yarn等hadoop相關(guān)組件
（4）負責主題域模型設(shè)計、數(shù)據(jù)分層（ODS/DWD/DWS/ADS），支撐復雜的離線指標分析需求。
（5）有熟練使用調(diào)度工具的經(jīng)驗，熟悉各類抽數(shù)工具：sqoop、kettle、datax或者其他
3、數(shù)據(jù)服務(wù)與接口開發(fā)：
（1）使用 Java 開發(fā)高性能、高可用的數(shù)據(jù)查詢接口，為前端應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。
（2）整合 MySQL（元數(shù)據(jù)/業(yè)務(wù)數(shù)據(jù)）、Redis（高速緩存）、StarRocks（OLAP查詢）等多種數(shù)據(jù)源，優(yōu)化查詢性能。
4、技術(shù)架構(gòu)與優(yōu)化：
（1）負責 Kafka 集群的數(shù)據(jù)流轉(zhuǎn)架構(gòu)設(shè)計，確保數(shù)據(jù)管道的穩(wěn)定性和吞吐量。
（2）持續(xù)監(jiān)控和優(yōu)化整個數(shù)據(jù)鏈路的性能，解決生產(chǎn)環(huán)境中的技術(shù)難題。
二、職位要求
【必備條件】
1、經(jīng)驗與技能：
（1）計算機相關(guān)專業(yè)本科及以上學歷，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗。
（2）精通 Java 語言，具備良好的編程規(guī)范和工程化能力，能夠編寫高質(zhì)量、高性能的代碼。
（3）精通 Flink 實時計算框架，具有使用 Java API（非僅SQL）進行復雜業(yè)務(wù)開發(fā)的經(jīng)驗，同時熟練掌握 Flink SQL。
（4）精通 Spark 和 Hive SQL，有基于 Hadoop（YARN）生態(tài)進行大規(guī)模離線數(shù)據(jù)處理的實戰(zhàn)經(jīng)驗，了解 Tez 和 MapReduce 引擎原理。
（5）熟練使用 MySQL、Redis，理解其核心原理與應(yīng)用場景。
（6）熟練使用 Kafka，理解其架構(gòu)、吞吐量與可靠性保障機制。
（7）具備優(yōu)秀的 SQL 性能調(diào)優(yōu)能力，能夠解決數(shù)據(jù)傾斜等復雜問題。
2、項目經(jīng)驗：
（1）有處理日均 百億級別 數(shù)據(jù)量的成功項目經(jīng)驗，具備海量數(shù)據(jù)下的系統(tǒng)架構(gòu)設(shè)計和性能優(yōu)化能力。
（2）具備車聯(lián)網(wǎng)、物聯(lián)網(wǎng)或類似高并發(fā)、大數(shù)據(jù)量業(yè)務(wù)場景的項目背景者優(yōu)先。
【優(yōu)先考慮】
3.1 對 iceberg, paimon, doris, starrocks有實際使用和性能優(yōu)化經(jīng)驗者優(yōu)先。
3.2 理解 Lambda 或 Kappa 架構(gòu)，并有實際項目落地經(jīng)驗者優(yōu)先。
3.3 有大數(shù)據(jù)平臺任務(wù)調(diào)度系統(tǒng)（如 DolphinScheduler, Airflow）開發(fā)或管理經(jīng)驗者優(yōu)先。
3.4 具備一定的前端知識，能夠獨立完成簡單數(shù)據(jù)報表開發(fā)者優(yōu)先。