崗位職責(zé):
1、負(fù)責(zé)云平臺大數(shù)據(jù)系統(tǒng)的開發(fā)和維護,包括數(shù)據(jù)采集、存儲、處理和分析;2、使用大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink等)構(gòu)建數(shù)據(jù)處理管道,支持實時和離線數(shù)據(jù)分析;
3、設(shè)計和優(yōu)化大數(shù)據(jù)平臺的架構(gòu),提升系統(tǒng)的性能、可擴展性和可靠性;
4、開發(fā)和維護ETL流程,確保數(shù)據(jù)的準(zhǔn)確性、完整性和及時性。
崗位要求:
1、3-5年大數(shù)據(jù)開發(fā)經(jīng)驗,熟悉大數(shù)據(jù)生態(tài)系統(tǒng)(如Hadoop、Spark、Hive、Kafka等);
2、熟悉至少一種編程語言(如Java、Scala、Python等),具備良好的編程能力;
3、熟悉分布式計算和存儲原理,了解大數(shù)據(jù)平臺的架構(gòu)設(shè)計;
4、熟悉SQL和NoSQL數(shù)據(jù)庫(如MySQL、PostgreSQL、HBase、Cassandra等);
5、具備數(shù)據(jù)倉庫設(shè)計和開發(fā)經(jīng)驗,熟悉EIL工具和流程;
6、具備良好的問題分析和解決能力,能夠獨立完成復(fù)雜任務(wù)。