崗位職責:
1、負責云平臺大數據系統的開發(fā)和維護,包括數據采集、存儲、處理和分析;2、使用大數據技術棧(如Hadoop、Spark、Flink等)構建數據處理管道,支持實時和離線數據分析;
3、設計和優(yōu)化大數據平臺的架構,提升系統的性能、可擴展性和可靠性;
4、開發(fā)和維護ETL流程,確保數據的準確性、完整性和及時性。
崗位要求:
1、3-5年大數據開發(fā)經驗,熟悉大數據生態(tài)系統(如Hadoop、Spark、Hive、Kafka等);
2、熟悉至少一種編程語言(如Java、Scala、Python等),具備良好的編程能力;
3、熟悉分布式計算和存儲原理,了解大數據平臺的架構設計;
4、熟悉SQL和NoSQL數據庫(如MySQL、PostgreSQL、HBase、Cassandra等);
5、具備數據倉庫設計和開發(fā)經驗,熟悉EIL工具和流程;
6、具備良好的問題分析和解決能力,能夠獨立完成復雜任務。