【崗位職責(zé)】
1 、模型架構(gòu)實(shí)現(xiàn)與代碼開(kāi)發(fā)
根據(jù)模型設(shè)計(jì)高級(jí)工程師的架構(gòu)方案,負(fù)責(zé)將前沿的具身大腦模型(如多模態(tài)Transformer、世界模型、VLA模型等)轉(zhuǎn)化為高質(zhì)量、高性能的代碼。使用PyTorch等主流深度學(xué)習(xí)框架,實(shí)現(xiàn)模型的網(wǎng)絡(luò)結(jié)構(gòu)、前向/后向傳播、損失函數(shù)、數(shù)據(jù)處理等核心模塊。
2 、訓(xùn)練Pipeline構(gòu)建與優(yōu)化
構(gòu)建高效、可擴(kuò)展的模型訓(xùn)練Pipeline,包括數(shù)據(jù)加載與預(yù)處理、分布式訓(xùn)練、混合精度訓(xùn)練、梯度累積等,確保大規(guī)模模型訓(xùn)練的穩(wěn)定性和效率。負(fù)責(zé)訓(xùn)練過(guò)程的監(jiān)控、調(diào)試和參數(shù)調(diào)優(yōu),使用Weights & Biases (WB)、MLflow等工具進(jìn)行實(shí)驗(yàn)管理和結(jié)果分析,快速定位并解決訓(xùn)練中的問(wèn)題。
3、 多模態(tài)數(shù)據(jù)處理與集成
負(fù)責(zé)處理和融合來(lái)自不同來(lái)源的多模態(tài)數(shù)據(jù)(如圖像、點(diǎn)云、語(yǔ)言指令、關(guān)節(jié)狀態(tài)、力反饋等),開(kāi)發(fā)高效的數(shù)據(jù)加載器和預(yù)處理腳本。與數(shù)據(jù)樣本工程師協(xié)作,確保數(shù)據(jù)格式、標(biāo)注質(zhì)量與模型訓(xùn)練需求無(wú)縫對(duì)接。
4 、模型評(píng)估與基準(zhǔn)測(cè)試
實(shí)現(xiàn)模型的評(píng)估腳本,在標(biāo)準(zhǔn)基準(zhǔn)(如Libero、CALVIN、RT-1等)和團(tuán)隊(duì)內(nèi)部任務(wù)上對(duì)模型進(jìn)行性能測(cè)試,生成詳細(xì)的評(píng)估報(bào)告。負(fù)責(zé)模型的性能分析,識(shí)別模型瓶頸,為模型設(shè)計(jì)工程師的迭代優(yōu)化提供數(shù)據(jù)支持和可行性建議。
5 、工程化部署與支持
負(fù)責(zé)模型的工程化封裝,提供清晰的API接口,支持模型在仿真環(huán)境和真實(shí)機(jī)器人上的推理部署。與本體適配工程師、仿真工程師緊密協(xié)作,解決模型在部署過(guò)程中遇到的兼容性、性能等問(wèn)題,確保端到端系統(tǒng)的順暢運(yùn)行。
【崗位要求】
1 、學(xué)歷與專(zhuān)業(yè)背景
計(jì)算機(jī)科學(xué)、人工智能、自動(dòng)化、電子工程等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,擁有2年以上深度學(xué)習(xí)模型開(kāi)發(fā)經(jīng)驗(yàn)。
2 、核心編程與工程能力
精通Python,具備扎實(shí)的編程基礎(chǔ)和良好的代碼風(fēng)格,熟悉面向?qū)ο缶幊獭?
精通PyTorch框架,深入理解其核心原理,有從零實(shí)現(xiàn)復(fù)雜神經(jīng)網(wǎng)絡(luò)模型的經(jīng)驗(yàn)。熟悉TensorFlow者加分。熟悉Linux開(kāi)發(fā)環(huán)境,熟練使用Git進(jìn)行版本控制,有Docker使用經(jīng)驗(yàn)者優(yōu)先。
3、 模型與算法認(rèn)知
深入理解至少一種主流模型架構(gòu),如Transformer、CNN、RNN等,并了解其在視覺(jué)、語(yǔ)言或多模態(tài)領(lǐng)域的應(yīng)用。熟悉深度學(xué)習(xí)的基本概念,如反向傳播、優(yōu)化器、損失函數(shù)、正則化等,并對(duì)強(qiáng)化學(xué)習(xí)、擴(kuò)散模型等有基本了解。
4 、具身智能領(lǐng)域經(jīng)驗(yàn)
對(duì)具身智能有濃厚興趣,了解VLA(視覺(jué)-語(yǔ)言-動(dòng)作)模型的基本概念,熟悉RT-1/2、OpenVLA、ACT等至少一種具身智能模型者優(yōu)先。有處理機(jī)器人相關(guān)數(shù)據(jù)(如圖像序列、關(guān)節(jié)軌跡、語(yǔ)言指令)的經(jīng)驗(yàn),或使用過(guò)ROS/ROS2者優(yōu)先。
5 、大規(guī)模訓(xùn)練與系統(tǒng)經(jīng)驗(yàn)
具備分布式訓(xùn)練的實(shí)踐經(jīng)驗(yàn),熟悉多GPU、多節(jié)點(diǎn)的訓(xùn)練配置和優(yōu)化(如使用torch.distributed)。有處理大規(guī)模數(shù)據(jù)集的經(jīng)驗(yàn),了解數(shù)據(jù)加載、存儲(chǔ)和I/O優(yōu)化的常見(jiàn)方法。
6 、軟技能與綜合素質(zhì)
具備優(yōu)秀的工程實(shí)踐能力和問(wèn)題解決能力,能夠?qū)?fù)雜的理論設(shè)計(jì)轉(zhuǎn)化為穩(wěn)定、高效的工程代碼。具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神,能夠清晰地表達(dá)技術(shù)問(wèn)題,并與不同角色的同事高效協(xié)作。學(xué)習(xí)能力強(qiáng),對(duì)新技術(shù)充滿熱情,能夠快速跟進(jìn)領(lǐng)域內(nèi)的最新進(jìn)展。