職位描述:
1、利用 Coze 等智能體/工作流開(kāi)發(fā)平臺(tái)、大模型 PE 工具,建設(shè)自動(dòng)評(píng)估框架與流程,對(duì)模型評(píng)估進(jìn)行提效;
2、發(fā)現(xiàn)人工評(píng)估提效現(xiàn)存的卡點(diǎn),構(gòu)想方案推動(dòng)優(yōu)化,參與人工評(píng)估與自動(dòng)評(píng)估數(shù)據(jù)的交叉驗(yàn)證,反饋?zhàn)詣?dòng)評(píng)估的效率及質(zhì)量;
3、根據(jù)業(yè)務(wù)目標(biāo)制定評(píng)測(cè)方案、建設(shè)評(píng)估數(shù)據(jù)集,并能夠站在用戶視角和模型視角構(gòu)建理想態(tài)答案并拆解考察點(diǎn);
4、對(duì)模型回復(fù)效果或搜索效果進(jìn)行定性和定量的評(píng)估分析,從全鏈路中拆解問(wèn)題進(jìn)行分析,幫助產(chǎn)研側(cè)定位問(wèn)題并推動(dòng)優(yōu)化。
職位要求:
1、本科以上學(xué)歷,有相關(guān)評(píng)測(cè)經(jīng)驗(yàn)和 AI 產(chǎn)品經(jīng)驗(yàn)優(yōu)先;
2、有較強(qiáng)的搜索能力,會(huì)使用大模型產(chǎn)品,善于站在用戶視角評(píng)估使用體驗(yàn),有競(jìng)品分析經(jīng)驗(yàn)優(yōu)先;
3、在較多垂直領(lǐng)域有很好的涉獵,能夠剖析領(lǐng)域相關(guān)問(wèn)題者優(yōu)先;
4、對(duì)數(shù)據(jù)敏感且擅長(zhǎng)數(shù)據(jù)分析,有較強(qiáng)的文字理解及歸納能力者優(yōu)先;
5、做事細(xì)心,較強(qiáng)的溝通協(xié)作能力、執(zhí)行力、復(fù)盤(pán)思考以及抗壓能力。