岗位描述
1、负责AI评测体系的设计与落地,覆盖文本对话、语音助手、长任务规划等场景,建立可度量、可复用的评测框架与指标体系。 2、主导评测方案设计,负责构建评测数据集与评分标准,确保评测结论能够可置信。 3、基于AICoding工具开发评测脚本与工具链,包括评测数据构造脚本、自动化评测执行脚本、指标计算与统计分析脚本,推动评测流程自动化与批量化。 4、深度使用与体验手 机助手AI产品,基于真实用户场景和Bad Case分析,敏锐识别质量短板与算法缺陷,输出有指导意义的评测分析报告,推动相关团队持续优化。