岗位描述
1. 跟踪大模型及 AIGC 前沿进展，深入理解从数据构建、模型训练与能力对齐，到推理部署和应用迭代的完整研发链路，识别不同阶段的关键评测问题与质量目标。 2. 围绕模型能力和真实业务需求，建立基础模型、多模态、语音、Agent 等方向的能力评测框架，明确评测维度、质量标准和决策指标，覆盖效果、稳定性、鲁棒性、安全性及用户体验等方面。 3. 针对不同研发阶段、应用场景和评测目标，设计 科学、有效、可复现的评测方案，建设评测集、任务环境和评测流程；结合公开 Benchmark、真实任务、人工评测与自动化评测，全面衡量模型能力及其变化。 4. 结合模型训练与迭代过程，分析不同版本及实验方案的评测结果，识别模型能力变化、典型失败模式和潜在风险，为数据构建、训练策略、能力对齐和推理优化提供评测依据。 5. 基于评测结果提出有针对性的模型改进建议，推动相关团队完成优化，并通过评测验证改进效果，形成“发现问题—分析原因—推动改进—效果验证”的闭环。 6. 探索 LLM-as-a-Judge、自动化红队、对抗评测、合成数据、Agent 任务环境等前沿方法，推动评测平台、数据体系和分析工具的自动化、标准化与规模化。