岗位描述
- AI 质量评估框架与标准——建立并维护 LLM 的质量评估标准，涵盖准确性、安全性、合规性及指令遵循能力。——设计结合自动化与人工介入评估的评估流程，定期量化模型表现。——端到端质量控制与风险管理——负责模型迭代的回归测试与验收测试，执行质量门禁以防止上线前性能下降。——监控线上表现以挖掘 badcase，识别模型幻觉、逻辑错误或体验缺陷，并及时发出风险预警。——问题驱动的改进与闭环管理——主导质量问题的根因分析，精准判断故障源于数据、prompts 还是模型架构。——推动算法、产品及运营团队解决质量缺陷，跟踪修复率并开展复验，确保流程闭环。——跨职能协作——弥合业务需求与技术实现之间的差距，确保 AI 为用户交付真实价值。 - 教育背景：全日制本科及以上学历。——工作经验：3 年以上互联网产品运营经验。具备 LLM/AIGC 产品运营实操经验者优先。——专业技能：——精通 AI 评估方法论（如 Golden Dataset 构建、人工评估 SOP）。——对细节有敏锐洞察力（“捉虫”思维），能够从海量数据中挖掘潜在风险。——熟悉 Prompt Engineering，以复现或验证问题（侧重验证而非日常维护）。——软技能：较强的跨职能沟通能力；能够运用数据影响并推动跨职能伙伴解决复杂问题。——语言能力：英语书面及口语熟练。——优先资格：具备项目管理经验者优先。 发布日期：2026-10-26