如约见 · 技术研发 · 算法/AI

资深 AI 评测岗(大模型 / Agent)

小红书 · 北京市、上海市、杭州市 · 薪资面议 · 更新于 2026/11/21

岗位描述

1、有模型评测或 AI 应用效果评估相关的实际经验,能够从具体场景出发设计评测,而不只停留在通用指标或 benchmark。 2、理解大模型的能力边界,能把业务需求转化为可测试的模型要求,并判断问题更可能来自模型还是应用链路。 3、具备良好的分析和判断能力,能从评测结果中识别关键问题,并推动相关团队采取行动。 4、能与模型、产品和业务团队有效协作,适应快速变化的业务场景。 加分项: 有大模型团队的训练或评测体系经验,同时也经历过创业团队或快速迭代环境。 有从零搭建场景评测集、持续用于模型或产品迭代的经验。 能用代码或脚本亲自完成评测相关工作。 职责: 1、建设场景评测方案:理解业务 use case,将真实需求拆解为可执行的评测任务、评价标准和评测集,并持续维护与完善。 2、评估模型能力与边界:结合具体场景提出模型能力要求,设计评测方式,分析模型表现,判断问题主要来自模型能力还是应用链路。 3、推动评测驱动迭代:与模型、产品及业务团队协作,将评测结果转化为清晰的问题判断和改进方向,并跟进迭代效果。 4、沉淀评测方法:结合不同场景总结可复用的评测思路与标准,提升评测结论对模型选型和产品迭代的参考价值。 5、参与评测实践:评测集建设、测试执行与结果分析,提升评测工作的效率和可复现性。 发布时间: 2026-11-20

小红书其他在招岗位

同类在招岗位(技术研发)

岗位信息来自企业官方招聘渠道(xiaohongshu),由如约见每日自动同步; 如已下架可前往职位雷达用 AI 匹配相似岗位,或浏览招聘岗位大全。