岗位描述
【27届校招】大模型评测算法工程师 北京、深圳、上海等 4 个城市 校招 正式 研发 - 算法 27届校园招聘 职位 ID：A59501 1、评测体系设计： 设计面向 LLM Agent 的多维度评测框架，覆盖任务规划、工具调用、记忆管理、多轮推理、长程决策等核心能力，并针对 Code / Browser / GUI / Multi-Agent 等场景定制专项方案； 2、评测集构建：主导高质量评测集的采集、标注、合成与难度分级，持续迭代以防 止数据污染与过拟合； 2、 指标与方法研究：落地 LLM-as-a-Judge、Rubric-based、Process Reward、Trajectory 评测等方法，探索鲁棒性、安全性、成本等综合指标； 3、评测平台建设：搭建自动化评测流水线，支持大规模并行评测、Trace 分析与 Bad Case 归因，建立 Benchmark Leaderboard。