岗位描述
1、负责 AI评测平台的整体架构设计与核心功能开发，构建集评测任务调度、数据管理、标注平台、结果分析及可视化报表于一体的一站式评测系统。支持大规模评测任务的并发执行、异步处理和失败重试机制，保障平台稳定性。 2、参与构建评测数据生成引擎，利用大模型/Agent能力自动化生成评测脚本、评测数据集及对抗性测试用例；建设评测数据中台，实现多模态数据集 （文本、图片、音频等）的版本管理、存储与检索。 3、参与开发基于 LLM-as-a-Judge 的自动化评测模块，将主观质量、安全性、逻辑一致性等软性指标转化为可配置的LLM裁判模型，并设计校验与校准机制保障评判准确性。 4、参与建设端到端Trace链路追踪与智能归因系统，对AI请求的全链路（用户输入→意图识别→模型推理→结果生成）进行埋点与透视，开发异常检测与自动归因分析能力，精准定位质量波动根因。