岗位描述
负责 YiliBuddy 智能体产品的测试与评测工作,覆盖日常功能测试、接口测试、版本回归、缺陷跟踪和问题复测,参与需求分析、测试用例设计、测试执行及验收报告编写;基于 Langfuse 开展智能体效果评测,完成场景梳理、评测数据集构建与评审、批量评测、评分完整性检查、失败原因分析、问题反馈、复测及评测报告输出;开展 UI 自动化测试建设,梳理核心页面和用户操作路径,使用 Playwright、Selenium 等工 具开发并维护自动化脚本,实现执行日志、截图和失败证据留存;开展评测自动化能力建设,逐步实现数据集生成与处理、批量评测触发、运行状态查询、评分结果采集、异常识别、失败分类及报告生成等工作的自动化。 服务团队需对 AI 测试、大模型及智能体效果评测有较强兴趣和持续学习意愿,能够按照项目安排提供驻场服务;具备较完整的软件测试和质量分析能力,熟悉接口测试及常用测试工具,掌握 Python 或 JavaScript,至少熟悉 Playwright、Selenium 等一种 UI 自动化框架,能够独立分析日志、处理接口数据并定位问题。有大模型、智能体、RAG、工具调用、多轮对话测试经验,或使用过 Langfuse 等大模型可观测及评测平台者