岗位描述
一、岗位职责1、主导测试知识库搭建,负责用例生成、测试执行、结果审核三项能力的全链路建设,推动测试从人工执行转为AI驱动;2、建立度量体系,定义并跟踪测试设计耗时、执行耗时、采纳率、缺陷逃逸率等指标,用数据验证能力建设成效并驱动迭代;3、评测资产与标准化沉淀,建设评测基准集(Golden Set)、评分rubric、回归用例库,沉淀可复用的标准化SOP,支撑产品线与团队快速 迭代;4、参与智能问数、知识检索问答、Agent平台等产品的测试方案、测试策略的制定,保障产品质量;5、带动现有测试团队成员从执行转向策略设计与AI产出审核,与研发、算法、产品共建质量标准,推动质量左移的开展;二、任职要求1、本科及以上学历,计算机、软件工程、人工智能等相关专业;5年以上测试经验,其中至少1年AI或LLM应用测试、AI测试工具建设经验;2、具备Agent或Skill类产品测试实战经验,熟悉工具调用、任务编排、多轮会话类产品的测试方法与典型坑;3、掌握LLM应用评测方法:评测集构建、Prompt评测、LLM-as-judge、人工rubric打分、A/B对比;4、熟练使用Python,能自建测试工具、脚本与评测流水线;5、理解RAG与Agent的基本技术原理(向量检索、chunk策略、function calling、多步推理)