岗位描述
岗位职责:1. 负责特定领域大模型应用产品的模型性能测评工作2. 深入剖析产品使用场景,开发自动化标注、抽取(或生成)测试语料数据工具,构建场景覆盖度高的benchmark测试集3. 基于产品应用场景特性,设计模型性能的多维度评价指标,形成完整的模型性能评价标准4. 设计与开发模型性能自动化评估算法,快速评估产品在实际应用中的效果,参与建设与维护自动化测试框架(根据测试过程反馈和 数据分析,不断优化评估算法或模型,逐步提高稳定性和高效性)职位要求:1. 熟悉基本测试方法理论,1-3年测试开发经验;优秀应届生也可投递2. 熟悉大语言模型的架构和工作原理2. 丰富的prompt编写经验,根据具体业务场景,快速写出高效的prompt3. 熟练Python脚本编程,熟练运用linux操作命令4. 熟练操作mysql/redis/es数据库命令5. 熟悉容器,K8S的运行原理与部署方法加分项:1. 是生成式 AI 和大模型产品(如ChatGPT、Qwen等)的重度用户者优先2. 参与过GPT类模型/大模型的数据搭建、模型优化、指令微调、偏好对齐等一系列算法优化工作的优先3. 参与大模型产品自动化测评经验者优先