如约见 · 技术研发 · 算法/AI

网商银行-大模型与Agent评测工程师-杭州/北京/上海

网商银行 · 杭州 · 薪资面议 · 更新于 2026/11/15

任职要求

经验:3年以上学历:本科及以上

岗位描述

团队介绍: 岗位归属于网商银行智能服务技术部,致力于以大模型与Agent技术重塑小微金融服务范式,助力AI银行实践。我们以"AI驱动、服销一体化"为核心,打造面向亿级信贷与理财客户的下一代全域智能服务体系。我们是一个怀揣AI技术梦想的团队,成员包括多位来自清华、卡内基梅隆、北大、复旦、上交、浙大等知名院校的硕、博同学,AI技术气氛佳、团队热情友好。 岗位描述: 1. 评测体系与Benchmark建设:面向AI客户经理、AI风险经理、AI金融管家等核心智能体,抽象信贷、理财、票据等场景的真实任务,把业务专家的分析逻辑、服务规范与合规规则沉淀为可泛化、可规模化的Rubric/Checkpoint;从真实流量、典型任务、长尾与高风险Case构造有代表性的金融智能服务评测集,持续提升智能体专业力与事实准确性。 2. 评测标准与多路Judge设计:联合业务专家、产品、算法团队,将专业判断转化为原子、可追溯的评测标准;围绕金融多维度,组合LLM/Agent Judge、金融事实核验、规则/Python Judge、Voice与Trace Judge等多路判分,并结合专家Gold持续校准,提升评测可信度;跟踪SWE Bench、Terminal Bench、GAIA等主流Agent评测Benchmark并完成本地化落地。 3. Agentic评测与轨迹归因:设计并执行大模型Agent的全流程评测(功能/性能/效果/稳定性),重点覆盖长程任务、多轮共情、意图澄清与拒答、工具调用、记忆机制等Agentic能力;梳理Agent决策链路与工具调用轨迹,区分模型错误、金融口径差异、检索供给错误、工具故障与Judge误判,形成结构化归因报告并推动闭环。 4. 评测工程与工具平台:基于工程能力搭建自动化评测框架与线上case采集录制能力,优化评测流程与工具性能;开发适配算法服务的测试工具(评测数据集构造、模型效果评估、性能压测等),通过同口径A/B、配对实验、置信区间与噪声基线判断版本变化是否真实,支撑Agent版本快速迭代验证。 5. 前沿探索:跟踪大模型及Agent评测领域前沿技术(LLM-as-a-Judge、多LLM投票打分、few-shot评测、后训练阶段评测等),引入先进评测方法、工具与指标,持续提升评测体系的专业性与前瞻性。

网商银行其他在招岗位

同类在招岗位(技术研发)

岗位信息来自企业官方招聘渠道(b3-mybank-social),由如约见每日自动同步; 如已下架可前往职位雷达用 AI 匹配相似岗位,或浏览招聘岗位大全。