如约见 · 技术研发 · 算法/AI

【蚂蚁星】多模态理解与生成评测算法研究-27届

蚂蚁集团 · 北京、杭州 · 薪资面议 · 更新于 2026/11/20

任职要求

学历:硕士及以上

岗位描述

我们聚焦实时多模态交互、数字人、虚拟环境、音视频生成等前沿 AI 场景,建设面向下一代多模态模型的评测算法与 Benchmark 体系。随着模型从“文本问答”走向 实时音视频理解、全双工语音交互、数字人生成、虚拟行为生成与多模态环境交互,传统静态评测已无法准确刻画模型能力。我们希望构建一套覆盖“理解 → 交互 → 生成 → 反馈”的多模态评估体系,帮助模型和产品持续发现能力边界、定位失败原因,并推动算法优化和产品体验提升。 重点研究方向: 1. 实时多模态理解评测: * 面向 audio-video-text 原生多模态模型,评估模型在连续音视频流中的理解能力; * 研究 streaming understanding、micro-turn understanding、audio-visual grounding、多轮上下文保持等能力评估方法; 2. 实时交互能力评测: * 评估模型在 full-duplex interaction、streaming speech-to-speech、turn-taking、barge-in、interrupt handling 等场景下的交互质量; * 设计首响延迟、首音频延迟、抢话率、漏听率、打断成功率、会话连续性等指标体系; 3. 多模态生成评测: * 面向 digital human、virtual avatar、talking head、full-body avatar、virtual environment、embodied behavior generation 等方向,评估生成内容的自然性、一致性和可控性; * 重点研究 lip-sync、audio-motion alignment、co-speech gesture、identity consistency、emotion/prosody consistency、temporal consistency 等评测方法; 4. 交互式生成评测: * 研究用户实时输入下,数字人、虚拟角色或虚拟环境是否能持续、稳定、可控地响应; * 评估用户中途打断、修改意图、切换任务、改变情绪或环境状态时,生成系统的响应质量; 5. 自动化 Judge 与评测可信度: * 探索 VLM Judge、Audio Judge、Multimodal Judge、LLM-as-Judge 在多模态评测中的应用; * 研究人评一致性、Judge 校准、Rubric 设计、评测偏差控制和评测结果可信度分析; 6. 多模态 Benchmark 建设: * 构建面向实时音视频交互、数字人、虚拟环境和多模态生成的高质量 Benchmark; * 解决静态测试集覆盖不足、主观体验难量化、真实用户场景不足、评测结果与产品体感不一致等问题。 岗位职责: 1. 设计面向实时多模态理解、交互和生成能力的评测指标体系与 Benchmark; 2. 构建音视频流式评测任务、数字人/虚拟环境交互任务、多模态生成任务等数据集; 3. 研发自动化评测方法,结合规则评分、模型裁判、人评校准和统计分析提升评测效率与可信度; 4. 分析多模态模型在理解、交互、生成、时序一致性、音画同步、行为自然性等方面的失败原因; 5. 跟踪 GPT-realtime、Gemini Live、SeedRealtime、Sora、Seedance、数字人、虚拟角色、世界模型等方向的前沿进展,并转化为内部评测方法; 6. 推动研究成果在真实业务中落地,产出评测基准、技术报告、专利、论文或开源项目。

蚂蚁集团其他在招岗位

同类在招岗位(技术研发)

岗位信息来自企业官方招聘渠道(antgroup-campus-talent-plan),由如约见每日自动同步; 如已下架可前往职位雷达用 AI 匹配相似岗位,或浏览招聘岗位大全。