岗位描述
研究领域： 大模型 项目简介： 本期研究主题：真实任务的大模型体验评测与行为诊断。 大模型在知识问答和单轮任务上的表现，不能完整反映其在真实多轮工作中的交付质量、协作判断和用户投入。实际任务中，模型可能遗漏仍然有效的要求、沿用过期信息、在局部修改中破坏其他内容，或未验证结果便宣称完成；开放性任务还需要评价分析、取舍和表达 质量。仅看最终答案或依赖单一模型评分，容易混淆任务失败、评价误判及工具或上下文问题。 本研究围绕真实任务的大模型体验评测与行为诊断展开，选取办公、代码或专业分析中的一个代表性任务族，结合授权案例与受控变体，研究可验证结果检查、证据驱动的细粒度评价及模型失败模式发现。金融、医疗等场景可用于专业验证，具体任务按数据和专家条件确定。 重点研究：1）如何将任务验收、跨轮行为与时间成本分开测量，避免相关指标重复计数；2）如何结合可执行验证、专家判据和经校准的模型评判器，降低风格、篇幅及答案形式带来的误判；3）如何从少量错误中形成可解释假设，并通过正常对照、独立变体和重复运行检验其是否稳定。每位实习生聚焦一个可证伪的问题，不要求独立建设完整评测平台。 研究价值：形成更可信的真实任务评测与模型行为诊断方法，帮助区分可复现的模型缺陷、评价误判及工具或上下文限制，为模型选择与后续数据改进提供依据。研究以独立样本上的验证和适用边界为核心，不以题库数量或统一体验总分替代研究价值。