岗位描述
研究领域： 数据合成与标注 项目简介： 本期研究主题：专家知识驱动的可验证数据合成、质量评估与目标模型感知的数据选择。 专业模型与智能体的数据建设，需要同时回答怎样生产可信数据，以及哪些数据对当前模型和目标任务更有用。专家经验若只保留为单条标注，难以在新任务中复用；自动合成与统一质量打分又容易遗漏关键错误、重复覆盖已有能力，甚至放大验证器偏差。数据通过质检、任务执行成功和训练后能力提高，是需要分别验证的三个问题。 本研究设置两个相互协作、可以独立完成的研究课题，每个课题配置1名研究实习生： 课题A：专家知识驱动的可验证数据合成与质量评估。研究如何把专家标准、正反例及分歧解释转成可更新的任务规范与验证规则，结合模型生成、自动验证和选择性专家复核，在固定专家预算下提高有效数据产出；从一个可核验任务族切入，校准验证器并用独立样本检验。 课题B：目标模型感知的数据选择与效用验证。研究如何结合模型表现、样本特征和低成本训练反馈，选择或重配对目标能力更有帮助的数据；固定目标模型、数据或训练预算，比较随机、相似度、难度或质量等简单强基线，通过受控后训练与独立评测检验收益及其他能力回归。 优先选择办公、代码或具备专家与验证条件的医疗、金融任务。两名实习生分别对具体研究假设、方法与实验负责，不要求完成整套生产或训练平台。 研究价值：把专家判断转成可复用、可修订的方法，并验证这些方法能否提高单位专家投入的有效数据产出；进一步建立面向特定模型与目标能力的数据选择方法，以实际训练与独立评测区分数据质量和学习收益。两条课题共同形成从高质量候选数据到有效训练数据的研究依据，支持不同任务复用经验证的方法，而非承诺统一的数据价值评分。