岗位描述
- 参与 MiniMax 数据、后训练与评测 Infra 研发,解决海量多模态数据处理、训练实验和模型评测中的系统问题。可结合兴趣和基础,选择一个或多个方向深入。 你将参与的工作 1. 数据平台研发:建设面向模型研发的数据平台,开发数据集、元数据、版本与血缘管理,完善数据检索、质量分析及任务管理能力,支持数据追溯与实验复现。 2. 数据 pipeline 研发:开发多模态数据清洗、去重、质量打分及合成数据 pipeline,基于 Ray、Spark 等框架优化 CPU/GPU 混合任务的调度、吞吐与容错,支持大规模数据生产。 3. 湖仓与引擎研发:参与湖仓存储与查询引擎研发,深入列式存储、索引、查询执行与 I/O 优化,提升海量数据的扫描、过滤和检索效率,优化与 dataloader 的对接。 4. 后训练算法平台研发:围绕 SFT、偏好优化与 RL,开发训练、rollout、评测等任务的编排与运行管理,完善实验配置、模型与 Checkpoint 管理、监控和故障恢复,提升实验效率。 5. 算法工具链研发:和算法团队一起开发可复用的 rollout、reward 与评测组件,以及 SDK、CLI 和调试工具,支持算法组件接入、样本追踪、实验对比与 bad case 回流,加快新方法的实现与验证。 6. 评测 Infra 研发:开发评测集、指标与任务管理,优化分布式推理和结果汇总,支持多模型、多版本的自动化评测与回归,建设结果对比和 bad case 分析工具,支撑数据及后训练迭代。