岗位描述
1、大规模训练策略设计: 研究并设计适用于海量数据的高效训练方法论,包括但不限于梯度裁剪&累积,学习率&bs动态调整,数据配比(Data Mixing)的最优方案,在保证模型收敛质量的前提下显著提升训练效率。 2、增量式训练算法研究与创新: 专注于增量式训练与持续学习(Continual Learning) 的算法设计,深入研究: 3、模型结构动态扩展(Model Growth):设计对Transformer架构的智能扩增算子,以及函数行为一致性。 4、知识巩固与抗遗忘机制:设计新型的正则化约束、经验回放策略或参数隔离方法,解决灾难性遗忘问题。 5、Machine Unlearning:设计高效训练策略解决对特定数据的精准遗忘问题。 6、训练数据策略优化:研究不同阶段(预训练、新车型拓展、后训练对齐)的数据分布变化对模型性能的影响,提出最优的数据调度策略。