日常实习生-预训练模型架构与优化算法方向-Qwen基础模型

1. 模型架构探索：面向大语言模型及多模态模型预训练，开展 Attention、MoE、Embedding、Residual、多模态编码器等核心模块的设计与优化，探索动态计算、参数复用等方法，提升模型能力与训练、推理效率。 2. 优化算法与训练方法：研究优化器、初始化、参数化及训练策略，探索 Scaling Law 与超参数迁移规律，改善模型收敛效率，提升不同模型规模与训练预算下的效果。 3. 低精度训练与稳定性：研究 FP8/FP4 等低精度训练方法，分析激活值与梯度 outlier、loss spike 及数值误差，协同优化模型结构与训练算法，在保持模型效果的前提下提升训练效率与稳定性。 4. 实验验证与落地：开展从小规模消融到大规模预训练的实验验证，综合评估方案对模型效果、训练效率、稳定性及推理成本的影响，与训练及推理工程团队协作，推动有效方案在主线模型中落地。