下一代多模态大模型架构研究实习生｜Loop Transformer 方向

1、参与 Loop Transformer 核心架构研究，探索参数共享、循环计算、状态迭代和动态深度等模型设计。 2、研究 参数规模、模型深度、Loop 次数与计算量 之间的关系，探索区别于传统参数 Scaling 的新型 Compute Scaling 路径。 3、研究 Loop Transformer 的训练与优化机制，分析不同循环阶段的 Representation、Activation 和 Gradient 演化，解决训练稳定性和能力退化等问题。 4、将新型架构应用于 图像生成和视频生成模型，结合 Diffusion Transformer、Flow Matching、Autoregressive Generation 等范式进行验证。 5、探索 Loop Transformer 在 统一多模态模型 中的应用，研究不同模态和任务之间的参数共享、计算共享与统一 Backbone 设计。 6、开展系统性的 Architecture Ablation 和 Scaling Experiment，研究模型深度、宽度、Loop 设计、Token 数量和计算预算等因素对模型能力的影响。 7、跟踪并推进 Loop Transformer、生成模型架构和多模态基础模型方向的前沿研究，完成算法设计、实验验证、效果分析和大规模训练迭代。