多模态理解和生成统一的前沿应用研究-阿里星

1、多模态理解：负责图文/视频/音频理解相关的算法研发，提升模型对复杂多模态场景的语义分析和推理能力； 2、多模态生成：开发基于 Diffusion Model 或 Autoregressive 架构的生成算法（如 Text-to-Image, Text-to-Video），优化生成的质量、多样性与可控性； 3、研究多模态理解和生成统一的数据组织、训练范式等难点问题，大规模多模态理解和生成的训练和应用。