技术研究-大模型加速

职责: 1. 负责大模型推理性能优化，包括CUDA Kernel开发、推测解码、低精度量化、模型结构优化等； 2. 优化多机多卡分布式训练流程，优化 Deepspeed Megatron-LM verl 等框架调优训练任务； 3. 解决大模型算法训练和推理部署瓶颈，助力大模型在各业务真实应用突破； 4. 参与大模型推理加速开源贡献工作，前沿系统技术跟进分析。