岗位描述
我们正在构建面向前沿大模型的高性能推理引擎，围绕 GPU 与异构加速器上的计算、通信、存储和调度，优化真实业务中的吞吐、首 Token 延迟、逐 Token 延迟与服务成本。 实习期间，你将结合兴趣与技术积累，深入参与以下一个或多个核心方向： 1.投机解码与算法–系统协同优化：研究与实现 MTP、EAGLE 等投机解码方案，优化草稿生成、并行验证与执行调度；分析接受率、额外计算开销和实际加速收益，解决不同请求长度与并发负载下的性能问题。 2.分布式 KV Cache 与多级存储：参与 GPU 显存、主机内存及 SSD 上的多级 KV Cache 系统设计，优化缓存复用、淘汰、预取与跨节点传输；结合 RDMA、异步 I/O 等技术，降低长上下文和多轮对话场景的重复计算与数据搬运开销。 3.分布式推理架构与调度：参与 Prefill/Decode 分离、张量并行、专家并行及多副本调度优化，研究缓存感知路由、负载均衡与计算通信重叠，解决排队、通信和跨节点 KV 传输瓶颈。 4.GPU 算子与执行优化：围绕 Attention、MoE、低精度计算等关键路径，开展 CUDA / Triton kernel、算子融合、CUDA Graph 和访存优化，提升不同模型结构与负载下的执行效率。 5.性能分析与工程落地：深入 vLLM、SGLang 等推理框架源码，建立可复现的性能评测与正确性验证，将优化落实到真实请求的延迟、吞吐和资源成本，并参与开源贡献。