岗位描述
1. 主导推理引擎技术选型与架构设计（vLLM/SGLang/TensorRT-LLM）2. 设计PD Disaggregation、Mooncake KV Transfer、HiCache三级缓存等高级推理架构3. 制定TP/PP/EP并行策略与MoE模型部署方案4. 推动INT4/FP8量化、MTP/投机解码等推理加速技术落地5. 与GPU厂商（NVIDIA、Moore Threads、华为）对接技术验证任职要求1. 5年以上大规模LLM推理系统经验，精通vLLM/SGLang/TRT-LLM内核2. 深入理解Transformer/MoE架构、KV Cache 机制、CUDA编程3. 有千卡以上集群推理部署实战经验4. 熟悉英伟达GPU架构及HBM内存管理5. 有PD分离架构或分布式KV Cache系统设计经验优先