岗位描述
1、参与大模型推理引擎与高并发在线服务的研发、部署与极致性能优化，支撑百万级 QPS 的稳定服务； 2、研究并落地量化、蒸馏、稀疏化、投机解码、KV Cache 管理等推理优化技术； 3、深度分析算子、计算、通信与显存瓶颈，持续优化吞吐、首 Token 时延、端到端时延、显存占用与单位 Token 服务成本； 4、开发高性能 CUDA 算子与推理内核， 适配新一代硬件架构，探索非 Transformer 模型的高效推理方案； 5、建设弹性扩缩容、流量调度、故障自愈与全链路可观测体系，保障线上推理服务的高性能、高质量与高可用性。