岗位描述
我们做什么 在这里，你将参与自研大模型推理引擎从 0 到 1 的建设，亲手优化千亿/万亿级参数模型的推理性能，让每一次回答更快、更准、更省算力。 同时，你会基于 Kubernetes（K8s）与云平台，把大模型推理能力做成稳定、弹性、可观测的在线服务，接触真实业务场景，挑战 AI Infra 行业前沿问题。 岗位职责 参与大模型推理引擎核心模块的设计与开发 ，提升系统吞吐、降低推理延迟与成本； 探索并落地先进的大模型推理加速方案，如量化、KV Cache、PagedAttention、连续批处理、投机解码、分布式推理、算子优化等； 参与推理平台与云平台建设：基于 Kubernetes/K8s、Docker、云原生技术，实现模型部署、弹性扩缩容、灰度发布、多租户资源隔离、监控告警、日志追踪与 CI/CD； 参与 GPU/NPU 资源调度与集群利用率优化，提升推理服务稳定性与云平台资源管理效率； 跟踪开源社区（如 vLLM、TensorRT-LLM、SGLang、LMDeploy 等）前沿动态，完成技术调研、验证与落地； 与算法、业务和平台团队协作，优化端到端推理体验。