岗位描述
1、负责大模型部署架构设计,面向分布式推理、异构算力及 EPD 分离场景,优化部署拓扑、资源组织与跨组件协同机制。 2、负责请求调度与流量治理,结合请求特征、实例负载、缓存命中及服务等级,设计路由、排队和负载均衡策略。 3、负责端到端推理链路建设,优化请求接入、预处理、引擎交互与流式返回,降低通信和数据处理开销, 提升首 Token 延迟、输出流畅性与吞吐表现。 4、负责容量管理与弹性调度,设计容量评估、扩缩容、资源池化及多租户配额机制,在满足服务目标的前提下提升算力利用率、降低成本。 5、设计请求准入、过载保护、超时重试与背压机制,保障混合负载和突发流量下的公平性、资源隔离与系统稳定性。 6、建设服务发现、健康检查与故障切换机制,完善可观测性、压测及故障演练,推动线上问题治理。