MaaS 的高效资源调度与系统设计-阿里星

1、参与 MaaS（Model as a Service）推理平台核心系统的设计与建设，面向大规模模型服务场景，打造高性能、低延迟、高吞吐的推理基础设施； 2、参与 GPU / CPU / 网络等异构算力资源的高效调度系统设计，构建面向大模型推理任务的资源编排与调度能力，实现资源利用率与服务质量的最优平衡； 3、设计并实现面向 LLM 推理场景的关键系统组件，包括请求调度、批处理优化、推理并行策略、缓存与上下文管理等核心机制； 4、参与构建大规模模型服务平台的系统架构，包括模型部署、服务治理、流量调度、容量管理与自动扩缩容等核心能力； 5、通过系统架构优化与工程创新，持续提升推理系统在 性能、稳定性与成本效率 方面的表现，支撑大规模 AI 应用的稳定运行。