岗位描述
研究领域： 面向智能计算的基础系统软件 项目简介： 数据中心计划引入 RTX PRO 系列 GPU，用于承载轻量大模型推理，探索降低推理成本的可能性。这类硬件采用 GDDR 显存和 PCIe 卡间互联，与使用 HBM、高速卡间互联的数据中心 GPU 在访存和通信能力上存在明显差异，现有推理配置和优化方法的适用性需要通过实际测试重新评估。 本项目拟选择 一个代表性的 Flash 类模型和一个实际业务场景，按照真实请求的输入输出长度、并发量和时延要求建立性能基线。初步计划先统计业务流量，判断 Decode 和 Prefill 哪个阶段占主导；当前假设以 Decode 为主要切入点，Prefill 作为对照。原因是 Decode 通常反复读取模型权重和 KV Cache，算术强度较低，更容易暴露 GDDR 显存、Kernel 启动、运行时调度和通信策略带来的瓶颈。如果实际流量是长输入、短输出或离线批量任务，研究重心应调整为 Prefill 或端到端请求处理。 在 Roofline 分析的基础上，结合实际性能剖析建立并验证性能模型，用于解释瓶颈、指导配置和实施针对性优化。优化方案在实际推理服务中完成接入，通过离线回放、压测和小规模生产灰度，验证性能、稳定性及成本收益，明确 RTX PRO GPU 的适用场景和部署边界。