岗位描述
1）计算机、人工智能等相关专业，本科及以上学历。 2）8年以上基础设施、云原生、智算或算法平台架构设计或研发经验，熟悉云原生、智算平台、大模型训练/推理等领域。 3）精通Kubernetes、GPU容器运行时、Device Plugin、Hived、Volcano等云原生技术，具备大规模计算集群的设计、部署或运维经验。熟悉CI/CD流程，熟悉MLOps模型训练及推理的部署流程。 4）有GPU/国产算力集群的构建和优化经验，能够分析并解决分布式环境中的性能瓶颈，熟悉大规模训练和推理下的运维和排障，具备全链路可观测性设计能力和故障定位能力。 5）熟悉大规模智算集群的网络拓扑、通信协议(RoCE)与通信模式（如RDMA、NVLink、InfiniBand等），熟悉AllReduce、All-to-All等集合通信进行性能测试及调优。 6）有推理引擎设计或研发经验，熟悉vLLM、SGlang、TensorRT、Dynamo、MindIE等推理引擎，熟悉PD分离、大EP、AF分离、KVCache等推理加速技术。 7）出色的沟通能力，善于跨团队协作，具有支持多团队AI项目的经验。 职责: 1）负责智算平台规划与架构设计，结合BU业务场景，制定技术路线，明确智算平台、LLM训推及工具生态的核心功能与技术架构。 2）优化并提升模型训练(微调/强化学习)、模型推理算力使用率；深入优化平台资源管理及调度能力，包括GPU/国产算力、内存/显存、RDMA网络等，提升系统的可靠性、性能和扩展性。 3）LLM推理引擎优化，通过PD分离、EP并行、算子调优、网络或存储调优等技术提高推理引擎性能降低Tokens单位成本。 4）LLM全链路性能监控，建立性能指标体系（吞吐量、时延、资源利用率），输出调优方案、标准与自动化诊断工具。 5）负责LLM基础模型和配套推理引擎的引入、适配、优化及性能基线评测，为业务提供最优性价比的模型和推理引擎。 所属公司: 平安科技