岗位描述
团队介绍： 我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。 1. 设计并落地量化与稀疏化压缩算法，解决大模型推理显存瓶颈，提升性能指标； 2. 针对异构硬件平台特性制定适配策略，保障压缩算法在多芯 片架构高效部署与稳定运行； 3. 建立KV Cache压缩精度评测机制，量化分析方案收益与损失，支撑算法选型与迭代； 4. 推进压缩算法与上层推理框架集成，解决工程兼容性问题，确保压缩能力在完整链路生效； 5. 梳理KV Cache压缩方法论与最佳实践，探索中长期技术演进，牵引团队能力提升。