岗位描述
AI Infra工程师 此职位存在多个岗位方向，请点击进入详情页查看 杭州市,郑州市,深圳市,西安市 研发类 1、负责大模型/深度学习模型在AI硬件平台上的推理部署、性能调优和交付落地，提升吞吐、降低延迟和资源成本。 2、负责 vLLM、TGI、TensorRT-LLM、MindIE 等推理框架的适配、优化和问题定位。 3、设计并落地量化、混合精度、蒸馏、剪枝、算子融合、KV Cache 优化等推理加速方案。 4、定位并解决推理过程中的性能瓶颈、精度下降、显存不足、算子不支持、服务稳定性等复杂问题。 5、沉淀推理调优方法论、Benchmark 规范、最佳实践和交付文档，支持重点 客户项目落地。