岗位描述
1. 参与大模型推理框架的设计与开发：协助团队进行支撑大语言模型、图像生成等复杂模型推理的高性能框架研发，推动算法到产品落地的全链路优化，确保推理的高效性、稳定性和低延迟。 2. 性能优化与调优：在资深工程师指导下，参与优化内存管理、计算资源分配与调度策略，提升模型推理速度和资源利用率。学习并使用性能分析工具（如Nvidia Nsight）进行瓶颈定位和优化。 3. 模型推理加速技术探索：学习并应用业界前沿的推理优化技术，KV Cache优化、模型量化（Quantization）、剪枝（Pruning），跨机分布式推理优化等。