模型推理量化专家49362

1、主导设计面向高通骁龙平台的下一代端侧大模型推理引擎，解决内存、功耗与实时性的极致约束。 2、深入利用高通AI引擎，进行算子级、图级的极致性能优化。 3、精通并深度定制高通AI软件栈，实现模型的高效部署。 4、主导大模型向端侧的量化、剪枝、知识蒸馏等流程，在精度与性能间取得最佳平衡。 5、优化模型转换与编译流水线，确保模型文件的高效、无损转换。 6、研究与落地适用于端侧的投机采样持续管理与压缩、注意力机制优化等关键技术。 探索模型分片、持续学习与个性化在资源受限设备上的可行性方案。