大模型技术工程师

1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。 3、负责端侧大模型量化算法的研究与开发，包括但不限于低比特量化、混合精度量化等，提升模型推理效率，降低计算资源消耗 4、 搭建和优化大模型量化工具链，实现量化流程的自动化和高效化，提高整体研发效率