岗位描述
从芯片、硬件与 Infra 的系统视角,让面壁模型及 Agent 在不同硬件平台上运行得更高效、稳定、流畅。既优化模型推理,也关注 Agent 调度、工具执行与端到端体验,并建设可衡量、可观测、可持续改进的工程基础设施。 职位描述 1. 负责面壁模型与 Agent 在目标硬件平台上的部署适配、运行支撑及性能优化,结合 CPU/GPU/NPU、内存、带宽和功耗等约束,设计合理的运行方案。 2. 分析模型推理、Agent 调度、工具调用、数据传输等链路,通过 Profiling 和可复现实验定位瓶颈,优化时延、吞吐、资源消耗与长时间运行稳定性。 3. 与模型、推理框架及芯片/硬件伙伴协作,推进模型格式、精度、运行时和加速后端适配,评估优化收益及质量代价,沉淀跨平台集成方案和诊断工具。 4. 搭建覆盖模型与 Agent 的 Benchmark 和自动化回归体系,管理硬件、软件、模型及数据版本,统一测试条件和评价口径,覆盖效果、性能与稳定性。 5. 建设可观测系统,贯通请求、模型推理、Agent 执行及工具调用的指标、日志和链路追踪,支持性能归因、异常告警和故障定位。 6. 建设合规的数据回流管线,在授权及最小必要采集原则下完成采样、脱敏、质量校验、版本管理与回放,将典型失败和性能问题转化为评测样本,支撑模型、系统及应用持续优化。