岗位描述
1. Pipeline平台构建： – 构建统一数据Pipeline平台底座：任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传，支撑三域（制造/产品/工程）数据加工与座舱采集数据后处理的规模化运行； – 建设样本/特征生产链路，为训练平台提供标准化数据供给。 2. 开发范式与组件沉淀： – 定义Pipeline开发模板、配置规范与可复用组件库，让领域链路开发（第1名Pipeline工程师及后续领域成员）以低代码/配置化方式上线新链路； – 将数据质量规则（完整性、一致性、时效性校验）内嵌到链路框架，实现质量问题自动拦截与告警。 3. 性能与成本优化： – 负责加工链路的资源调度优化、存储分层与计算成本控制；建立链路级SLA与可观测性（与评测观测岗协同）