岗位描述
岗位职责: 1、数据平台与基础设施研发:参与数据平台与基础设施的设计和研发,覆盖数据接入、处理、存储、计算与服务等关键环节。 2、大规模数据 Pipeline 与任务编排:建设支持批量与实时数据处理的数据 Pipeline 与任务编排体系,提升数据链路的稳定性与运行效率。 3、存储与计算系统建设:参与数据存储与计算系统建设,持续优化数据读写、查询性能、资源利用率及运行成本。 4、标准化 API/SDK 与数据治理:建设标准化 API、SDK 和开发工具,完善元数据管理、数据质量、权限控制与数据治理能力。 5、可观测与可靠性:完善监控、日志、指标与可观测体系,开展性能分析、故障诊断和可靠性优化。 6、跨团队协作:与产品及相关研发团队协作,把业务需求转化为可复用、可扩展的基础设施能力,推动技术方案落地与持续演进。 任职要求: 1、计算机基础:熟悉数据结构、算法、操作系统及并发编程,理解分布式系统中的一致性、容错与资源管理。 2、编程能力:熟练掌握 Java、C++、Python、Go、Rust 中至少一种,具备良好的代码设计、调试与性能分析能力。 3、云原生:熟悉云上 Kubernetes(K8s)环境,具备容器化应用部署、资源配置、监控及问题排查的实践经验。 4、系统研发经验:具备数据基础设施、数据库、计算引擎、图系统或相关后端系统的研发经验,能承担核心模块从设计、实现到上线运行的完整责任。 5、工程判断力:能从业务需求中抽象通用技术问题,通过原型、基准测试和生产指标验证方案,在正确性、性能、复杂度与成本之间作出合理取舍。 6、技术沟通与协作:能清晰表达设计方案、推动复杂问题解决,并持续学习新的系统技术。 方向要求(在以下至少一个方向具备较深入的理解和实践): 1、数据湖仓与存储:熟悉 Apache Iceberg、Apache Paimon、Apache Hudi、Delta Lake 中至少一种;理解元数据、快照、事务、Schema 演进、分区、索引、Compaction 等核心机制;有相关系统核心模块开发、源码分析或深度性能优化经验。 2、分布式与增量计算:熟悉 Flink、Spark 等分布式计算框架,具备大规模数据处理或实时计算实践;理解状态管理、Checkpoint、变更数据处理、增量计算及一致性语义;有任务调度、资源管理、故障恢复或计算性能优化经验。 3、图数据库与图计算:熟悉 Neo4j、NebulaGraph 等常用开源图数据库,或其他图系统研发经验;理解属性图、RDF、图存储、图索引、图查询或图算法;有大规模关联查询、图数据处理或图系统性能优化经验。 4、数据库内核与查询引擎:具备 TP 或 AP 数据库的优化器、执行器、事务管理、索引、存储引擎等研发经验;理解查询规划、代价估算、连接优化、并发控制、MVCC、向量化执行或分布式查询等核心机制;能分析复杂负载下的性能瓶颈并开展系统性优化。 加分项: 1、有本体平台、语义层、知识图谱、数据目录、元数据或血缘系统建设经验。 2、有增量物化视图、动态关系维护、模型版本迁移或跨存储一致性方面的实践。 3、有湖仓与图系统融合、混合查询、联邦查询或存算分离架构经验。 4、有大规模数据、高频更新、复杂查询或多租户场景的生产实践,并能说明规模、瓶颈、优化过程与实际收益。 5、有开源项目贡献、核心组件研发、系统研究成果或从原型走向生产产品的经验。 6、有面向 AI 应用的知识与上下文服务、GraphRAG、向量检索或可信数据访问经验。