岗位描述
1、负责运营商大数据平台的ETL流程设计与实施,完成多源异构数据的抽取、清洗、转换及加载; 2、基于Hadoop生态(Flume/Kafka/HDFS/Hive/Spark),完成数据采集及使用; 3、配合团队开发自动化运维脚本(Shell/Python),保障数据处理流程的稳定高效运行; 4、跨部门协调数据需求,提供技术解决方案并推动落地。 1、精通ETL工具及SQL开发,具备大数据处理经验; 2、熟练使用Linux 系统操作及Shell脚本编写,掌握TCP/IP、HTTP等网络协议; 3、熟悉Hadoop生态组件(Flume/Kafka/HDFS/Hive/Spark)原理,能进行基础使用及问题处理; 4、掌握Python/Java至少一门开发语言,具备基础代码维护能力。 5、2年以上大数据或运营商相关项目经验,有精准营销项目经验者优先; 6、具备良好的问题解决能力,能承受高压工作环境; 7、责任心强,具备跨团队沟通协作能力,可独立输出技术规范文档。