岗位描述
职位描述： 1、参与数据架构的规划，基于各条线业务，搭建适合的数据指标体系； 2、参与设计、构建和优化数据规则的定义、并与技术团队一起，进行数据模型的建立、数据清洗； 3、具备大数据和机器学习型思维； 4、学习主流的基础DevOps平台，如K8S，可以实现持续的平台/模型改进； 5、具备良好的团队合作精神、严密的逻辑思维能力及高效沟通能力； 6、汽车行业数据分析经验者优先。 任职资格： 1、熟悉Java基础，能够使用Java语言进行编程开发； 2、熟悉Linux系统基本操作命令及简单shell脚本； 3、熟悉使用原生 Apache,CDH 和阿里云服务搭建大数据开发集群； 4、熟悉hadoop生态系统，HDFS读写机制，yarn资源管理原理，MapReduce工作原理； 5、熟悉zookeeper原理，zookeeper和其他组件做分布式协调； 6、熟悉使用kafka原理和使用方法，kafka数据可靠性，能够熟练配置kafka并调优； 7、熟悉Maxwell，DataX，FlinkCDC等数据同步组件的基本工作原理，并且能够合理使用它们同步数据； 8、掌握 Hbase 表结构、存储、Phoenix 关联查询； 9、掌握Clickhouse列式数据库 原理，使用； 10、熟悉Spark工作流程，spark sql等相关的技术栈； 11、熟悉sqoop，datax等同步数据工具的使用，如HIVE/HDFS和RDBMS互导，全量导入，增量导入； 12、熟悉Hive构建数据仓库，Hive sql的编写及调优，开窗函数、爆炸函数、自定义函数运用； 13、熟悉使用Flink框架，flink 检查点，flink状态后端的调优，flink sql，flink cep，水位线，窗口等原理； 14、熟练掌握Flume的三个组件和使用方法，能够进行日志数据的收集、传输、过滤等工作，以及自定义拦截器来解决零点漂移的问题； 15、使用Azkaban通过shell脚本将结果数据落地到Mysql业务数据库； 16、熟练使用主流BI开发工具。