大数据开发岗
职位描述
职位要求:
1、本科及以上学历,熟练掌握如下最少两门工具或者语言: Java、Python、Scala、Oracle;
2、具有两年以上的大数据平台开发经验,熟悉MapReduce、Storm、Spark、Sqoop、Hbase、Hive、Redis等主流大数据技术最少两门以上技术,并且基于该技术进行海量数据的加工、处理与调优
3、熟悉传统数据仓库的系统设计和开发,熟悉数据建模、ETL过程、元数据管理等数据仓库主要环节;
4、熟悉Linux操作系统;熟悉应用shell脚本,并基于脚本进行工作任务的并排、分发、控制等功能模块的开发;
5. 熟悉数据调度框架azkaban,实时消息框架kafka优先考虑;
6. 具备良好的分析解决问题能力,能独立承担任务和有系统进度把控能力。
岗位职责:
1. 基于Hadoop大数据平台,进行海量数据模型设计、数据ETL开发、数据质量核查;
2. 基于大数据平台开发各类数据服务接口,包括各类IT系统数据源到大数据平台的接口服务的开发,大数据平台内部数据对外部数据的分发接口等;
3、参与大数据平台内部框架或功能组件的优化、性能调整、系统重构等工作;
4、基于大数据平台下游数据产品、数据服务能力的支撑,包括不限于,数据服务请求、数据模型开发、数据挖掘与分析等。