1、负责企业级大数据平台的搭建,根据大数据项目的需求,制定数据采集相关的设计方案和开发计划,并进行后续的设计、实施、维护;
2、负责整个大数据数据模型的管理工作(建模,设计,实施);
3、负责数据源调研、入库、开发的全流程工作,并保证数据质量;
4、、负责大数据平台的模型的标准制定,实施,监督工作;
5、承担数据抽取、清洗、转化等数据处理程序开发。
1、三年以上大数据工作经验,至少一年以上数据建模工作,熟悉一种建模工具;
2、精通java、Python语言,两年以上开发经验;
3、精通Hadoop,hive,spark,sqoop等;
4、精通Oracle、SQL Server、MySQL等主流数据库的应用设计、性能调优及存储过程的开发具有2年以上ETL相关开发经验;
5、对ETL有较深刻的认识,对于数据的定义有独到理解,熟悉至少一种ETL工具;
6、拥有良好的代码习惯,要求结构清晰,注释清晰,命名规范,逻辑性强,代码冗余率低,尤其是习惯写开发文档。