大数据架构师的基本职责大数据架构师的基本职责1职责:1
负责整个大数据平台架构的设计和构建;2
负责构建大数据平台的数据交换、任务调度等通用平台;3
制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力
参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码
持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点
任职要求:1
3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验2
大规模数据处理的架构和设计实战经验3
精通spark、mr,熟练hdfs、yarn、hbase、hive、mongodb,熟悉kafka、redis、storm、mahout、flume、elasticsearch、graphdb(neo4j或其他)等,并具有丰富的大型数据平台工程经验4
深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法5
熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练linux/unix平台上的开发环境6
本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先
具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精大数据架构师的基本职责2职责:1
深刻理解政府行业业务模式,构建政府行业的数据模型,第1页共4页制定公司大数据技术发展路线;2
对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;3
搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;4
根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作
职位要求:1
5年以上相关工作经验,有