1.大数据工程师岗位职责(必备18篇)
2.Hive MetaStore 的关联挑战及优化方案
大数据工程师岗位职责(必备18篇)
大数据工程师岗位职责(1)
职责包括团队建设、技术攻关、源码源码性能优化、剖析数据标准编制、关联数据模型设计、源码源码项目方案设计与管理、剖析文件传输 源码数据采集与加工、关联分析挖掘模型算法实施等。源码源码
任职资格要求:1年以上数据开发经验,剖析SQL、关联Hadoop、源码源码Mpp、剖析Oracle技术基础,关联编程语言基础,源码源码二本以上学历,剖析计算机专业优先,个人素质包括长远眼光、团队协作、学习能力、抗压性等。
大数据工程师岗位职责(2)
职责侧重于hadoop/spark生态系统的产品研发,海量数据全文检索、业务关联分析、数据抽取、清洗、转化等。
任职要求包括Hadoop、HBase、Spark等技术开发经验,搜索引擎开发经验,Python、R语言,企业级应用平台开发经验,本科及以上学历,计算机、软件工程、统计学、数学专业背景,3年以上互联网、金融等行业经验,良好的代码习惯、团队协作能力,熟悉项目管理工具。PCFG源码Java
大数据工程师岗位职责(3)
职责涵盖数据分析、工具开发、分布式平台应用开发、平台维护与优化。
任职要求为本科及以上学历,计算机专业,5年及以上的大数据ETL或数据开发经验,精通Java或Python,熟悉Hadoop、HDFS、Hive、HBase、Spark等技术,具备数据仓库开发经验或BI系统开发经验。
大数据工程师岗位职责(4)
职责涉及数据分析与建模、核心算法编写、项目需求分析、系统设计、编码,新技术研究与验证。
任职要求为精通数据建模与数据体系建设,丰富hadoop体系开发经验,精通kafka、flume、hive、impala、hbase、spark等技术,具有+节点hadoop集群开发、运维经验,硬件规划能力。
大数据工程师岗位职责(5)
职责包括大数据产品设计与开发、业务分析、数据抽象、模型化、平台维护与优化等。
任职要求为本科学历,2年以上大数据应用开发经验,Java、Python、Scala编程经验,熟悉Hadoop、cocoscreator棋牌源码Spark、Hbase、hive等技术,具备ETL开发与运维能力。
大数据工程师岗位职责(6)
职责为公司大数据集群构建与优化、监控预警、平台完善,确保稳定性与安全性,集群容量规划、扩容、性能优化。
任职要求为Linux系统操作、Shell或Python脚本编写、Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs等组件框架知识,软硬件设备与网络原理知识,丰富的大数据平台部署、运维与性能优化经验。
大数据工程师岗位职责(7)
职责包括大数据业务集群运维、容量规划、架构设计、业务监控、应急响应、应用监控与容量管理。
任职要求为计算机或相关专业本科及以上学历,至少2年以上运维或开发经验,Hadoop、HBase、Hive、Flink、Spark、Kafka、Elasticsearch、Flume等开源项目经验优先,素材与源码熟悉Java、shell语言,掌握puppet、kerberos应用。
大数据工程师岗位职责(8)
职责涉及大数据集群运维、日常部署、升级、扩容、迁移,集群架构设计与改进,运维技术研究与优化,应用系统运维。
任职要求为掌握java、shell语言,了解Docker,有Spring Cloud微服务架构开发经验优先,熟悉Hadoop、Hbase、Hive、Storm、Spark、Kafka等开源项目,精通Linux操作系统管理与优化。
大数据工程师岗位职责(9)
职责包括大数据平台运维、架构审核、业务监控、持续交付、应急响应、容量规划,保证服务高效稳定运行。
任职要求为计算机相关专业本科及以上学历,3年以上相关工作经验,精通Hadoop、Impala、Hive、Spark等组件原理,有实际部署维护经验,故障排查能力,服务意识,团队协作能力,主动思考与自我驱动力。
大数据工程师岗位职责()
职责为大数据集群构建、WINCC源码例程性能优化、架构设计与改进,运维自动化技术研究,大数据平台运维与管理。
任职要求为中等规模集群环境下的Hadoop/Impala/Hive/Spark集群运维经验,对HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等参数调优,实际处理集群在线版本升级、数据迁移、集群扩容等任务,熟悉Kerberos安全认证系统。
大数据工程师岗位职责()
职责包括大数据平台运维、架构审核、业务监控、持续交付、应急响应、容量规划,保证线上服务高效稳定运行。
任职要求为计算机专业本科学历,3年以上相关工作经验,精通Hadoop、HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等组件原理,具备故障排查能力,技术敏感度,服务意识,团队协作能力,主动思考与自我驱动力。
大数据工程师岗位职责()
职责涵盖大数据集群构建、任务调度、监控预警、性能优化,集群容量规划、扩容与日常巡检,大数据业务自动化运维技术研究与优化。
任职要求为熟悉Linux系统、Shell或Python脚本编写、大数据生态圈组件框架知识,软硬件设备与网络原理,丰富的大数据平台部署、运维与性能优化经验,系统自动化运维能力,JVM虚拟机调优,jenkins持续集成,文档编写能力,适应短期出差。
大数据工程师岗位职责()
职责为大数据平台运维保障、架构审核、业务监控、持续交付、应急响应、容量规划,支撑业务与数据量快速扩张。
任职要求为计算机相关专业本科及以上学历,3年以上相关工作经验,精通Hadoop、HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等组件原理,故障排查能力,技术敏感度,服务意识,团队协作能力,主动思考与自我驱动力,动态编排容器技术与虚拟化技术经验,阅读源码能力。
大数据工程师岗位职责()
职责包括规划、设计、选型大数据平台,自动化运维工具开发与使用,性能优化与问题解决,Hadoop、Hive、Hbase、Storm、Spark等技术框架与java、scala、sqllite等相关技术的掌握,参与大数据产品未来技术架构方向规划,数据库搭建、备份、维护与性能调优,系统运维、监控与故障分析处理,团队协作能力,文档编写与维护,大型开源系统维护经验。
大数据工程师岗位职责()
职责为团队建设和日常管理,核心技术问题攻关、性能优化,城市级大数据平台业务支撑,数据标准编制与模型设计,项目中数据相关方案设计与管理,数据采集、加工、分析挖掘实施。
任职资格包括1年以上数据开发经验,SQL、Hadoop、Mpp、Oracle技术,编程语言基础,二本以上学历,计算机专业,个人素质要求包括长远眼光、态度诚恳、岗位稳定性、自学能力、抗压性、数据工作兴趣与职业规划。
大数据工程师岗位职责()
职责涉及数据分析、建模、需求分析、系统设计与编码,新技术研究与验证,架构设计与改造,技术实施方案制定,子系统设计与开发。
任职要求为精通数据建模与数据体系建设,丰富的基于hadoop体系的数据平台、数据仓库建设经验,精通基于hadoop源码开发与优化改造,hadoop生态体系各项技术,如kafka、flume、hive、impala、hbase、spark等,+节点hadoop集群开发与运维经验,硬件规划能力。
大数据工程师岗位职责()
职责包括基于hadoop/spark全文检索与搜索引擎产品开发,海量数据分析、关联关系研究与业务应用结合,数据抽取、清洗、转化等数据处理程序开发。
任职要求为熟悉Hadoop、HBase、Spark等技术及其生态圈,具备相关项目开发经验,有数据实时计算项目经验优先,搜索引擎开发经验,Python、R语言,企业级应用平台开发经验,本科及以上学历,计算机、软件工程、统计学、数学专业背景,互联网、金融等行业3年以上工作经验,良好的代码习惯与团队协作经验。
大数据工程师岗位职责()
职责涵盖数据分析与清理,大数据工具开发,分布式平台应用开发,平台维护与优化。
任职要求为本科及以上学历,计算机专业,5年及以上的大数据ETL或数据开发经验,熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术,具备数据仓库开发经验或BI系统开发经验,熟悉Java或Python编程语言,熟悉大数据架构体系。
Hive MetaStore 的挑战及优化方案
Hive,作为Apache Hadoop上的数据仓库工具,提供了强大的SQL查询能力,处理大规模数据。核心组件Hive MetaStore负责存储和管理Hive表、分区和数据库的元数据,如表名、列信息和存储位置。元数据的结构复杂,涉及多张关联表,如DBS、TBLS、PARTITIONS和SDS,用于细致管理。
然而,随着业务扩展,元数据量爆炸式增长,尤其是在互联网公司,Hive表的分区数可能达到百万甚至亿级,导致MetaStore和MySQL服务面临严峻挑战。查询延迟增加,并发请求过多时,MetaStore查询会阻塞,进而影响整个大数据查询性能。
针对这些挑战,有几种优化策略:首先,分库分表可以分散MetaStore的负载,但涉及到Hive源代码的大幅调整,风险和成本较高,且后期维护复杂。其次,读写分离通过创建只读MetaStore集群,降低主库压力,但无法根本解决数据量大的问题,快手等公司已实践。分布式数据库如TiDB,提供更好的扩展性和性能,但需注意兼容性和运维风险,VIVO和知乎已采用。MetaStore API的优化可以解决部分问题,但需要持续改进。WaggleDance和MetaStore Federation通过代理和路由技术,减少了元数据操作的复杂性,但可能带来配置管理和数据迁移的挑战,滴滴和腾讯已采用或类似方法。
总的来说,优化选择需权衡开发成本、运维难度、业务影响等因素,流量控制和降级也是应对高峰流量的辅助手段。在实际应用中,需要根据具体情况进行定制化解决方案,关注"大数据小百科"获取更多技术分享。