ITPUX技术网

交流 . 资讯 . 分享
Make progress together!
Linux操作系统下Oracle11g R2 RAC 安装配置教程
Oracle数据库培训-备份恢复-性能优化-集群容灾
Oracle数据库DBA高级工程师培训视频

Hadoop实战培训教程19_Hadoop集群环境搭建配置_Hive性能优化

内容发布:风哥| 发布时间:2015-3-7 19:46:58
Hadoop实战培训教程19_hadoop集群环境搭建配置_Hive性能优化

1、性能低下根源
Hive性能优化时,把HiveQL当做Map/Reduce程序来读,即从Map/Reduce的运行角度来考虑优化性能,从更底层思考如何优化运算性能,而不仅仅局限于逻辑代码的替换层面。
RAC(Real Application Cluster)真正应用集群就像一辆机动灵活的小货车,响应快,Hadoop就像吞吐量巨大的轮船,启动开销大,如果每次只做小数量的输入输出,利用率将会很低。所以用好Hadoop的首要任务是增大每次任务所搭载的数据量。
Hadoop的核心能力是pariton和sort,因而这也是优化的根本。

Hadoop实战培训教程19_Hadoop集群环境搭建配置_Hive性能优化

Hadoop实战培训教程19_Hadoop集群环境搭建配置_Hive性能优化

观察Hadoop处理数据的过程,有几个显著的特征:
数据的大规模并不是负载重点,造成运行压力过大是因为运行数据的倾斜。

jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,将会须要30分钟以上的时间且大部分时间被用于作业分配,初始化和数据输出。Map/Reduce作业初始化的时间是比较耗费时间资源的一个部分。
在使用sum,count,max,min等函数时,Hadoop Map端对表中数据的汇总去重,能有效的解决数据倾斜问题。
count(distinct)效率较低,因为容易产生数据倾斜问题,如果是多count(distinct)效率更低。
数据倾斜是导致效率大幅降低的主要原因,可以采用多一次Map/Reduce的方法,避免倾斜。
结论:避实就虚,用job数的增加,输入量的增加,占用更多存储空间,充分利用空闲CPU等各种方法,分解数据倾斜造成的负担。

2、从配置角度优化
Hive系统内部已针对不同的查询预设定了优化方法,用户可以通过调整配置进行控制,以下举例介绍部分优化的策略以及优化控制选项。

Hadoop实战培训教程19_Hadoop集群环境搭建配置_Hive性能优化.pdf

720.13 KB, 下载次数: 17, 下载积分: IT币 -1

Hadoop实战培训教程19_Hadoop集群环境搭建配置_Hive性能优化



上一篇:Hadoop实战培训教程18_Hadoop集群环境搭建配置_Hive应用开发
下一篇:Hadoop实战培训教程20_Hadoop集群环境搭建配置_HBase_Hive与数据库区别
专业提供Oracle数据库服务、主机、存储、备份、中间件等相关技术支持服务,QQ号:176140749
关注ITPUX技术网微信公众号itpux_com  ,了解本站最新技术资料的分享.

欢迎加QQ群,提供超多高质量Oracle/Unix/Linux技术文档与视频教程的下载。

Oracle/MySQL/Linux群1-4:199479729   158277749   336282998   189070296   
Oracle/MySQL/Linux群5-8:150201289   244609803   522261684   522651731
备注:请勿重复加群,另请注明 from itpux

加群分享视频教程部分如下:

1、公开课视频:Oracle云数据库工程师职业发展前景讲解(免费)
http://edu.51cto.com/course/course_id-8614.html

2、51CTO学院Oracle数据库高级工程师培训(高薪就业.课程介绍)
http://edu.51cto.com/px/train/131?xiaotu

3、Oracle DBA数据库高级工程师培训视频课程1.1(系列78套+七大阶段+上千案例)
套餐视频地址: http://edu.51cto.com/topic/1121.html
回复

使用道具 举报

内容发布:xiangcj| 发布时间:2015-3-13 10:49:35
感谢分享 :P:P:P:P:P:P:P
回复

使用道具 举报

内容发布:lljss| 发布时间:2015-3-13 18:10:40
风哥V5,感谢分享,55555555555555
回复 支持 反对

使用道具 举报

内容发布:minzfox| 发布时间:2015-8-31 15:58:36
看看先,感谢分享,谢谢楼主:)
回复 支持 反对

使用道具 举报

内容发布:leiyz| 发布时间:2017-6-2 11:00:11
好动系,值得好好学习
Hadoop实战培训教程10_Hadoop集群环境搭建配置l
本文地址:【新提醒】Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置_ITPUX技术网
本文地址:http://www.itpux.com/thread-2492-1-1.html
回复 支持 反对

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表