ITPUX技术网

交流 . 资讯 . 分享
Make progress together!
Linux操作系统下Oracle11g R2 RAC 安装配置教程
Oracle数据库培训-备份恢复-性能优化-集群容灾
Oracle数据库DBA高级工程师培训视频

Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置

内容发布:风哥| 发布时间:2015-3-7 19:42:55
Hadoop实战培训教程17_hadoop集群环境搭建配置_Hive安装配置

1、Hive简介
Hive是一个构建在Hadoop上的数据仓库平台,其设计目标是使Hadoop上的数据操作与传统SQL结合,让熟悉SQL编程的开发人员能够轻松向Hadoop平台转移。Hive是Facebook的信息平台的重要组成部分,Facebook在2008年将其贡献给Apache,现已成为Apache旗下的一个独立子项目。
Hive是基于Hadoop文件系统上的数据仓库架构。它为数据仓库的管理提供了许多功能:数据ETL(抽取,转换和加载)工具,数据存储管理和大型数据集的查询与分析能力。同时Hive还定义了类SQL的语言——HiveQL,HiveQL允许用户进行和SQL相似的操作。HiveQL还允许开发人员方便地使用mapper和reducer操作,这样对MapReduce框架是一个强有力的支持。
由于Hadoop是批量处理系统,任务是高延迟性的,所以在任务提交和处理过程中会消耗一些时间成本。同样,即使Hive处理的数据集非常小(比如几百MB),在执行时也会出现延迟现象。这样,Hive的性能就不可能很好地和传统的oracle数据库进行比较了。Hive不能提供数据排序和查询cache功能,也不提供在线事务处理,不提供实时的查询功能和记录级的更新,但Hive能更好地处理不变的大规模数据集(例如网络日志)上的批量任务。所以,Hive最大的价值是可扩展性(基于Hadoop平台,可以自动适应机器数目和数据量的动态变化)、可延展性(结合MapReduce和用户定义的函数库),并且拥有良好的容错性和低约束的数据输入格式。

Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置

Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置

2、Hive体系结构
Hive本身建立在Hadoop的体系架构上,提供了一个SQL解析过程,并从外部接口中获取命令,以对用户指令进行解析。Hive可将外部命令解析成一个MapReduce可执行计划,并按照该计划生产MapReduce任务后交给Hadoop集群处理

主要分为以下几个部分:

用户接口
UI 用户提交查询和其他的操作。包含类似命令行接口CLI(Command Line Interface),Web UI 以及 JDBC/ODBC驱动。其中最常用的是 CLI,CLI 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。
备注:命令行接口CLI又称为Hive Shell。

Thrift服务器
当Hive以服务器模式运行时,可以作为Thrift服务器,供客户连接。

元数据存储(Metastore)
元数据存储此组件存储数据仓库里所有的各种表与分区的结构化信息,包括列与列类型信息,序列化器与反序列化器,从而能够读写hdfs中的数据,通常是存储在关系数据库如MySQL,Derby中。

解析器
解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有 MapReduce 调用执行。

Hadoop
Hive 的数据存储在 HDFS 中,利用 MapReduce 进行计算。

Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置.pdf

1.89 MB, 下载次数: 12, 下载积分: IT币 -1

Hadoop实战培训教程17_Hadoop集群环境搭建配置_Hive安装配置



上一篇:Hadoop实战培训教程15_Hadoop集群环境搭建配置_HBase应用开发
下一篇:Hadoop实战培训教程18_Hadoop集群环境搭建配置_Hive应用开发
专业提供Oracle数据库服务、主机、存储、备份、中间件等相关技术支持服务,QQ号:176140749
关注ITPUX技术网微信公众号itpux_com  ,了解本站最新技术资料的分享.

欢迎加QQ群,提供超多高质量Oracle/Unix/Linux技术文档与视频教程的下载。

Oracle/MySQL/Linux群1-4:199479729   158277749   336282998   189070296   
Oracle/MySQL/Linux群5-8:150201289   244609803   522261684   522651731
备注:请勿重复加群,另请注明 from itpux

加群分享视频教程部分如下:

1、公开课视频:Oracle云数据库工程师职业发展前景讲解(免费)
http://edu.51cto.com/course/course_id-8614.html

2、51CTO学院Oracle数据库高级工程师培训(高薪就业.课程介绍)
http://edu.51cto.com/px/train/131?xiaotu

3、Oracle DBA数据库高级工程师培训视频课程1.1(系列78套+七大阶段+上千案例)
套餐视频地址: http://edu.51cto.com/topic/1121.html
回复

使用道具 举报

内容发布:leiyz| 发布时间:2017-6-2 10:59:19
好动系,值得好好学习
Hadoop实战培训教程10_Hadoop集群环境搭建配置l
回复 支持 反对

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表