hive3.1集群搭建_liu137612432_hive集群搭建

未知 02-07 4115

Hive 3新特性不再支持Mr，取而用Tez 查询引擎，且支持两种查询模式：Container 和 LLAPHive CLI不再支持（被beeline取代)SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP)

Hive 3其他特性： 1、物化视图重写； 2、自动查询缓存； 3、会话资源限制：用户会话数，服务器会话数，每个服务器每个用户会话数限制

文章目录 Hive 3新特性环境准备一、集群搭建1、解压2、解决Jar包冲突3、配置环境变量4、修改配置5、配置Metastore到MySQL6、分发Hive7、初始化元数据库8、启动Hive客户端

环境准备

JDK：jdk1.8.0_141 zookeeper：apache-zookeeper-3.5.9 hadoop：hadoop-3.2.3 MySQL：mysql-5.7.31

我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03 hadoop集群搭建可参考我的另一篇文章 hadoop3.2+zookeeper集群搭建

一、集群搭建 1、解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /bigdata/install #修改文件名 cd /bigdata/install mv apache-hive-3.1.2-bin hive 2、解决Jar包冲突 #进入hive的lib目录 cd /bigdata/install/hive/lib #备份日志jar mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak #guava版本和hadoop的版本不一致，取高版本的jar mv guava-19.0.jar guava-19.0.jar.bak #从hadoop的lib复制guava-27.0-jre.jar到hive的lib cp -r /bigdata/install/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /bigdata/install/hive/lib/ 3、配置环境变量 #修改 vi /etc/profile #HIVE_HOME export HIVE_HOME=/bigdata/install/hive export PATH=$PATH:$HIVE_HOME/bin #保存退出，加载环境变量 sourse /etc/profile 4、修改配置 #进入配置目录 cd /bigdata/install/hive/conf/ mv hive-env.sh.template hive-env.sh #编辑文件 vi hive-env.sh export JAVA_HOME=/bigdata/install/jdk1.8.0_141 export HADOOP_HOME=/bigdata/install/hadoop export HIVE_CONF_DIR=/bigdata/install/hive/conf export HIVE_HOME=/bigdata/install/hive 5、配置Metastore到MySQL

我这里的mysql数据库安装在node02虚拟机

vi hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node02:3306/metastore?useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>node01</value> </property> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> </configuration> 6、分发Hive

分发到node02、node03

scp -r hive/ node02:$PWD scp -r hive/ node03:$PWD 7、初始化元数据库

（1）进入node02虚拟机、登陆MySQL

mysql -uroot -p密码

（2）新建Hive元数据库

create database metastore; quit;

（3）初始化Hive元数据库

schematool -initSchema -dbType mysql -verbose 8、启动Hive客户端

（1）启动Hive客户端

bin/hive

（2）查看一下数据库

show databases;