Fork me on GitHub

Mars-Hadoop Hive环境搭建

字数统计: 1.1k字   |   阅读时长≈ 5分
Hive连接模式
  • 单用户模式(元数据默认使用Derby关系型数据库存储)
  • 多用户模式
  • 远程模式
环境准备

  • Hadoop V2.7.2

    要保证Hadoop服务已经启动。Hadoop环境搭建: 参考

  • MySQL主从

    本次MySQL数据库部署在Slave1【IP:10.0.10.111】服务器上。

  • Hive 安装在Slave3【IP：10.0.10.113】上

下载Hive

官方网站：http://hive.apache.org/downloads.html

下载带有*-bin的hive压缩包: apache-hive-2.3.4-bin.tar.gz

配置环境变量
1
2
3
tar -zxf apache-hive-2.3.4-bin.tar.gz
mv apache-hive-2.3.4-bin /opt/
ln -sv /opt/apache-hive-2.3.4-bin /opt/hive
1
2
3
4
5
cat /etc/profile

#Hive
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

配置Hive

(1) hive-env.sh

1
2
3
4
5
6
cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh 
echo $HADOOP_HOME
/opt/hadoop

修改/opt/hive/conf/hive-env.sh文件的HADOOP_HOME变量为：
HADOOP_HOME=/opt/hadoop

(2)hive-site.xml

1
cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml
单用户模式【一般只用于测试环境】

即, 元数据使用内嵌Derby数据库做存储

多用户模式-配置

即元数据非Derby, 而使用其他的关系型数据库存储(例如：MySQL、Oracle等)

Hive的元数据：表信息，表属性，分区，列等等信息，Owner

Hive的实际数据：在HDFS上

创建数据库并授权

slave1节点的mysql数据库下面需要提前创建一个名为hive的数据库, 账号密码均为hive

1
2
3
4
[root@slave1 ~]# mysql -uroot -p
mysql> create database hive;
mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;
mysql> flush privileges;

Hive-site.xml的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
    <property>
        <description>指定Hive连接数据库的连接字符串</description>
        <name> javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://slave1:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <description>指定以MySQL作为驱动类入口</description>
        <name>javax.jdo.option.ConnectionDriver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <description>指定数据库用户名</description>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <description>指定数据库密码</description>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>    
    </property>
</configuration>

配置MySQL驱动

驱动下载：mysql-connector-java-5.1.47.zip

1
2
3
[root@slave3]# unzip mysql-connector-java-5.1.47.zip
[root@slave3]# cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib/
[root@slave3]# ls -lh $HIVE_HOME/lib/mysql-connector-java-5.1.47-bin.jar

初始化元数据库

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@slave3 conf]# schematool -initSchema --dbType mysql

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://slave1:3306/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :	 org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User:	 hive
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
配置远程模式- 即启动Metastore server服务【生产环境需要配置自启动】
1
2
3
4
5
6
[root@slave3 conf]# hive --service metastore & 

Metastore Server默认端口号：9083

# ss -lntup|grep 9083
tcp    LISTEN     0   50    *:9083     *:*    users:(("java",pid=20847,fd=452))

centos7自启

1
2
3
4
5
6
7
8
9
10
11
# cat /etc/systemd/system/hive_metastore_server.service
[Unit]
Description=Start or stop hive metastore server
After=network.target
Wants=network.target

[Service]
ExecStart=/opt/hive/bin/hive --service metastore

[Install]
WantedBy=multi-user.target
1
2
3
systemctl enable hive_metastore_server
systemctl start hive_metastore_server
systemctl status hive_metastore_server

测试Hive

1
2
3
4
5
6
7
8
9
10
#查询数据库
hive> show databases;
OK
default
Time taken: 4.555 seconds, Fetched: 1 row(s)

#创建数据库
hive> create database garywu;
OK
Time taken: 0.335 seconds
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#创建表
hive> use garywu;
OK
Time taken: 0.051 seconds

hive> create table hive_test (mykey string,myval string);
OK
Time taken: 1.374 seconds

#插入数据
hive> insert into hive_test values("1","https://www.garywu.io");
Query ID = root_20190327181939_360a8a91-7c80-4034-86fb-8394ef233494
Total jobs = 3
Launching Job 1 out of 3
......
......
Stage-Stage-1: Map: 1   Cumulative CPU: 2.11 sec   HDFS Read: 4060 HDFS Write: 311254 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 110 msec
OK
Time taken: 30.931 seconds

#select查询
hive> select * from hive_test;
OK
1	https://www.garywu.io
Time taken: 0.411 seconds, Fetched: 1 row(s)

#删除一个表
hive> drop table garywu;
Moved: 'hdfs://nn/user/hive/warehouse/garywu.db/garywu' to trash at: hdfs://nn/user/root/.Trash/Current
OK
Time taken: 1.929 seconds
#注：这里可以看到删除操作直接将数据移动到了HDFS的垃圾桶

#退出hive
hive> exit;

HDFS上查看刚刚写入的hdfs数据

Hive_hdfs_db

hive_hdfs_db_block

注：默认hive创建的数据会在HDFS的/user/hive/warehouse目录，除非修改了配置

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......