Hue部署并接入Impala等组件

2019-01-03

字数统计: 1k字 | 阅读时长≈ 4分

1
2
3

本篇介绍下Hue的开源版安装与对接Impala组件，以及CDH版Impala对接注意事项。

Hue提供一个用于查询的Web展示平台，Impala的作用是查询器，Impala后端可以配置与KuDu集群对接。这样就实现了从Hue Web平台查询KuDu集群数据库的内容。

环境准备

(1) 安装编译环境

1	yum -y groupinstall "Development tools"

yum install -y python-devel.x86_64 openssl-devel python-devel openldap-devel gmp-devel libffi-devel sqlite-devel 

#安装xml依赖
yum install -y libxml2 libxml2-devel libxslt libxslt-devel
yum install -y "perl(XML::LibXML)" && xml2-config --version

(2) 安装jdk1.8

1	官网下载：jdk-8u191-linux-x64.tar.gz

1 2	tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local/ ln -sv /usr/local/jdk1.8.0_191 /usr/local/jdk

编辑 /etc/profile

JAVA_HOME=/usr/local/jdk1.8.0_191
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH

1 2	source /etc/profile java -version

(3) 安装mysql

1 2	Hue需要MySQL yum -y install mariadb*

1 2	systemctl start mariadb systemctl enable mariadb

1 2	初始化 mysql_secure_installation

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on hue.* to 'hue'@'localhost' identified by 'hue123';
flush privileges;

测试登陆
mysql -uhue -p -h127.0.0.1

Hue编译部署

1 2	官网下载Hue最新版本, 官网：http://gethue.com/ 当前最新版本：V4.3

官网下载：官网

gunzip hue-4.3.0.tgz
tar -xvf hue-4.3.0.tar
cd hue-4.3.0
make apps

配置

1
2
3

编译完成后，Hue的配置文件位于编译目录的desktop/conf/hue.ini，接下来对该文件进行修改.

我们的需求是在Hue Web平台中，利用Impala来查询后端KUDU集群数据，故需要将Impala与Hue对接。

1	由于数据库引擎使用mysql，故需要配置MySQL相关选项

[[database]]                    #MySQL配置
    engine=mysql
    host=127.0.0.1
    port=3306
    user=hue
    password=hue123
    name=hue

[impala]
   server_host=xx.xx.xx.xx      #Impala集群负载地址和端口
   server_port=21050            

  # Kerberos principal
  ## impala_principal=impala/hostname.foo.com

由于我是使用了mysql来存储的元数据，因此在启动服务前，先进行导入默认数据库。

./build/env/bin/hue syncdb --noinput
./build/env/bin/hue migrate

验证
[root@zw50-op-104 hue-4.3.0]# mysql -uhue -p -h 127.0.0.1 -e "use hue;show tables;"
Enter password: 
+--------------------------------+
| Tables_in_hue                  |
+--------------------------------+
| auth_group                     |
| auth_group_permissions         |
| auth_permission                |
| auth_user                      |
| auth_user_groups               |
| auth_user_user_permissions     |
| axes_accessattempt             |
| axes_accesslog                 |
| beeswax_metainstall            |
| beeswax_queryhistory           |

启动Hue

1 2	启动hue测试: build/env/bin/hue runserver 0.0.0.0:8000

生成环境Hue工作目录

mkdir -p /usr/local/
cp -R hue-4.3.0 /usr/local/
cd /usr/local/
ln -sv hue-4.3.0 hue

开机启动

1
2
3

echo "nohup /usr/local/hue/build/env/bin/python2.7 /usr/local/hue/build/env/bin/hue runserver 0.0.0.0:8000 &" >>/etc/rc.d/rc.local

chmod +x /etc/rc.d/rc.local

Web访问

http://hue_server:8000

直接输入任意账号密码，系统会提示创建该账号并作为管理员。
admin / admin

到此，Hue部署九完成了，Hue接入Hive和Hbase也是修改hue.ini文件，在对应模块下配置Hive或Hbase连接地址即可。

如果Hue是在CDH中部署，对接外部Impala注意事项和方法如下

1	CDH中，Hue真正生效的配置文件是 /var/run/cloudera-scm-agent/process/XXX-hue-HUE_SERVER目录下的hue.ini, 该文件由cloudera-scm-agent客户端下发，故不能直接修改此文件。

对接Impala方法

1
2
3

CDH ---> HUE集群 ---> 配置 --->高级---> 修改“hue_safety_valve.ini 的 Hue服务高级配置代码段（安全阀）”区域，直接添加Impala配置。

此处的配置，当重启Hue后，将重新下发到Hue服务器的/var/run/cloudera-scm-agent/process/XXX-hue-HUE_SERVER目录中的hue_safety_valve.ini文件中，这样就ok了。如下图

hue_settings

1	最后，逐一重启Hue集群节点服务器，再次访问Hue Web平台 ---> Impala --->即可看到Imala连接的后端KuDu集群数据库数据，此时就可以使用SQL语句进行查询了。

本文作者： GaryWu
本文链接： https://garywu520.github.io/2019/01/03/Hue部署并接入Impala等组件/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true