Mars-Hadoop Sqoop介绍及安装

2019-03-08

字数统计: 837字 | 阅读时长≈ 3分

Sqoop介绍

1
2
3

sqoop是一款数据转换工具，主要用于在Hadoop(hive)与传统的数据库之间进行数据传递。

可以将一个关系型数据库(例如：MySQL、Oracle、Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中

官方网址-Apache Sqoop
使用文档-Apache Sqoop

1
2
3

截止目前共计2个版本,选择其一即可：
V1.4.7
V1.99.7

解压并配置环境变量

1 2	tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

配置环境变量 /etc/profile

1 2	export SQOOP_HOME=/opt/sqoop-1.4.7 export PATH=$SQOOP_HOME/bin:$PATH

1	source /etc/profile

验证

1
2
3

[root@master1 ~]# sqoop-version
...
19/03/06 12:28:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7

导入MySQL JAR包

1 2	因为稍后会使用sqoop将操作MySQL数据到HDFS，所以，需要使用与MySQL版本一致的对应Jar包。下载好Jar包后，放入/opt/sqoop-1.4.7/lib目录即可

MySQL Connector/J: 下载

1
2
3

unzip mysql-connector-java-5.1.46.zip 
cd mysql-connector-java-5.1.46
cp mysql-connector-java-5.1.46-bin.jar /opt/sqoop-1.4.7/lib/

sqoop导入导出-说明

导入

- 读数据(一行一行的读，即row by row)
- 并行化执行
- 导入结果可以是文本文件、二进制序列化文件等
- 导入过程：sqoop会将导入/导出的过程封装成java类文件，java类文件作用是用来封装导入表中的行等等

导出

将HDFS上的文件导出到关系型数据库指定的库或指定的组中
- 并行化读取HDFS文件
- 解析成关系型数据库所能识别的行级数据
- 将这部分数据作为新的行插入到目标数据库的目标表中。

查看导入/导出的数据库的情况

1
2
3

- 库 sqoop-list-databases
- 表 sqoop-list-tables
- 原生的SQL执行Shell: sqoop-eval

自定义导入/导出

1
2
3

- 导入过程(可以导入/导出某个库某张表特定的行或列、或指定分隔符...)
- Java类代码生成
- 导出过程

sqoop-help命令帮助

Available commands:
  sqoop codegen            生成与数据库记录交互的代码
  sqoop create-hive-table  将表的定义导入hive
  sqoop eval               评估SQL语句并显示结果
  sqoop export             将HDFS目录导出到关系型数据库的表中
  sqoop import             将关系型数据库中的表导入HDFS
  sqoop import-all-tables  将表从数据库导入HDFS
  sqoop import-mainframe   将数据集从大型机服务器导入HDFS
  sqoop job                执行已保存的作业
  sqoop list-databases     列出服务器上的可用数据库
  sqoop list-tables        列出服务器上的可用表
  sqoop merge              合并增量导入
  sqoop metastore          运行一个独立的Sqoop metastore
  sqoop version            线上版本信息
  sqoop help               列出可用命令

sqoop工具使用

sqoop针对不同的需求开发出了不同的工具，故可以将sqoop理解为是一个工具箱。

(1)首先需要确定想要干什么事情，然后使用某个工具。
   比如:我想导入就使用sqoop-import；如果想进行导出就需要使用sqoop-export
   
(2)确定命令的参数如何使用

查看具体某个命令(以import命令为例)的使用帮助

1	sqoop help import

本文作者： GaryWu
本文链接： https://garywu520.github.io/2019/03/08/Mars-Hadoop-Sqoop介绍及安装/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true