Fork me on GitHub

Mars-Hadoop Sqoop导入实战

字数统计: 1.1k字   |   阅读时长≈ 5分
测试数据准备如下

数据库名称：bigdata, 表名称: bigdata

1
2
3
4
5
6
7
8
9
MariaDB [bigdata]> select * from bigdata;
+----------+--------------------------------+-------------+---------+---------------------+
| class_id | class_name                     | class_month | teacher | last_mod_ts         |
+----------+--------------------------------+-------------+---------+---------------------+
|        1 | bigdata intro.                 |           8 | Mars    | 2019-03-08 17:03:43 |
|        2 | hadoop intro.                  |           8 | Mars    | 2019-03-08 17:03:43 |
|        3 | hadoop components              |           8 | Mars    | 2019-03-08 17:03:43 |
|        4 | hadoop arch.                   |           8 | Mars    | 2019-03-08 17:03:43 |
|        5 | hdfs                           |           9 | Mars    | 2019-03-08 17:03:43 |
Sqoop import to hdfs
1
2
3
4
5
6
7
# sqoop import \
  --connect jdbc:mysql://mysql_server_ip:3306/bigdata \
  --username root \
  -P \
  --table bitdata \
  --warehouse-dir /sqoopim \
  -m 1
Sqoop import to hive table
1
2
3
4
5
6
7
# sqoop import \
  --connect jdbc:mysql://mysql_server_ip:3306/bigdata \
  --username root \
  -P \
  --table bitdata \
  --hive-import --hive-database default --create-table \
  -m 1
(1) 通过Sqoop查看mysql数据库
1
2
3
# sqoop list-databases --connect jdbc:mysql://10.0.10.100:3306 --username root -P
mysql
bigdata
(2) 通过Sqoop查看MySQL指定数据库的表
1
2
# sqoop list-tables --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P
bigdata
(3) Sqoop 导入 MySQL全表到hdfs指定目录
1
2
3
4
5
6
7
8
9
10
11
# sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --warehouse-dir /sqoopim -m 1

导入过程中可以看到，sqoop通过mapreduce.Job来完成导入操作

注：
1. 如果导入时不指定hdfs目录，默认导入到当前hadoop用户的/user/username目录下。
   如果导入的目录已存在，则会提示错误。
   
2.如果一个表中没有设置主键，那么导入时会提示错误，解决方法：就需要提前设置主键
  或
  使用参数“-m 1”参数, 需要使用几个map任务并发执行

验证导入

1
2
查看hadoop作业运行情况
http://10.0.10.100:18088/cluster
1
2
3
4
# hadoop fs -ls /sqoopim/bigdata
Found 2 items
-rw-r--r--   3 root supergroup          0 2019-03-08 17:38 /sqoopim/bigdata/_SUCCESS
-rw-r--r--   3 root supergroup        800 2019-03-08 17:38 /sqoopim/bigdata/part-m-00000
1
2
3
4
5
6
7
# hadoop fs -cat /sqoopim/bigdata/part-m-00000

1,bigdata intro.,8,Mars,2019-03-08 17:03:43.0
2,hadoop intro.,8,Mars,2019-03-08 17:03:43.0
3,hadoop components,8,Mars,2019-03-08 17:03:43.0
......
可以看到这个表导入过来后，默认分隔符是“[英文]逗号”
(4) Sqoop 导入 MySQL全表到hdfs【指定导入分隔符】
1
2
3
sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --warehouse-dir /sqoopim -m 1 --fields-terminated-by "|"

注：--fields-terminated-by参数用来指定分隔符，分隔符可以是“^”、"\t"、" "等等

验证数据

1
2
3
4
5
6
7
[hdfs@master1 ~]$ hadoop fs -cat /sqoopim/bigdata/part-m-00000
1|bigdata intro.|8|Mars|2019-03-08 17:03:43.0
2|hadoop intro.|8|Mars|2019-03-08 17:03:43.0
3|hadoop components|8|Mars|2019-03-08 17:03:43.0
4|hadoop arch.|8|Mars|2019-03-08 17:03:43.0
......
......
(5) Sqoop 仅导入MySQL部分数据

bigdata表，class_id≥5的数据进行导入

  • 方式一： –query
1
2
3
4
5
6
sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --query "select * from bigdata where class_id>=5 and \$CONDITIONS" -m 1 --target-dir /sqoopim

注：
  
  --warehouse-dir和--target_dir均为指定导入目录参数，区别是--target_dir指定的目录必须不存在
  --query "select * from bigdata where class_id>=5 and \$CONDITIONS"  匹配条件，其中反斜杠是将$符转义
1
2
3
4
5
6
[hdfs@master1 ~]$ hadoop fs -cat /sqoopim/part-m-00000
5,hdfs,9,Mars,2019-03-08 17:03:43.0
6,yarn,9,Mars,2019-03-08 17:03:43.0
7,sqoop,9,Mars,2019-03-08 17:03:43.0
8,hive,9,Mars,2019-03-08 17:03:43.0
9,Hive example:log analysis,10,Mars,2019-03-08 17:03:43.0
  • 方式二：–where
1
sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --where "class_id>=10" -m 1 --target-dir /sqoopim2
1
2
3
4
5
6
7
[hdfs@master1 ~]$ hadoop fs -cat /sqoopim2/part-m-00000
10,hbase,10,Mars,2019-03-08 17:03:43.0
11,kylin,11,Mars,2019-03-08 17:03:43.0
12,spark intro.,11,Mars,2019-03-08 17:03:43.0
13,spark arch,11,Mars,2019-03-08 17:03:43.0
14,spark sql,12,Mars,2019-03-08 17:03:43.0
......
(6)Sqoop仅导入部分字段
1
2
3
[hdfs@master1 ~]$ sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --columns class_id,class_month,teacher -m 1 --target-dir /sqoopim

注：使用--columns参数指定字段
1
2
3
4
5
6
7
[hdfs@master1 ~]$ hadoop fs -cat /sqoopim/part-m-00000
1,8,Mars
2,8,Mars
3,8,Mars
4,8,Mars
5,9,Mars
6,9,Mars
扩展：将导入参数写入文件进行导入

vim ./sqoop.im 以下面命令为例

1
[hdfs@master1 ~]$ sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --columns class_id,class_month,teacher -m 1 --target-dir /sqoopim

改为如下【要求：参数和值分别要占用独立行，且开头不能有空格】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import 
--connect 
jdbc:mysql://10.0.10.100:3306/bigdata 
--username 
root 
-P 
--table 
bigdata 
--columns
class_id,class_month,teacher
-m 
1 
--target-dir 
/sqoopim

使用文件导入

1
sqoop --options-file ./sqoop.im
其他
1
sqoop在执行导入操作后，会在当前目录下生成名为“QueryResult.java”文件，这就是底层Mapreduce生成的JAVA类文件

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......