Mars-Hadoop Sqoop Job

2019-03-13

字数统计: 524字 | 阅读时长≈ 2分

Sqoop Job介绍

作用：记录Sqoop命令的配置信息，包括关系型数据库连接地址、用户名、密码、数据库和表等等信息。

Job：存储在User私有目录(即linux用户的家目录)$HOME/.sqoop/下，可将此配置为共享的metastore中(供集群中多用户使用)

应用场景：多次执行同一个导入导出命令(尤其是增量导入时)

Sqoop Job帮助

sqoop job 
         --create <job-id>   #创建作业(ID或名称)
         --delete <job-id>   #删除作业(ID或名称)
         --exec <job-id>     #执行作业
         --list              #列出当前已创建的作业
         --meta-connect <jdbc-uri>   #指定共享metastore
         --help

示例

1 2	增量导入 sqoop import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata --target-dir /sqoopim --check-column class_id --incremental append --last-value 18 -m 1

19/03/12 16:33:50 INFO tool.ImportTool:  --incremental append
19/03/12 16:33:50 INFO tool.ImportTool:   --check-column class_id
19/03/12 16:33:50 INFO tool.ImportTool:   --last-value 22
19/03/12 16:33:50 INFO tool.ImportTool: (Consider saving this with 'sqoop job --create')

创建job

格式：
sqoop job --create job1 -- [sqoop common]

sqoop job --create job1 -- import --connect jdbc:mysql://10.0.10.100:3306/bigdata --username root -P --table bigdata  --target-dir /sqoopim --check-column class_id --incremental append --last-value 22 -m 1

注意：创建job时，如果有--last-value参数，需要将此参数的值更新;而执行job的过程中，job会自动更新此信息

查看job

查看已有列表
# sqoop job --list
   Available jobs:
      job1

1 2	查看具体job内容 sqoop job --show job1

Job: job1
Tool: import
Options:
----------------------------
verbose = false
hcatalog.drop.and.create.table = false
incremental.last.value = 22
db.connect.string = jdbc:mysql://10.0.10.100:3306/bigdata
......
......
hdfs.target.dir = /sqoopim
hive.fail.table.exists = false
db.batch = false

执行job任务

1	sqoop job --exec job1

错误解决

报错：
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
	at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43)
	at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:785)
	at org.apache.sqoop.metastore.hsqldb.Hsqldbe.createInternal(HsqldbJobStorage.java:399)

1	原因是sqoop缺少java-json.jar包

下载：java-json.jar

1 2	解决方法：把java-json.jar添加到../sqoop/lib目录：cp java-json.jar ../sqoop/lib

本文作者： GaryWu
本文链接： https://garywu520.github.io/2019/03/13/Mars-Hadoop-Sqoop-Job/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true