投稿

azkaban的使用方法

网友投稿 • • 云知识 • 阅读 1

1：单任务

Azkaba内置的任务类型支持command、java

root@leco:/home/leco# cat foo.job 
type=command
command=echo foo
root@leco:/home/leco# zip foo.zip foo.job 
updating: foo.job (deflated 13%)

我们把job的资源文件可以打包成为zip格式的。然后通过azkaban的web管理平台创建project并上传job压缩包即可。

操作步骤如下：

图片.png

图片.png

图片.png

图片.png

图片.png

azkaban1.gif

2：多依赖任务

创建有依赖关系的多个job描述,第一个job：foo.job

root@leco:/home/leco/cc# cat foo.job 
type=command
command=echo foo

将所有job资源文件打到一个zip包中

root@leco:/home/leco/cc# ls foobar.zip 
foobar.zip

图片.png

3：HDFS 任务¶

通过azkaban 在hdfs上创建以azkaban为名的目录。

root@leco:/home/leco/cc# ls
bar.job  foobar.zip  foo.job  foo.zip  hdfs.job
root@leco:/home/leco/cc# zip hdfs.zip hdfs.job 
  adding: hdfs.job (deflated 12%)
root@leco:/home/leco/cc# cat hdfs.job 
type=command
command=/usr/local/hadoop-2.6.5/bin/hadoop fs -mkdir /azkaban

开始之前检查hdfs

[root@master server]# hadoop fs -ls /|grep azkaban
[root@master server]#

开始之前hdfs没有azkaban目录

azkaban3.gif

查看结果

[root@master server]# hadoop fs -ls /|grep azkaban
drwxr-xr-x   - root supergroup          0 2019-08-13 15:55 /azkaban

4. MapReduce任务¶

  Mr任务依然可以使用command的job类型来执行

  • 准备数据

[root@master hadoop]# hadoop fs -mkdir /azkaban_demo
[root@master hadoop]# hadoop fs -put /etc/passwd /azkaban_demo
[root@master hadoop]# hadoop fs -ls /azkaban_demo/
Found 1 items
-rw-r--r--   3 root supergroup       1159 2019-08-13 16:06 /azkaban_demo/passwd

  • mrwc

root@leco:/home/leco/cc# cat mrwc.job 
type=command
command=/usr/local/hadoop/bin/hadoop  jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /azkaban_demo /azkaban_out

root@leco:/home/leco/cc# ls mrwc*
mrwc.job  mrwc.zip

检查

[root@master hadoop]# hadoop fs -ls /azkaban_out
ls: `/azkaban_out': No such file or directory

图片.png

原创文章，作者：网友投稿，如若转载，请注明出处：https://www.cloudads.cn/archives/4216.html

赞 (0)
网友投稿网友投稿
0 0
上一篇 2022年10月16日 am11:04
下一篇 2022年10月16日 am11:05

相关推荐

发表评论

登录后才能评论