您现在的位置是：网站首页> 编程资料编程资料
Azkaban3.81.x部署过程及遇到的坑_相关技巧_
2023-05-27
413人已围观
简介 Azkaban3.81.x部署过程及遇到的坑_相关技巧_
Azkaban是什么？
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
一、前提安装
1.1 Java1.8环境搭建
1) 下载jdk1.8并解压：
# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local
2) 添加Java环境变量，在/etc/profile中添加：
export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=$PATH:$JAVA_HOME/bin export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
3) 保存后刷新环境变量：
# source /etc/profile
4) 检查Java是否配置成功，成功配置会有如下图所示。
# java -version
1.2 MySQL安装
Ubuntu可以参考我的MySQL安装博文。
1.3 git安装
# sudo apt-get install git
1.4 下载azkaban
从github选取版本下载azkaban：
https://github.com/azkaban/azkaban/releases
在这里我选取了azkaban-3.18.4版本：
# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz
解压：
# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/ # cd /mnt/addDisk1/BigData/azkaban-3.84.4
1.5 编译
执行gradlew编译命令，跳过测试：
# ./gradlew distTar -x test
它会一下编译，直到编译成功，运行之后会生成5个压缩包，分别放在在azkaban-*/build/distributions/目录下：
azkaban-db-3.47.0-10-gdd67b02.tar.gz azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz azkaban-web-server-3.47.0-10-gdd67b02.tar.gz
接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban)，并重命名：
cd /mnt/addDisk1/BigData tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin
二、azkaban部署
2.1在MySQL中创建azkaban数据库：
create database azkaban; grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban'; flush privileges; use azkaban; # 将azkaban sql表结构导入mysql source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql
2.2 创建SSL配置：
# keytool -keystore keystore -alias jetty -genkey -keyalg RSA 运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下: 输入keystore密码： 再次输入新密码: 您的名字与姓氏是什么？ [Unknown]： 您的组织单位名称是什么？ [Unknown]： 您的组织名称是什么？ [Unknown]： 您所在的城市或区域名称是什么？ [Unknown]： 您所在的州或省份名称是什么？ [Unknown]： 该单位的两字母国家代码是什么 [Unknown]： CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？ [否]： y 密码在此我输入的是hadoop 输入的主密码 （如果和 keystore 密码相同，按回车）： 再次输入新密码:
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:
# sudo mv keystore azkaban/azkaban-web-server
2.3部署 azkaban-web-server
# cd ./azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/ # cd ./azkaban-web-server/conf
配置azkaban.properties:
# 默认时区,已改为亚洲/上海 默认为美国 default.timezone.id=Asia/Shanghai database.type=mysql #数据库类型 # h2.path=./h2 # h2.create.tables=true mysql.port=3306 #端口号 mysql.host=localhost #数据库连接IP mysql.database=azkaban #数据库实例名 mysql.user=root #数据库用户名 mysql.password=root #数据库密码 jetty.use.ssl=true jetty.maxThreads=25 #最大线程数 jetty.ssl.port=8443 #Jetty SSL端口 jetty.port=8081 #Jetty端口 jetty.keystore=keystore #SSL文件名 jetty.password=hadoop #SSL文件密码 jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同 jetty.truststore=keystore #SSL文件名 jetty.trustpassword=hadoop # SSL文件密码 # 执行服务器属性 executor.port=12321 #执行服务器端口 # 邮件设置 可不设计 mail.sender=xxxxxxxx@163.com #发送邮箱 mail.host=smtp.163.com #发送邮箱smtp地址 mail.user=xxxxxxxx #发送邮件时显示的名称 mail.password=********** #邮箱密码 job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址 job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址 lockdown.create.projects=false # cache.directory=cache #缓存目录
配置log4j.properties（默认就可以了，如有其他需求可修改）:
log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log4j.appender.server=org.apache.log4j.RollingFileAppender log4j.appender.server.layout=org.apache.log4j.PatternLayout log4j.appender.server.File=logs/azkaban-webserver.log log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n log4j.appender.server.MaxFileSize=102400MB log4j.appender.server.MaxBackupIndex=2 log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.Console.layout=org.apache.log4j.PatternLayout log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n添加管理员用户:
# sudo vim azkaban-users.xml
2.4部署 azkaban-exec-server
# cd /mnt/addDisk1/BigData/azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/ # cd ./azkaban-exec-server/conf
配置azkaban.properties：
# sudo vim azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #时区 # Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置 #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects #数据库设置 database.type=mysql #数据库类型(目前只支持mysql) mysql.port=3306 #数据库端口号 mysql.host=localhost #数据库IP地址 mysql.database=azkaban #数据库实例名 mysql.user=azkaba #数据库用户名 mysql.password=azkaba #数据库密码 mysql.numconnections=100 #最大连接数 # 执行服务器配置 executor.maxThreads=50 #最大线程数 executor.port=12321 #端口号(如修改,请与web服务中一致) executor.flow.threads=30 #线程数
在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录，将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录：
# cd /mnt/addDisk1/BigData/azkaban # sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/ # sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/
2.5启动web-server和exec-server
# ./azkaban-exec-server/bin/start-exec.sh # ./azkaban-web-server/bin/start-web.sh
2.6访问https://ip:8443打开azkaban的web页面
2.7 测试
三、遇到的问题
3.1、 找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。
2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector; 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.(Status.java:40) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows. (FetchActiveFlowDao.java:177) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(E
相关内容
- VSCODE添加open with code实现右键打开文件夹_相关技巧_
- 在VScode中创建你的代码模板的方法_相关技巧_
- vscode 前端最佳配置小结_相关技巧_
- 详解VSCode打开多个项目文件夹的解决方法_相关技巧_
- VSCode设置网页代码实时预览的实现_相关技巧_
- VsCode的jsconfig配置文件说明详解_相关技巧_
- vscode使用editorconfig插件以及.editorconfig配置文件说明详解_相关技巧_
- 搭建websocket消息推送服务,必须要考虑的几个问题_相关技巧_
- Linux/Ubuntu Git从安装到使用的方法步骤_相关技巧_
- 分享VSCOCE远程连接服务器的一次错误记录(推荐)_相关技巧_
点击排行
本栏推荐
