视频: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2024
Apache Oozie包含在每个主要的Hadoop发行版中,包括Apache Bigtop。在您的Hadoop集群中,在边缘节点上安装Oozie服务器,您也可以在集群的数据上运行其他客户端应用程序,如图所示。
边缘节点 被设计为Hadoop集群外部网络的网关。这使得它们成为数据传输技术(例如Flume)的理想选择,但是也适用于客户端应用程序和Oozie等其他应用程序基础结构。 Oozie不需要专用的服务器,并且可以很容易地与其他非常适合边缘节点的服务(如Pig和Hive)共存。
<! --1 - >在部署完Oozie之后,您就可以启动Oozie服务器了。 Oozie的基础架构安装在$ OOZIE_HOME目录中。从那里运行oozie-start。 sh命令启动服务器。 (正如您所期望的那样,停止服务器需要输入oozie-stop.sh)。您可以运行命令
oozie admin -status
来测试Oozie实例的状态在部署和启动Oozie服务器之后,您可以编目并运行您的各种工作流程,协调员或捆绑作业。处理作业时,Oozie存储目录定义 - 描述所有Oozie对象(工作流,协调器和捆绑作业)的数据以及在专用数据库中的状态。
<! - 2 - >默认情况下,Oozie被配置为使用嵌入式Derby数据库,但是如果需要,可以使用MySQL,Oracle或PostgreSQL。
您有四个与Oozie服务器交互的选项:
-
Java API: 在Java应用程序中有您自己的调度代码的情况下,您需要控制执行Oozie工作流,协调器或应用程序中的软件包。
<! REST API: -
同样,这个选项在你想使用你自己的调度代码作为你的Oozie工作流,协调器或者bundle的基础的情况下,或者如果你想要构建自己的界面或扩展现有界面来管理Oozie服务器。 命令行界面(CLI):
-
这是Oozie的传统Linux命令行界面。 Oozie
-
Web控制台: 好的,也许你在这里不能做太多的交互,但是Oozie Web控制台为你提供了(只读)Oozie服务器状态的视图,用于监控您的Oozie作业。
Hue Hadoop管理界面提供了另一个与Oozie一起工作的工具。Oozie工作流程,协调器和软件包都是使用XML进行定义的,编辑起来很麻烦,尤其是对于复杂的情况。 Hue提供了一个GUI设计器工具来以图形方式构建工作流和其他Oozie对象。