个人理财 如何在Hadoop中设置Apache Oozie

如何在Hadoop中设置Apache Oozie

视频: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2025

视频: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2025
Anonim

Apache Oozie包含在每个主要的Hadoop发行版中,包括Apache Bigtop。在您的Hadoop集群中,在边缘节点上安装Oozie服务器,您也可以在集群的数据上运行其他客户端应用程序,如图所示。

边缘节点 被设计为Hadoop集群外部网络的网关。这使得它们成为数据传输技术(例如Flume)的理想选择,但是也适用于客户端应用程序和Oozie等其他应用程序基础结构。 Oozie不需要专用的服务器,并且可以很容易地与其他非常适合边缘节点的服务(如Pig和Hive)共存。

<! --1 - >

在部署完Oozie之后,您就可以启动Oozie服务器了。 Oozie的基础架构安装在$ OOZIE_HOME目录中。从那里运行oozie-start。 sh命令启动服务器。 (正如您所期望的那样,停止服务器需要输入oozie-stop.sh)。您可以运行命令

oozie admin -status

来测试Oozie实例的状态在部署和启动Oozie服务器之后,您可以编目并运行您的各种工作流程,协调员或捆绑作业。处理作业时,Oozie存储目录定义 - 描述所有Oozie对象(工作流,协调器和捆绑作业)的数据以及在专用数据库中的状态。

<! - 2 - >

默认情况下,Oozie被配置为使用嵌入式Derby数据库,但是如果需要,可以使用MySQL,Oracle或PostgreSQL。

您有四个与Oozie服务器交互的选项:

  • Java API: 在Java应用程序中有您自己的调度代码的情况下,您需要控制执行Oozie工作流,协调器或应用程序中的软件包。

    <! REST API:
  • 同样,这个选项在你想使用你自己的调度代码作为你的Oozie工作流,协调器或者bundle的基础的情况下,或者如果你想要构建自己的界面或扩展现有界面来管理Oozie服务器。 命令行界面(CLI):

  • 这是Oozie的传统Linux命令行界面。 Oozie

  • Web控制台: 好的,也许你在这里不能做太多的交互,但是Oozie Web控制台为你提供了(只读)Oozie服务器状态的视图,用于监控您的Oozie作业。 Hue Hadoop管理界面提供了另一个与Oozie一起工作的工具。Oozie工作流程,协调器和软件包都是使用XML进行定义的,编辑起来很麻烦,尤其是对于复杂的情况。 Hue提供了一个GUI设计器工具来以图形方式构建工作流和其他Oozie对象。 Oozie包含一个嵌入式Tomcat Web服务器,用于处理输入和输出。

如何在Hadoop中设置Apache Oozie

编辑的选择

记录您的思科网络配置与CDP - 傻瓜

记录您的思科网络配置与CDP - 傻瓜

记录思科网络配置有时没有思科发现协议)可能需要花费数小时在布线室跟踪电缆和记录端口。在某些情况下,配线室是一个真正的老鼠的电缆巢,并且可能需要几个小时的导航才能找出哪些交换机连接到哪个交换机,哪些路由器,...

以太网通道诊断信息收集 - 虚拟

以太网通道诊断信息收集 - 虚拟

诊断思科网络中的以太网通道问题,您首先必须能够收集您的交换机及其配置。为了执行这个任务,你一如既往地依靠Show和debug命令。首先,简要介绍一下show命令的内容。 Switch1> enable Switch1#configure terminal Switch2#show EtherChannel ...

扩展访问控制列表(ACL) - 虚拟

扩展访问控制列表(ACL) - 虚拟

扩展访问控制列表(ACL)允许您允许拒绝来自特定IP地址的流量到特定的目标IP地址和端口。它还允许您指定不同类型的流量,如ICMP,TCP,UDP等。不用说,它非常细化,可以使您非常具体。如果...

编辑的选择

电子项目计划步骤1:设想您的电子项目 - 傻瓜

电子项目计划步骤1:设想您的电子项目 - 傻瓜

设计和建立你的电子项目的细节,你应该退后一步,看看大局。首先,你需要确保你有一个坚实的想法为您的项目。你为什么要建立它?它会做什么,谁来使用它,为什么? ...

电子项目计划步骤4:构建您的电路 - 傻瓜

电子项目计划步骤4:构建您的电路 - 傻瓜

而且你对它的操作感到满意,你可以建立一个永久版本的电路。虽然有几种方法可以做到这一点,但最常见的是在印刷电路板(也称为PCB)上构建电路。请注意,在PCB上组装电路...

电子项目计划步骤3:原型电路 - 假人

电子项目计划步骤3:原型电路 - 假人

永久的电路板,你会想确保它的工作。最简单的方法就是在无焊面包板上构建电路。无焊料面包板可以让您快速组装电路元件而不需要焊接任何东西。相反,您只需将其裸露在外...

编辑的选择

如何替换R中的文本 - 虚拟变量

如何替换R中的文本 - 虚拟变量

R中的sub()函数在文本模式,并用替换文本替换此模式。你使用sub()来替代文本文本,并使用其表兄gsub()来替换所有出现的模式。 (gsub()中的g表示全局。)假设你有句子He ...

中如何成功地遵循命名惯例在R - 傻瓜

中如何成功地遵循命名惯例在R - 傻瓜

R是非常自由的,对象和功能。这个自由是一个很大的祝福,同时也是一个很大的负担。没有人不得不遵循严格的规则,所以在R中编程的人基本上可以按照自己的意愿去做。如何选择一个正确的名字...

中使用函数在R中创建并转换脚本后,如何使用R - dummies中的函数

中使用函数在R中创建并转换脚本后,如何使用R - dummies中的函数

再次使用前面显示的Source()命令将其加载到控制台中。现在你看...什么也没有。 R并不让你知道它已经加载了这个函数,但它已经在工作空间中了,你可以检查一下...