个人理财 如何在Hadoop中设置Apache Oozie

如何在Hadoop中设置Apache Oozie

视频: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2024

视频: Apache Oozie Tutorial | Hadoop Oozie Tutorial | Hadoop for Beginners | Intellipaat 2024
Anonim

Apache Oozie包含在每个主要的Hadoop发行版中,包括Apache Bigtop。在您的Hadoop集群中,在边缘节点上安装Oozie服务器,您也可以在集群的数据上运行其他客户端应用程序,如图所示。

边缘节点 被设计为Hadoop集群外部网络的网关。这使得它们成为数据传输技术(例如Flume)的理想选择,但是也适用于客户端应用程序和Oozie等其他应用程序基础结构。 Oozie不需要专用的服务器,并且可以很容易地与其他非常适合边缘节点的服务(如Pig和Hive)共存。

<! --1 - >

在部署完Oozie之后,您就可以启动Oozie服务器了。 Oozie的基础架构安装在$ OOZIE_HOME目录中。从那里运行oozie-start。 sh命令启动服务器。 (正如您所期望的那样,停止服务器需要输入oozie-stop.sh)。您可以运行命令

oozie admin -status

来测试Oozie实例的状态在部署和启动Oozie服务器之后,您可以编目并运行您的各种工作流程,协调员或捆绑作业。处理作业时,Oozie存储目录定义 - 描述所有Oozie对象(工作流,协调器和捆绑作业)的数据以及在专用数据库中的状态。

<! - 2 - >

默认情况下,Oozie被配置为使用嵌入式Derby数据库,但是如果需要,可以使用MySQL,Oracle或PostgreSQL。

您有四个与Oozie服务器交互的选项:

  • Java API: 在Java应用程序中有您自己的调度代码的情况下,您需要控制执行Oozie工作流,协调器或应用程序中的软件包。

    <! REST API:
  • 同样,这个选项在你想使用你自己的调度代码作为你的Oozie工作流,协调器或者bundle的基础的情况下,或者如果你想要构建自己的界面或扩展现有界面来管理Oozie服务器。 命令行界面(CLI):

  • 这是Oozie的传统Linux命令行界面。 Oozie

  • Web控制台: 好的,也许你在这里不能做太多的交互,但是Oozie Web控制台为你提供了(只读)Oozie服务器状态的视图,用于监控您的Oozie作业。 Hue Hadoop管理界面提供了另一个与Oozie一起工作的工具。Oozie工作流程,协调器和软件包都是使用XML进行定义的,编辑起来很麻烦,尤其是对于复杂的情况。 Hue提供了一个GUI设计器工具来以图形方式构建工作流和其他Oozie对象。 Oozie包含一个嵌入式Tomcat Web服务器,用于处理输入和输出。

如何在Hadoop中设置Apache Oozie

编辑的选择

在Flash中使用活动文本 - 虚拟人物

在Flash中使用活动文本 - 虚拟人物

静态文本完成工作,为您提供信息网站访问者。但是Flash可以用文本来做更多的事情。有时候,你不希望自己的文本是文本,而是喜欢一堆可以弯曲,扭曲,移动,或者不能混合的独立字母形状。 Flash的分离命令...

移动网站质量保证测试 - 傻瓜

移动网站质量保证测试 - 傻瓜

在为IPhone推出新网站之前, iPad,始终在iPhone或iPad上全面测试其设计和功能,确保网站的外观和工作方式与您的想法完全相同。使用模拟器不能替代完成物理设备上的最终检查表。 As ...

QuarkXPress 5基本任务的快捷方式 - 虚拟人物

QuarkXPress 5基本任务的快捷方式 - 虚拟人物

QuarkXPress 5具有数吨和数吨的快捷方式。你大概不会记住他们中的大多数,但是你一定会发现自己一直在使用一两个。这里有一些有用的视图,调色板和对象选择任务的快捷键。 QuarkXPress查看快捷方式操作Mac Windows 100%命令+ 1 Ctrl + 1在窗口中装入Command + 0 Ctrl + 0 200%...

编辑的选择

如何将尼康D5300照片下载到计算机 - 傻瓜

如何将尼康D5300照片下载到计算机 - 傻瓜

你的尼康D5300,你可能会想用他们的照片编辑软件。您可以用两种方法将照相机中的照片和电影文件移到电脑上:通过USB电缆将照相机连接到电脑。您需要的电缆是随附的。

如何在播放期间放大尼康D7100照片 - 虚拟人物

如何在播放期间放大尼康D7100照片 - 虚拟人物

您的尼康D7100,如左图所示,您可以放大它,如右图所示。但是,您只能放大静止照片。此功能不适用于电影。以下是如何使用放大功能:放大。按Qual按钮。您可以...

如何在尼康D7100上播放时隐藏照片 - 虚拟人物

如何在尼康D7100上播放时隐藏照片 - 虚拟人物

可以使用隐藏图像选项在尼康D7100的播放菜单上隐藏一些照片,同时在播放过程中显示其他照片。假设你拍了100张照片--50次在商务会议上,50次在野外会议后。您想向您的老板展示您和您的同事的照片...

编辑的选择

IBS受害者如何制作草莓和奶油燕麦 - 假人

IBS受害者如何制作草莓和奶油燕麦 - 假人

您可以享用燕麦片如果你患有IBS。当快燕麦烹饪时,切碎草莓和香蕉(IBS主食),并从冰箱中取出椰奶。一旦这样做,燕麦片通常是准备倒。你可以添加不同的水果,甚至坚果作为你的...

如何为IBS患者制作绿鸡蛋烘焙者 - 假人

如何为IBS患者制作绿鸡蛋烘焙者 - 假人

使用自由放养的鸡,因为它们是谷物喂养,没有生长激素和抗生素,因此,IBS的肚子更健康。用任何鸡肉菜肴,一定要煮好你使用的任何一种鸡肉。当你对这道菜更加熟悉的时候,你可能会发现你并不需要...