个人理财 使用Sqoop导入数据 - 假人

使用Sqoop导入数据 - 假人

视频: 千锋大数据教程:94 Sqoop使用query导入和export导出 2024

视频: 千锋大数据教程:94 Sqoop使用query导入和export导出 2024
Anonim

准备好用Sqoop来导入数据?首先看一下这个图,它说明了从RDBMS或数据仓库系统进行典型的Sqoop导入操作的步骤。这里没有太复杂的东西 - 只是一个典型的产品数据表(典型的)是从典型的数据管理系统(DMS)导入到一个典型的Apache Hadoop集群中的虚拟公司。

<! - 1 - >

在步骤1中,Sqoop使用适当的连接器从目标DMS检索产品表元数据。 (元数据用于将Products表中的数据类型映射到Java语言中的数据类型。)然后,步骤2使用这个元数据生成并编译一个Java类,这个Java类将被一个或多个map任务用来从Products表中导入实际的行。 Sqoop将生成的Java类保存到临时空间或您指定的目录,以便您可以将其用于后续处理数据记录。

<! - 2 - >

为您保存的Sqoop生成的Java代码就像是一直在奉献的礼物!使用此代码,Sqoop从DMS导入记录,并使用以下三种格式之一将它们存储到HDFS:二进制Avro数据,二进制序列文件或分隔文本文件。之后,您可以使用此代码进行后续数据处理。如果您要导入二进制数据类型,序列文件是一个自然的选择,您将需要生成的Java类来稍后对数据进行序列化和反序列化 - 可能用于MapReduce处理或导出。 Avro数据 - 基于Apache自己的序列化框架 - 在导入HDFS之后需要与其他应用程序交互时非常有用。

如果您选择以分隔文本格式存储导入的数据,则可能会在解析数据格式并对新数据执行数据格式转换时发现生成的Java代码。您将看到生成的代码还可以帮助您在Sqoop导入操作之后合并数据集,并且生成的Java代码可以帮助避免处理分隔文本数据时出现歧义。最后,在步骤3中,Sqoop将产品表中的数据记录分成许多映射任务(用户可选指定的映射器数量),并将表数据导入HDFS,Hive或HBase。

使用Sqoop导入数据 - 假人

编辑的选择

在Flash中使用活动文本 - 虚拟人物

在Flash中使用活动文本 - 虚拟人物

静态文本完成工作,为您提供信息网站访问者。但是Flash可以用文本来做更多的事情。有时候,你不希望自己的文本是文本,而是喜欢一堆可以弯曲,扭曲,移动,或者不能混合的独立字母形状。 Flash的分离命令...

移动网站质量保证测试 - 傻瓜

移动网站质量保证测试 - 傻瓜

在为IPhone推出新网站之前, iPad,始终在iPhone或iPad上全面测试其设计和功能,确保网站的外观和工作方式与您的想法完全相同。使用模拟器不能替代完成物理设备上的最终检查表。 As ...

QuarkXPress 5基本任务的快捷方式 - 虚拟人物

QuarkXPress 5基本任务的快捷方式 - 虚拟人物

QuarkXPress 5具有数吨和数吨的快捷方式。你大概不会记住他们中的大多数,但是你一定会发现自己一直在使用一两个。这里有一些有用的视图,调色板和对象选择任务的快捷键。 QuarkXPress查看快捷方式操作Mac Windows 100%命令+ 1 Ctrl + 1在窗口中装入Command + 0 Ctrl + 0 200%...

编辑的选择

如何将尼康D5300照片下载到计算机 - 傻瓜

如何将尼康D5300照片下载到计算机 - 傻瓜

你的尼康D5300,你可能会想用他们的照片编辑软件。您可以用两种方法将照相机中的照片和电影文件移到电脑上:通过USB电缆将照相机连接到电脑。您需要的电缆是随附的。

如何在播放期间放大尼康D7100照片 - 虚拟人物

如何在播放期间放大尼康D7100照片 - 虚拟人物

您的尼康D7100,如左图所示,您可以放大它,如右图所示。但是,您只能放大静止照片。此功能不适用于电影。以下是如何使用放大功能:放大。按Qual按钮。您可以...

如何在尼康D7100上播放时隐藏照片 - 虚拟人物

如何在尼康D7100上播放时隐藏照片 - 虚拟人物

可以使用隐藏图像选项在尼康D7100的播放菜单上隐藏一些照片,同时在播放过程中显示其他照片。假设你拍了100张照片--50次在商务会议上,50次在野外会议后。您想向您的老板展示您和您的同事的照片...

编辑的选择

IBS受害者如何制作草莓和奶油燕麦 - 假人

IBS受害者如何制作草莓和奶油燕麦 - 假人

您可以享用燕麦片如果你患有IBS。当快燕麦烹饪时,切碎草莓和香蕉(IBS主食),并从冰箱中取出椰奶。一旦这样做,燕麦片通常是准备倒。你可以添加不同的水果,甚至坚果作为你的...

如何为IBS患者制作绿鸡蛋烘焙者 - 假人

如何为IBS患者制作绿鸡蛋烘焙者 - 假人

使用自由放养的鸡,因为它们是谷物喂养,没有生长激素和抗生素,因此,IBS的肚子更健康。用任何鸡肉菜肴,一定要煮好你使用的任何一种鸡肉。当你对这道菜更加熟悉的时候,你可能会发现你并不需要...