如何设置大数据架构基础 - 虚拟变量

如果您希望获得大数据的成功，奠定坚实的架构基础至关重要。除了支持功能要求外，支持所需的性能也很重要。您的需求将取决于您所支持的分析的性质。你将需要适量的计算能力和速度。

您的架构还必须具有适量的冗余，以免受到意外延迟和停机时间的影响。

<！ - 1 - >

首先问自己以下问题：

• 您的组织今天和将来需要管理多少数据？

• 您的组织多长时间需要实时或接近实时地管理数据？

• 您的组织承担多少风险？您的行业是否受到严格的安全性，合规性和治理要求？

• 速度对于管理数据的需求有多重要？

• 数据有多确切或精确？

  

大数据的接口和提要

为了理解现实世界中的大数据如何工作，首先了解接口和提要的必要性。事实上，让大数据变得更大的是，它依赖于从很多来源获取大量数据。

<！因此，开放的应用程序编程接口（API）将成为任何大数据架构的核心。另外，请记住，接口存在于每个层次和堆栈的每一层之间。没有整合服务，大数据就不可能发生。冗余大数据物理基础设施

支持物理基础设施是大数据架构的操作和可扩展性的基础。事实上，如果没有强大的物理基础设施，大数据可能不会成为如此重要的趋势。为了支持意外或不可预测的数据量，大数据的物理基础设施必须与传统数据的物理基础设施不同。物理基础设施基于分布式计算模型。这意味着数据可能被物理地存储在许多不同的位置，并且可以通过网络，使用分布式文件系统以及各种大数据分析工具和应用程序来链接在一起。冗余是重要的，因为你正在处理来自这么多不同来源的大量数据。冗余有多种形式。如果您的公司已经创建了私有云，您将希望在私有环境中构建冗余，以便可以扩展以支持不断变化的工作负载。

如果贵公司想要控制内部IT增长，则可能会使用外部云服务来增加其内部资源。在某些情况下，这种冗余可能以软件即服务（SaaS）产品的形式出现，允许公司将复杂的数据分析作为服务。 SaaS方法提供了更低的成本，更快的启动速度以及底层技术的无缝发展。

大数据安全基础设施

对企业来说越重要的大数据分析，保护这些数据就越重要。例如，如果您是一家医疗保健公司，您可能希望使用大数据应用程序来确定人口统计变化或患者需求变化。这些有关您的选民的数据需要得到保护，以满足合规要求并保护患者的隐私。

您需要考虑允许哪些人查看数据，以及在什么情况下允许他们这样做。您需要能够验证用户的身份以及保护患者的身份。

可操作的大数据源

重要的是要了解必须包含所有数据来源，才能让您全面了解业务情况，并了解数据如何影响业务运营方式。随着世界的变化，重要的是要了解运营数据现在必须包含更广泛的数据源，包括非结构化数据源，例如各种形式的社交媒体数据。您可以在大数据世界找到新兴的数据管理方法，包括文档，图形，列和地理空间数据库体系结构。这些统称为

NoSQL，

或不只是SQL数据库。实质上，您需要将数据架构映射到事务类型。

这样做有助于确保

正确的

数据在您需要时可用。您还需要支持复杂的非结构化内容的数据体系结构。您需要在处理大数据的方法中包含关系数据库和非关系数据库。还需要包括内容管理系统等非结构化数据源，以便您能够接近360度的业务视图。 所有这些操作数据源都有几个共同的特征： 它们代表记录系统，用于跟踪企业的实时日常操作所需的关键数据。

它们会根据业务单位内部和网络上发生的交易而不断更新。对于这些来源提供业务的准确表示，他们必须混合结构化和非结构化数据。 这些系统还必须能够进行扩展，以便在一致的基础上支持数千个用户。这些可能包括交易电子商务系统，客户关系管理系统或呼叫中心应用程序。