网络和Hadoop集群 - 傻瓜

与任何分布式系统一样，网络可以建立或中断Hadoop群集：不要“便宜。 “Hadoop集群中的主节点和从节点之间会产生大量的震荡，这对于保持集群运行至关重要，因此建议使用企业级交换机。

对于群集中的每个机架，需要两个架顶式（ToR）交换机，以实现冗余和性能。使用10GbE作为ToR交换机。

<！ - 1 - >

ToR交换机是将机架中的所有计算机连接在一起的网络交换机。你通常看到他们在机架的顶部，这就是为什么人们说“顶架”。 “另一种联网方法是使用行尾（EoR）开关，但是你不会经常看到这种情况。从联网的角度来看，ToR方法对于增长集群来说更简单。例如，使用ToR交换机添加从节点和附加机架要比EoR容易得多。

<！当有三个以上的机架时，至少需要两个核心交换机（主要是为了冗余，而且为了性能）。这些核心交换机处理大量的流量，所以40GbE是必需的。

如果您正在构建或扩展集群以跨越多个机架，请与熟悉Hadoop的网络专家，未来的增长计划以及工作负载联系。糟糕的网络会严重影响性能，但也会使未来的增长变得痛苦和昂贵。