Racimos de Redes y Hadoop

Como con cualquier sistema distribuido, redes puede hacer o deshacer un cluster Hadoop: No " ir barato ". Una gran parte de la charla tiene lugar entre los nodos principales y nodos esclavos en un clúster Hadoop que es esencial para mantener el cluster en ejecución, por lo que los interruptores de nivel empresarial son sin duda recomendable.

Para cada estante en el clúster, necesita dos (TdR) switches top-of-rack, tanto para redundancia y rendimiento. Utilice 10 GbE para switches Tor.

Interruptores TdR son conmutadores de red que conectan todas las computadoras en un rack juntos. Normalmente los ve en la parte superior de un estante, que es por eso que la gente dice ". Top-of-rack " Un enfoque de red alternativa es utilizar al final de la fila (EOR) interruptores pero, ya no ven esto muy a menudo.

El enfoque TdR es más simple desde una perspectiva de la creación de redes para clusters de crecimiento. Por ejemplo, la adición de nodos esclavos y bastidores adicionales es mucho más fácil con interruptores TdR que EoR.

Cuando se tiene más de tres bastidores, usted necesitará por lo menos dos conmutadores de núcleo (de nuevo, principalmente para la redundancia, sino también para el rendimiento). Estos conmutadores centrales manejan grandes cantidades de tráfico, por lo 40GbE es una necesidad.

Si usted está construyendo o ampliando un clúster para abarcar varios bastidores, contratar a expertos que están familiarizados con Hadoop, sus planes de crecimiento futuro, y su carga de trabajo en red. Mala redes puede obstaculizar gravemente el rendimiento, pero también puede hacer que el crecimiento futuro doloroso y costoso.