Nodos de borde en racimos de Hadoop

Nodos de borde son la interfaz entre el clúster Hadoop y la red exterior. Por esta razón, están a veces se denomina puerta de entrada

nodos. Por lo general, los nodos de borde se utilizan para ejecutar aplicaciones de cliente y herramientas de administración de clúster.

También se utilizan a menudo como áreas de escala para los datos que se transfieren en el clúster Hadoop. Como tal, Oozie, Cerdo, Sqoop, y las herramientas de gestión, como Hue y Ambari correr bien allí. La figura muestra los procesos que se pueden ejecutar en nodos perimetrales.

Nodos de borde son a menudo pasados ​​por alto en Hadoop arquitectura de hardware discusiones. Esta situación es desafortunado porque nodos de borde servir a un propósito importante en un clúster Hadoop, y tienen requisitos de hardware que son diferentes de maestros nodos y nodos esclavos.

En general, es una buena idea para reducir al mínimo las implementaciones de herramientas de administración de maestros nodos y nodos esclavos para asegurar que los servicios de Hadoop críticas como la NameNode tienen la menor competencia por los recursos como sea posible.

Usted debe evitar la colocación de una utilidad de transferencia de datos como Sqoop en otra cosa que un nodo de borde, ya que los volúmenes de transferencia de datos de alta podían arriesgarse a la capacidad de los servicios de Hadoop en el mismo nodo para comunicarse. El intercambio de servicios de mensajes de Hadoop son su sangre vital, tan alta latencia significa todo el nodo podría ser cortada de la agrupación.

La figura muestra dos nodos de borde, pero para muchos grupos de Hadoop un único nodo de borde sería suficiente. Nodos adicionales de borde son los más necesarios cuando el volumen de datos que se transfiere dentro o fuera del clúster es demasiado para un solo servidor para manejar.

Almacenamiento recomendada

Para los nodos de borde de un clúster Hadoop, utilizar el almacenamiento de clase empresarial. Para los nodos de borde se centraron en las herramientas de administración y aplicaciones de cliente que ejecutan, utilice cuatro unidades de 900GB SAS, junto con un controlador de disco duro RAID configurado para RAID 1 + 0.

Nodos de borde orientados a la ingestión de datos, obviamente necesitan mucho más espacio de almacenamiento, por lo que puede añadir unidades al nodo de borde. En este caso, utilice las unidades LFF SAS porque capacidades mucho más altos están disponibles, en comparación con las unidades SAS de factor de forma pequeño.

Procesadores recomendados

Un nodo de borde de propósito general sería bien servido por una configuración de procesador similar al que se utiliza para nodos esclavos - en concreto, un servidor de dos sockets con procesadores Ivy Bridge velocidad de reloj de entre 2 y 2,5 GHz.

Memoria recomendada

Para la mayoría de las cargas de trabajo en los nodos de borde, 48GB de RAM es suficiente.

Redes recomendado

Para permitir la comunicación entre la red exterior y el cluster Hadoop, nodos de borde deben ser multitarjeta en la subred privada del cluster Hadoop, así como en la red corporativa.

Un equipo multitarjeta es la que ha dedicado conexiones a múltiples redes. Éste es un ejemplo práctico de qué nodos de borde están perfectamente adecuados para la interacción con el mundo fuera del clúster Hadoop. Mantener el clúster Hadoop en su propia subred privada es una excelente práctica, por lo que estos nodos de borde servir como una ventana de control dentro de la agrupación.

Para los nodos de borde que sirven al propósito de la ejecución de aplicaciones de cliente o las herramientas de administración, dos pares de conexiones de red 1 GbE unidos se recomienda: un par para conectar al clúster Hadoop y otro par para la red exterior.

Nodos de borde orientados al manejo de las altas tasas de transferencia de datos entrantes y salientes tendrán dos (o más) pares de conectores de red de 10 GbE en condiciones de servidumbre: un par de conectarse al clúster Hadoop y otro par para la red exterior o datos específicos ingieren fuentes.