Consideraciones bastidor Hadoop
Un principio básico de Hadoop está escalando con nodos esclavos adicionales para satisfacer la creciente de datos en el almacenamiento y demandas -Procesamiento. En un modelo a escala de salida, debe considerar cuidadosamente el diseño clúster porque decenas, e incluso cientos, de nodos esclavos en última instancia, deben ser atormentado, impulsado, en red, y se enfría.
Factores de forma de servidor
Una de las primeras opciones que los arquitectos se enfrentará al diseñar un cluster Hadoop es cuál de los dos factores de forma de usar para los nodos de Hadoop:
Servidor de la hoja: Diseñado para una máxima densidad, se puede meter la mayor cantidad de estos bebés en un estante como sea posible. Los servidores blade encajan en recintos blade, que tienen muchos componentes de servidor estándar, como almacenamiento dedicado, redes, potencia y refrigeración. Estos componentes se comparten entre los servidores blade, lo que significa que cada servidor blade individual puede ser mucho menor.
Los servidores blade son una opción atractiva en la superficie, ya que podría tener un rack estándar y desplegar entre el 40 y 50 de estos servidores blade. El problema con el uso de cuchillas para los despliegues de Hadoop es que se basan en ciertos componentes compartidos, que no es acorde con la arquitectura nada compartida de Hadoop, donde cada uno de los nodos esclavos son autónomos y tienen sus propios recursos dedicados.
Más importante aún, las hojas tienen poco espacio para el almacenamiento conectado localmente, a menudo teniendo no más de dos o tres bahías de unidad. Esto es un no-arrancador para Hadoop, ya nodos esclavos necesitan mucha más capacidad de almacenamiento dedicado.
Rack de servidores: Servidores completos sin componentes compartidos y espacio para la expansión de hardware, servidores en rack son la verdadera opción para Hadoop porque están muy bien autónomo. Un servidor en rack que está configurado adecuadamente para ser un nodo esclavo Hadoop normalmente ocupa dos RU, para que pueda caber 20 de ellos en un rack estándar.
El costo de la propiedad
Al elegir y diseñar un nodo esclavo, sus consideraciones más importantes suelen ser los costes de adquisición iniciales y el volumen de almacenamiento. Sin embargo, el coste de propiedad también es importante. Es un acto de equilibrio muy bien, sin embargo, porque las opciones que afectan el costo de adquisición, el consumo de energía, refrigeración, el rendimiento del hardware, y la densidad son a menudo en oposición. En el nombre de ayudarle a tomar buenas decisiones, aquí hay algunos consejos (muy específico):
Reserva fuentes de alimentación redundantes para los nodos principales. Tener fuentes de alimentación redundantes de nodos esclavos es un exceso - un fallo de alimentación en un nodo esclavo no afectaría en gran medida el clúster. Sin embargo, tener fuentes de alimentación redundantes en todos los nodos esclavos aumentaría el consumo de energía y generar más calor.
Elige medio-de-la-carretera velocidades de reloj para esclavo CPUs nodo. CPUs con mayor reloj no sólo acelera cuestan más, pero también utilizan más energía y generan mucho más calor.
Elija servidores en rack que están diseñados para Hadoop. Con la creciente popularidad de Hadoop, todos los principales proveedores de hardware ofrecen ahora los servidores de bastidor que son nodos esclavos ideales, con 12 a 20 bahías de unidad de almacenamiento conectado localmente.
Servidores de rack diseñados para funcionar como nodos esclavos Hadoop suelen ser demasiado grandes para caber en un factor de forma de una empresa ferroviaria, pero ocupando de dos empresas ferroviarias puede resultar en el espacio perdido. Para el uso más eficiente del espacio, algunos fabricantes de hardware han lanzado servidores en rack que abarrotan múltiples nodos esclavos en un solo chasis.
A modo de ejemplo, en esta forma comprimida, un bastidor estándar puede tener hasta 27 nodos esclavos (incluso con los conmutadores de red), donde cada nodo esclavo tiene espacio para 15 unidades de disco para HDFS. El resultado de esta disposición es mucho más alta densidad y un mejor uso del espacio en el centro de datos.
Hadoop distribuido sistema de archivos (HDFS) federación La solución a la expansión de grupos de Hadoop indefinidamente es federar el NameNode. Antes de Hadoop 2 entró en escena, racimos de Hadoop tuvieron que vivir con el hecho de que NameNode coloca límites al grado en que podrían escalar. Pocos…
Hadoop distribuido sistema de archivos (HDFS) alta disponibilidad A menudo en la infancia de Hadoop, una gran cantidad de debate se centra en la representación de la NameNode de un único punto de fallo. Hadoop, en general, ha tenido siempre una arquitectura robusta y el fracaso-tolerante, con la excepción de…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
¿Cómo poner en marcha una aplicación de MapReduce en hadoop 1 Para ver cómo el JobTracker y TaskTracker trabajan juntos para llevar a cabo una acción de MapReduce, echar un vistazo a la ejecución de una aplicación de MapReduce. La figura muestra las interacciones, y la siguiente lista de pasos establece el…
Lleve un registro de los bloques de datos con NameNode en HDFS El NameNode actúa como la libreta de direcciones para Hadoop Distributed File System (HDFS), ya que no sólo sabe que bloquea constituyen archivos individuales, sino también el lugar donde se almacenan cada uno de estos bloques y sus réplicas.…
Nodos Máster en racimos de Hadoop Los nodos principales en racimos de Hadoop distribuidos reciban a los diferentes servicios de almacenamiento y gestión de procesamiento, que se describen en esta lista, por todo el clúster Hadoop. La redundancia es fundamental para evitar los…
Racimos de Redes y Hadoop Como con cualquier sistema distribuido, redes puede hacer o deshacer un cluster Hadoop: No " ir barato ". Una gran parte de la charla tiene lugar entre los nodos principales y nodos esclavos en un clúster Hadoop que es esencial para mantener el…
Replicar los bloques de datos en el sistema de archivos distribuido hadoop Hadoop Distributed File System (HDFS) está diseñado para almacenar datos en barato y más fiable, hardware. Barato tiene un anillo atractivo a la misma, pero plantea preocupaciones sobre la fiabilidad del sistema en su conjunto, especialmente para…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Dimensionar el clúster Hadoop Dimensionamiento cualquier sistema de procesamiento de datos es tanto una ciencia como un arte. Con Hadoop, se tiene en cuenta la misma información que lo haría con una base de datos relacional, por ejemplo. Lo más significativo es lo que…
Nodos esclavos en el sistema de archivos distribuidos Hadoop (HDFS) En un clúster Hadoop, cada nodo de datos (también conocido como un nodo esclavo) Se ejecuta un proceso de fondo llamado DataNode. Este proceso de fondo (también conocido como una demonio) Comprueba los trozos de datos que el sistema almacena en…
Nodos esclavos en racimos de Hadoop En un universo Hadoop, nodos esclavos son los que los datos Hadoop se almacena y donde el procesamiento de datos se lleva a cabo. Los siguientes servicios permiten nodos esclavos para almacenar y procesar datos:NodeManager: Coordina los recursos…