Administrar los recursos de datos grandes y aplicaciones con hilo hadoop
Planificación de tareas y seguimiento de los grandes datos son partes integrales de Hadoop MapReduce y se pueden usar para administrar los recursos y aplicaciones. Las primeras versiones de Hadoop apoyaron un sistema de seguimiento de trabajos y tareas rudimentarias, pero a medida que la mezcla de trabajo apoyado por Hadoop cambió, el programador no podían mantener el ritmo.
En particular, el antiguo programador no podía manejar trabajos no MapReduce, y era incapaz de optimizar la utilización de clúster. Así que una nueva capacidad fue diseñado para hacer frente a estas deficiencias y ofrecer más flexibilidad, eficiencia y rendimiento.
Sin embargo, otro negociador de recursos (HILO) es un servicio central Hadoop proporciona dos servicios principales:
La gestión global de los recursos (ResourceManager)
Gestión de cada aplicación (ApplicationMaster)
El ResourceManager es un servicio principal y control NodeManager en cada uno de los nodos de un clúster Hadoop. Incluido en el ResourceManager es programador, cuya única tarea es asignar los recursos del sistema a aplicaciones específicas de funcionamiento (tareas), pero no supervisa ni un seguimiento del estado de la aplicación.
Toda la información requerida del sistema se almacena en un contenedor de recursos. Contiene CPU detallada, disco, red y otros recursos importantes atributos necesarios para la ejecución de aplicaciones en el nodo y en el clúster.
Cada nodo tiene un NodeManager esclavizado a la ResourceManager global en el clúster. El NodeManager supervisa el uso de la aplicación de la CPU, disco, red, y la memoria y los informes de nuevo a la ResourceManager. Para cada aplicación que se ejecuta en el nodo hay un ApplicationMaster correspondiente.
Si son necesarias para apoyar la aplicación que se ejecuta más recursos, la ApplicationMaster notifica al NodeManager y la NodeManager negocia con el ResourceManager (Programador) para la capacidad adicional en nombre de la aplicación. El NodeManager también es responsable para el seguimiento del estado del trabajo y el progreso dentro de su nodo.
Hadoop MapReduce para grandes datos Para entender completamente las capacidades de Hadoop MapReduce, es importante diferenciar entre Mapa reducido (el algoritmo) y una implementación de Mapa reducido. Hadoop MapReduce es una implementación del algoritmo desarrollado y mantenido por…
Hadoop empleado del zoológico de grandes datos Mayor técnica de Hadoop para hacer frente a grandes desafíos de datos es su capacidad de dividir y conquistar con Zookeeper. Después de que el problema se ha dividido, la conquista se basa en la capacidad de emplear distribuida y técnicas de…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
¿Cómo poner en marcha una aplicación de MapReduce en hadoop 1 Para ver cómo el JobTracker y TaskTracker trabajan juntos para llevar a cabo una acción de MapReduce, echar un vistazo a la ejecución de una aplicación de MapReduce. La figura muestra las interacciones, y la siguiente lista de pasos establece el…
¿Cómo poner en marcha una aplicación basada hilo Para mostrar cómo los distintos HILO (otro negociador de recursos) los componentes trabajan juntos, se puede caminar a través de la ejecución de una aplicación. Por el bien del argumento, que puede ser una aplicación de MapReduce, con la…
Entrada divide en MapReduce de Hadoop La forma HDFS se ha establecido, se descompone muy grandes archivos en bloques grandes (por ejemplo, la medición de 128 MB), y almacena tres copias de estos bloques en diferentes nodos del clúster. HDFS no tiene conciencia del contenido de estos…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
Nodos Máster en racimos de Hadoop Los nodos principales en racimos de Hadoop distribuidos reciban a los diferentes servicios de almacenamiento y gestión de procesamiento, que se describen en esta lista, por todo el clúster Hadoop. La redundancia es fundamental para evitar los…
Replicar los bloques de datos en el sistema de archivos distribuido hadoop Hadoop Distributed File System (HDFS) está diseñado para almacenar datos en barato y más fiable, hardware. Barato tiene un anillo atractivo a la misma, pero plantea preocupaciones sobre la fiabilidad del sistema en su conjunto, especialmente para…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Nodos esclavos en racimos de Hadoop En un universo Hadoop, nodos esclavos son los que los datos Hadoop se almacena y donde el procesamiento de datos se lleva a cabo. Los siguientes servicios permiten nodos esclavos para almacenar y procesar datos:NodeManager: Coordina los recursos…
Maestro aplicación de hilado en hadoop A diferencia de otros componentes HILO (otro negociador de recursos aún), ningún componente en Hadoop 1 asigna directamente al Maestro de aplicaciones. En esencia, este es un trabajo que el JobTracker hizo para cada aplicación, pero la…