Comandos de administración de Hadoop

Cualquier administrador de Hadoop que se precie debe dominar un amplio conjunto de comandos para la administración del clúster. La siguiente lista resume los comandos más importantes, lo que indica lo que hace el comando, así como la sintaxis y ejemplos. Conócelos, y usted avanzará un largo camino en el camino hacia la sabiduría Hadoop.

• balancín: Ejecuta la utilidad de clúster de equilibrio. El valor umbral especificado, lo que representa un porcentaje de la capacidad del disco, se utiliza para sobrescribir el valor de umbral predeterminado (10 por ciento). Para detener el proceso de reequilibrio, pulse Ctrl + C.

  Sintaxis: hadoop equilibrador [-threshold ]

  Ejemplo: equilibrador hadoop -threshold 20

• daemonlog: Obtiene o establece el nivel de registro para cada daemon (también conocido como un servicio). Se conecta a http: // host: puerto / log logLevel = nombre y grabados o establece el nivel de registro del demonio que se está ejecutando en host: puerto. Demonios Hadoop generan archivos de registro que le ayudan a determinar lo que está sucediendo en el sistema, y ​​usted puede utilizar el daemonlog comando para cambiar temporalmente el nivel de registro de un componente de Hadoop cuando se está depurando el sistema. El cambio se hace efectivo cuando el demonio se reinicia.

  Sintaxis: hadoop daemonlog -getlevel - hadoop daemonlog -setlevel

  Ejemplo: hadoop daemonlog -getlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker- hadoop daemonlog -setlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker DEBUG

• DataNode: Ejecuta el servicio DataNode HDFS, que coordina el almacenamiento en cada nodo esclavo. Si especifica -rollback, el DataNode se revierte a la versión anterior. Detenga el DataNode y distribuir la versión anterior Hadoop antes de usar esta opción.

  Sintaxis: hadoop DataNode [-rollback]

  Ejemplo: hadoop DataNode -rollback

• dfsadmin: Ejecuta una serie de Hadoop Distributed File System (HDFS) operaciones administrativas. Utilizar el -Ayuda opción para ver una lista de todas las opciones soportadas. Las opciones genéricas son un conjunto común de opciones soportadas por varios comandos.

  Sintaxis: Hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode entrar | dejar | llegar | espere] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress estado | detalles | fuerza] [nombre de archivo -metasave] [-setQuota ...] [-clrQuota ...] [-restoreFailedStorage True | false | cheque] [-help [cmd]]

• mradmin: Ejecuta una serie de operaciones administrativas MapReduce. Utilizar el -Ayuda opción para ver una lista de todas las opciones soportadas. Una vez más, las opciones genéricas son un conjunto común de opciones que son compatibles con varios comandos. Si especifica -refreshServiceAcl, vuelve a cargar el archivo de política de autorización de nivel de servicio (JobTracker vuelve a cargar el archivo de política de autorización) - -refreshQueues Vuelve a cargar las listas de control de acceso de colas (ACL) y el estado (JobTracker recarga la -queues.xml mapred archivo)- -refreshNodes actualiza la información de los ejércitos en la JobTracker- -refreshUserToGroupsMappings refresca usuario a-grupos mappings- -refreshSuperUserGroupsConfiguration refreshes grupos de proxy de superusuario mappings- y -ayudar a [cmd] visualiza la ayuda para el comando determinado o para todos los comandos, si no se especifica ninguno.

  Sintaxis: mradmin hadoop [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Ejemplo: hadoop mradmin -help -refreshNodes

• JobTracker: Ejecuta el nodo MapReduce JobTracker, que coordina el sistema de procesamiento de datos para Hadoop. Si especifica -dumpConfiguration, la configuración que se utiliza por el JobTracker y la configuración de colas en formato JSON se escriben en la salida estándar.

  Sintaxis: JobTracker hadoop [-dumpConfiguration]

  Ejemplo: hadoop JobTracker -dumpConfiguration

• NameNode: Ejecuta el NameNode, que coordina el almacenamiento para todo el clúster Hadoop. Si especifica -formato, se inicia el NameNode, el formato, y luego con stopped- -actualización, el NameNode se inicia con la opción de actualización después de una nueva versión de Hadoop es distributed- con -rollback, el NameNode se revierte a la versión anterior (recuerde que debe detener el clúster y distribuir la versión anterior Hadoop antes de usar esta opción) - con -ultimar, se elimina el estado previo del sistema de archivos, el más reciente actualización se hace permanente, rollback ya no está disponible, y el NameNode es stopped- finalmente, con -importCheckpoint, una imagen se carga desde el directorio de punto de control (según lo especificado por la fs.checkpoint.dir propiedad) y se guarda en el directorio actual.

  Sintaxis: NameNode hadoop [-format] | [upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

  Ejemplo: hadoop NameNode -finalize

• NameNode Secundaria: Ejecuta el NameNode secundaria. Si especifica -control, un puesto de control en el NameNode secundaria se realiza si el tamaño de la EditLog (un registro de transacciones que registra cada cambio que se produce a los metadatos del sistema de archivos) es mayor que o igual a fs.checkpoint.size- especificar -fuerza y un puesto de control se lleva a cabo independientemente de la EditLog tamaño- especificar -geteditsize y el tamaño EditLog se imprime.

  Sintaxis: hadoop secondarynamenode [-checkpoint [fuerza]] | [-geteditsize]

  Ejemplo: -geteditsize hadoop secondarynamenode

• TaskTracker: Ejecuta un nodo MapReduce TaskTracker.

  Sintaxis: TaskTracker hadoop

  Ejemplo: TaskTracker hadoop