Hadoop de archivos distribuido comandos de shell del sistema

chgrp: Cambia la asociación grupo de archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el propietario del archivo o el superusuario.

Uso: hdfs dfs -chgrp [-R] GRUPO URI [URI # 133-]

chmod: Cambia los permisos de los archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el propietario del archivo o el superusuario

Uso: hdfs dfs -chmod [-R] URI [URI # 133-]

Ejemplo: hdfs dfs -chmod 777 prueba / data1.txt

chown: Cambia el propietario de los archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el usuario root.

Uso: hdfs dfs -chown [-R] [EMAIL] [: [GRUPO]] URI [URI]

Ejemplo: hdfs dfs -chown -R hduser2 / opt / Hadoop / logs

copyFromLocal: Funciona de manera similar a la poner comando, excepto que la fuente está restringida a una referencia de archivo local.

Uso: hdfs dfs -copyFromLocal URI

Ejemplo: hdfs dfs -copyFromLocal de entrada / docs / hdfs data2.txt: //localhost/user/rosemary/data2.txt

copyToLocal: Funciona de manera similar a la obtener comando, excepto que el destino está restringida a una referencia de archivo local.

Uso: hdfs dfs -copyToLocal [-ignorecrc] [-CRc] URI

Ejemplo: hdfs dfs -copyToLocal data2.txt data2.copy.txt

contar: Cuenta el número de directorios, archivos y bytes en virtud de las rutas que coinciden con el patrón de archivo especificado.

Uso: hdfs dfs -count [q]

Ejemplo: hdfs dfs -count hdfs: //nn1.example.com/file1 hdfs: //nn2.example.com/file2

cp: Copia uno o más archivos de un origen especificado a un destino especificado. Si especifica múltiples fuentes, el destino especificado debe ser un directorio.

Uso: hdfs dfs -cp URI [URI # 133-]

Ejemplo: hdfs dfs -cp / user / Hadoop / archivo1 / user / Hadoop / archivo2 / user / Hadoop / dir

du: Muestra el tamaño del archivo especificado, o los tamaños de los archivos y directorios que están contenidos en el directorio especificado. Si especifica el -s opción, se muestra un resumen agregado de tamaño de los archivos en lugar de tamaño de los archivos individuales. Si especifica el -h opción, da formato a los tamaños de los archivos de una manera "legible".

Uso: hdfs dfs -du [-s] [-h] URI [URI # 133-]

Ejemplo: hdfs dfs -du / user / Hadoop / dir1 / user / Hadoop / archivo1

dus: Muestra un resumen de equivalente de archivo Sizes- a hdfs dfs -du -s.

Uso: hdfs dfs -dus

borrar: Vacía la papelera. Cuando se elimina un archivo, éste no se elimina inmediatamente del HDFS, pero se cambia el nombre a un archivo en el / basura directorio. Mientras el archivo permanece allí, se puede recuperar si cambia de opinión, aunque sólo la última copia del archivo borrado puede ser restaurado.

Uso: hdfs dfs -expunge

obtener: Copias archivos en el sistema de archivos local. Los archivos que no logran una comprobación de redundancia cíclica (CRC) todavía se pueden copiar si especifica el -ignorecrc opción. El CRC es una técnica común para la detección de errores de transmisión de datos. Archivos de suma de comprobación CRC tienen la .crc extensión y se utilizan para verificar la integridad de los datos de otro archivo. Estos archivos se copian si especifica el -crc opción.

Uso: hdfs dfs-get [-ignorecrc] [-CRc]

Ejemplo: hdfs dfs-get / user / Hadoop / archivo3 localfile

getmerge: Concatena los archivos src y escribe el resultado en el archivo de destino local especificado. Para agregar un carácter de nueva línea al final de cada archivo, especifique el addnl opción.

Uso: hdfs dfs -getmerge [addnl]

Ejemplo: hdfs dfs -getmerge / user / Hadoop / mydir / ~ / addnl result_file

ls: Devoluciones estadísticas de los archivos o directorios especificados.

Uso: hdfs dfs -ls

Ejemplo: hdfs dfs -ls / user / Hadoop / archivo1

LSR: Sirve como la versión recursiva de ls- similar al comando Unix ls -R.

Uso: hdfs dfs -lsr

Ejemplo: hdfs dfs -lsr / user / hadoop

mkdir: Crea directorios en uno o más específicos caminos. Su comportamiento es similar al Unix mkdir -p comando, lo que crea todos los directorios que conducen hasta el directorio especificado si no existen ya.

Uso: hdfs dfs -mkdir

Ejemplo: hdfs dfs -mkdir / user / Hadoop / dir5 / temp

moveFromLocal: Funciona de manera similar a la poner comandos, excepto que se elimina la fuente después de que se copia.

Uso: hdfs dfs -moveFromLocal

Ejemplo: hdfs dfs -moveFromLocal localfile1 localfile2 / user / Hadoop / hadoopdir

mv: Mueve uno o más archivos de un origen especificado a un destino especificado. Si especifica múltiples fuentes, el destino especificado debe ser un directorio. Mover archivos a través de los sistemas de archivos no está permitido.

Uso: hdfs dfs -mv URI [URI # 133-]

Ejemplo: hdfs dfs -mv / user / Hadoop / archivo1 / user / Hadoop / archivo2

poner: Copia los archivos del sistema de archivos local al sistema de archivos de destino. Este comando también se puede leer la entrada de stdin y escribir en el sistema de archivo de destino.

Uso: hdfs dfs -Poner ...

Ejemplo: hdfs dfs -Poner localfile1 localfile2 / user / Hadoop / hadoopdir- hdfs dfs -Poner - / user / Hadoop / hadoopdir (lee la entrada de stdin)

rm: Elimina uno o más archivos especificados. Este comando no elimina directorios vacíos o archivos. Para omitir la basura (si está habilitado) y eliminar los archivos especificados de inmediato, especifique el -skipTrash opción.

Uso: hdfs dfs -rm [-skipTrash] URI [URI # 133-]

Ejemplo: hdfs dfs -rm hdfs: //nn.example.com/file9

rmr: Sirve como la versión recursiva de -rm.

Uso: hdfs dfs -rmr [-skipTrash] URI [URI # 133-]

Ejemplo: hdfs dfs -rmr / user / Hadoop / dir

setrep: Cambia el factor de replicación para un archivo o directorio especificado. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios.

Uso: hdfs dfs -setrep [-R]

Ejemplo: hdfs dfs -setrep 3 -R / user / Hadoop / dir1

stat: Muestra información sobre la ruta especificada.

Uso: dfs HDFS -stat URI [URI # 133-]

Ejemplo: hdfs dfs -stat / user / Hadoop / dir1

cola: Muestra el último kilobyte de un archivo especificado stdout. La sintaxis apoya el Unix -F opción, que permite que el archivo especificado para ser monitoreado. A medida que se añaden nuevas líneas al archivo por otro proceso, tafligir actualiza la pantalla.

Uso: hdfs dfs -tail [-f] URI

Ejemplo: hdfs dfs -tail / user / Hadoop / dir1

prueba: Devuelve los atributos del archivo o directorio especificado. Especifica -e para determinar si el archivo o directorio existe- -z para determinar si el archivo o directorio está vacía- y -d para determinar si el URI es un directorio.

Uso: hdfs dfs-test - [EZD] URI

Ejemplo: hdfs dfs-test / user / Hadoop / dir1

texto: Emite un archivo de origen especificado en formato de texto. Formatos de archivo de entrada válidos son cremallera y TextRecordInputStream.

Uso: hdfs dfs -text

Ejemplo: hdfs dfs -text /user/hadoop/file8.zip

touchz: Crea un archivo nuevo, vacío de tamaño 0 en la ruta especificada.

Uso: hdfs dfs -touchz

Ejemplo: hdfs dfs -touchz / user / Hadoop / file12