Su primer programa hadoop: hola Hadoop!
Después de que el clúster Hadoop está instalado y en funcionamiento, puede ejecutar su primer programa de Hadoop. Esta aplicación es muy sencilla, y calcula el total de millas voladas para todos los vuelos realizados en un año. El año está definido por el archivo de datos que se lee en su aplicación.
Para mantener las cosas un poco más simples aquí, se encontrará con un guión de cerdo para calcular el total de millas voladas. Verá el mapa y reducir fases pasan volando en la salida.
Este es el código para este script Pig:
registros = CARGA '2013_subset.csv' USO PigStorage (',') AS(Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance:int,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay, LateAircraftDelay) -milage_recs = registra GRUPO ALL-tot_miles = FOREACH milage_recs GENERAR SUM (records.Distance) -Store tot_miles EN / user / root / totalmiles-¿Quieres poner este código en un archivo en su máquina virtual, por lo que primero crear un archivo. derecha, haga clic en el escritorio de la máquina virtual y seleccione Crear documento en el menú contextual que aparece y el nombre del documento. A continuación, abra el documento en un editor, pegar en el código, y guarde el archivo.
Desde la línea de comandos, ejecute el siguiente comando para ejecutar el script de cerdo:
totalmiles.pig cerdo
Verá muchas líneas de producción, y, finalmente, un "! Éxito " mensaje, seguido de más estadísticas, y, finalmente, el símbolo del sistema. Después de su trabajo cerdo ha completado, se puede ver la salida:
hdfs dfs -cat / user / root / totalmiles / part-r-00000
Redoble, por favor # 133- Y la respuesta es: 775009272
Y con eso, se le han acabado su primera aplicación Hadoop!
Cerdo Hadoop y latín de cerdo para los grandes datos El poder y la flexibilidad de Hadoop para grandes datos son inmediatamente visibles para los desarrolladores de software principalmente porque el ecosistema Hadoop fue construido por los desarrolladores, para los desarrolladores. Sin embargo, no…
Ejemplos del comando de inserción Colmena Comando de una colmena LMD para explorar es la INSERT comandos. Usted tiene básicamente de tres INSERT variantes- dos de ellos se muestran en la siguiente lista. Para demostrar este nuevo comando DML, va a crear una nueva tabla que contendrá un…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
¿Cómo empezar a trabajar con la colmena apache No hay mejor manera de ver lo que es lo que al instalar el software de la colmena y darle una prueba de funcionamiento. Al igual que con otras tecnologías en el ecosistema Hadoop, no se necesita mucho tiempo para empezar.Si usted tiene el tiempo y…
Entrada divide en MapReduce de Hadoop La forma HDFS se ha establecido, se descompone muy grandes archivos en bloques grandes (por ejemplo, la medición de 128 MB), y almacena tres copias de estos bloques en diferentes nodos del clúster. HDFS no tiene conciencia del contenido de estos…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Gestión de archivos con los comandos del sistema de archivos hadoop HDFS es uno de los dos componentes principales de la Hadoop de armazón y el otro es el paradigma computacional conocido como MapReduce. LA sistema de archivos distribuido es un sistema de archivos que gestiona el almacenamiento a través de un…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Guión cerdo interactúa en hadoop El lenguaje de programación cerdo está diseñado para manejar cualquier tipo de datos arrojó su camino - estructurada, semiestructurada, los datos no estructurados, lo que sea. Programas de cerdo puede ser envasados en tres formas…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Secuencias de comandos con el cerdo latino en hadoop Hadoop es un ecosistema rico y evolucionando rápidamente con un conjunto cada vez mayor de nuevas aplicaciones. En lugar de tratar de mantenerse al día con todos los requisitos para nuevas capacidades, cerdo está diseñado para ser extensible a…