Cerdo Hadoop y latín de cerdo para los grandes datos
El poder y la flexibilidad de Hadoop para grandes datos son inmediatamente visibles para los desarrolladores de software principalmente porque el ecosistema Hadoop fue construido por los desarrolladores, para los desarrolladores. Sin embargo, no todo el mundo es un desarrollador de software. Cerdo fue diseñado para hacer Hadoop más accesible y utilizable por nondevelopers.
Cerdo es un entorno interactivo, o basado en la escritura, ejecución apoyar Pig Latin, un lenguaje utilizado para expresar los flujos de datos. El lenguaje Pig Latin soporta la carga y procesamiento de los datos de entrada con una serie de operadores que transforman los datos de entrada y producen el resultado deseado.
El entorno de ejecución de cerdo tiene dos modos:
Modo local: Todos los scripts se ejecutan en una sola máquina. No se requieren Hadoop MapReduce y HDFS.
Hadoop: También llamado modo de MapReduce, todos los scripts se ejecutan en un clúster Hadoop dado.
Bajo las sábanas, cerdo crea un conjunto de mapa y reducir puestos de trabajo. El usuario es absuelto de las preocupaciones de la escritura de código, compilar, envasado, presentación, y la recuperación de los resultados. En muchos aspectos, cerdo es análoga a SQL en el mundo RDBMS.
El lenguaje Pig Latin ofrece una manera abstracta para obtener respuestas de los grandes datos, centrándose en los datos y no la estructura de un programa de software a medida. Cerdo hace prototipos muy simple. Por ejemplo, puede ejecutar un script de cerdo en una pequeña representación de su entorno de grandes datos para asegurarse de que está obteniendo los resultados deseados antes de comprometerse con el procesamiento de todos los datos.
Programas de cerdo se pueden ejecutar de tres maneras diferentes, todos ellos compatibles con el modo local y Hadoop:
Guión: Simplemente un archivo que contiene comandos Pig Latina, identificado por el .cerdo sufijo (por ejemplo, file.pig o myscript.pig). Los comandos son interpretados por cerdo y ejecutados en orden secuencial.
Ronco: Ronco es un intérprete de comandos. Puede escribir latín de cerdo en la línea de comandos gruñido y ronco ejecutará el comando en su nombre. Esto es muy útil para la creación de prototipos y " lo que si " escenarios.
Incrustado: Programas de cerdo se pueden ejecutar como parte de un programa Java.
Latín de cerdo tiene una sintaxis muy rico. Es compatible con los operadores de las siguientes operaciones:
Carga y almacenamiento de datos
Datos Streaming
Filtrado de datos
Agrupar y unir los datos
Ordenación de datos
La combinación y los datos de división
Latín de cerdo también es compatible con una amplia variedad de tipos, expresiones, funciones, operadores de diagnóstico, macros y comandos del sistema de archivos.
Para obtener más ejemplos, visite el sitio web de cerdo dentro Apache.com.
Integración Hadoop con r En un principio, los grandes datos y R no eran amigos naturales. R programación requiere que todos los objetos pueden cargar en la memoria principal de una sola máquina. Las limitaciones de esta arquitectura se dieron cuenta rápidamente cuando…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
Los tipos de datos de cerdo de Hadoop y sintaxis Tipos de datos de cerdo componen el modelo de datos para cómo Pig piensa en la estructura de los datos que se está procesando. Con Cerdo, el modelo de datos se define al cargar los datos. Cualquier dato se carga en cerdo del disco va a tener un…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Guión cerdo interactúa en hadoop El lenguaje de programación cerdo está diseñado para manejar cualquier tipo de datos arrojó su camino - estructurada, semiestructurada, los datos no estructurados, lo que sea. Programas de cerdo puede ser envasados en tres formas…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Secuencias de comandos con el cerdo latino en hadoop Hadoop es un ecosistema rico y evolucionando rápidamente con un conjunto cada vez mayor de nuevas aplicaciones. En lugar de tratar de mantenerse al día con todos los requisitos para nuevas capacidades, cerdo está diseñado para ser extensible a…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
El ecosistema de clientes HBase HBase está escrito en Java, un lenguaje elegante para la construcción de tecnologías distribuidas como HBase, pero la cara él - no todo el mundo que quiera aprovechar las innovaciones HBase es un desarrollador Java. Es por eso que hay un rico…