Almacenamiento de datos estructurados y procesamiento de Hadoop
Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y procesamiento de datos de propósito general diseñada para escalar a miles de nodos de cómputo y petabytes de datos.
No hay modelo de datos en los datos de Hadoop misma- es simplemente almacenada en el cluster Hadoop como archivos RAW. Como tal, los componentes básicos de sí Hadoop no tienen capacidades especiales para la catalogación, indización, o consultar datos estructurados.
La belleza de un sistema de almacenamiento de datos de propósito general es que puede ser extendido para fines muy específicos. La comunidad Hadoop ha hecho exactamente eso con una serie de proyectos de Apache - proyectos que, en conjunto, conforman el Hadoop ecosistema. Cuando se trata de almacenamiento de datos estructurados y procesamiento, los proyectos descritos en esta lista son los más comúnmente utilizados:
Hive: Un marco de almacenamiento de datos de Hadoop. Datos de catálogos Colmena en archivos estructurados y proporciona una interfaz de consulta con el lenguaje SQL-como nombre HiveQL.
HBase: LA repartido base de datos - una base de datos NoSQL que se basa en varios equipos y no en una sola CPU, en otras palabras - que se construye en la parte superior de Hadoop.
Giraph: Un motor de procesamiento gráfico para los datos almacenados en Hadoop.
Muchos otros proyectos de Apache soportan diferentes aspectos de análisis de datos estructurados, y algunos proyectos se centran en una serie de marcos e interfaces.
Al determinar la arquitectura óptima para sus necesidades de análisis, asegúrese de evaluar los atributos y capacidades de los sistemas que está considerando. La tabla compara los almacenes de datos basados en Hadoop (Colmena, Giraph y HBase) con RDBMS tradicional.
| Criterios | Colmena | Giraph | HBase | RDBMS |
|---|---|---|---|---|
| Datos modificable | Sin | Sí | Sí | |
| Distribución de datos | Archivos primas almacenadas en HDFS- Colmena apoya proprietaryrow orientada o formatos de columna-orientado. | A, distribuida, SortedMap multidimensional persistente escasa | Fila orientada o columna orientada | |
| Tipos de datos | Tipos de datos Bytes- se interpretan en consulta. | Compatibilidad de tipos de datos Rich | ||
| Hardware | Hadoop agrupado x86 mercancía Servidores- cinco o más es typicalbecause la tecnología de almacenamiento subyacente es HDFS, que por defaultrequires tres réplicas. | Sistemas multiprocesador lo general grandes y escalables | ||
| Alta disponibilidad | Si- integrado en la arquitectura Hadoop | Sí, si el hardware y el RDBMS están configurados correctamente | ||
| Índices | Sí | Sin | Teclas fila única o una mesa especial que se necesite | Sí |
| Lenguaje de consulta | HiveQL | Giraph API | Comandos API HBase (,,,,,, HiveQL | SQL |
| Esquema | Esquema definido como archivos están catalogados con la Colmena DataDefinition Language (DDL) | Esquema de lectura | La variabilidad en el esquema entre filas | Esquema de la carga |
| Rendimiento | Millones de lecturas y escrituras por segundo | Miles de lecturas y escrituras por segundo | ||
| Transacciones | Ninguno | Proporciona apoyo ACID en una sola fila | Proporciona varias filas y tablas cruzadas soporte transaccional withfull ÁCIDO cumplimiento propiedad | |
| Velocidad de Transacción | Velocidad modesta para queries- interactivo rápido para tablescans completos | Rápido para interactivo queries- rápido para escaneos completos de tabla | Rápido para queries- interactiva más lento para escaneos completos de tabla | |
| El tamaño típico | El rango va de terabytes a petabytes (de entre cientos de miles de millones millionsto de filas) | De gigabytes a terabytes (de cientos de miles tomillions de filas) |
Hadapt y hadoop A finales del año 2010, Hadapt se formó como una puesta en marcha por dos estudiantes de la Universidad de Yale y profesor asistente de ciencias de la computación. Profesor Daniel Abadi y Kamil Bajda-Pawlikowski, estudiante de doctorado del…
Hadoop y colmena Para hacer el cuento largo, Colmena ofrece Hadoop con un puente hacia el mundo RDBMS y proporciona un dialecto SQL conocida como Hive Query Language (HiveQL), que se puede utilizar para realizar tareas tipo SQL. Esa es la gran noticia, pero hay más…
Hadoop como un motor de pre-procesamiento de datos Uno de los primeros casos de uso para Hadoop en la empresa era como un motor de transformación programática utilizada para los datos preprocess con destino a un almacén de datos. Esencialmente, este caso de uso aprovecha la potencia del…
Hadoop distribuido sistema de archivos (HDFS) federación La solución a la expansión de grupos de Hadoop indefinidamente es federar el NameNode. Antes de Hadoop 2 entró en escena, racimos de Hadoop tuvieron que vivir con el hecho de que NameNode coloca límites al grado en que podrían escalar. Pocos…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…