Google dremel y hadoop
Para la mayoría de la gente, el término Dremel trae a la mente una herramienta de bajo par motor a mano de alta velocidad que funciona bien para una variedad de puestos de trabajo alrededor de la casa. Pero ¿sabía usted que Google creó un Dremel? En lugar de producir otro herramienta mecánica portátil, sin embargo, Google eligió una herramienta de software rápido destinada al análisis interactivo de datos grandes.
Al igual que con otras tecnologías de Google que inspiraron partes del ecosistema Hadoop, como MapReduce, Google File System (HDFS), y BigTable (ver HBase), Google desarrolló Dremel para uso interno y luego publicó un artículo que describe el propósito y el diseño de la tecnología . (En otras palabras, Dremel no es algo que se puede descargar y utilizar en el clúster Hadoop.)
Google utiliza Dremel para una variedad de puestos de trabajo, incluyendo el análisis de los documentos rastreado en la Web, detección de spam de correo electrónico, a través de informes de errores de aplicaciones y más. Servicio BigQuery de Google utiliza realmente Dremel.
Google ha diseñado la tecnología MapReduce para el procesamiento por lotes sobre conjuntos masivos de datos. Como evolucionaron sus necesidades, también lo hizo su tecnología, y Google decidió crear Dremel para mejorar el rendimiento de las consultas interactivas contra conjuntos de datos grandes.
El enfoque MapReduce proporciona tolerancia a la escalabilidad y la consulta de culpa, pero es fundamentalmente un sistema basado en lotes, por lo que los tiempos de respuesta para las consultas más pequeñas (consultas que implican sólo una pequeña parte de un conjunto de datos completo, por ejemplo) a menudo no son lo que esperan los usuarios.
Así que Google ha desarrollado una tecnología de ejecución de consultas diseñado para consultas interactivas, que se ejecuta en los servidores intermedios en la parte superior del sistema de archivos de Google (GFS). (Recuerde, GFS fue la inspiración para Apache HDFS, que es el sistema de archivos de Hadoop.)
Similar a colmena, Dremel utiliza un lenguaje similar a SQL (familiar para la mayoría de los programadores) y emplea un diseño de datos columnar. Dremel ofrece una respuesta rápida y consulta interactiva, preservando la tolerancia de la escalabilidad y la falla se encuentra en Apache Hive. En el libro blanco Dremel, Google explica cómo puede realizar consultas de agregación en cuestión de segundos sobre tablas con un billón de filas - no está mal en absoluto.
Así que Google tiene su tecnología de Dremel, que utiliza internamente, pero luego están todas las tecnologías " inspirado en " Dremel (algo así como todos aquellos perfumes " inspirado en " Drakkar Noir).
Hadapt y hadoop A finales del año 2010, Hadapt se formó como una puesta en marcha por dos estudiantes de la Universidad de Yale y profesor asistente de ciencias de la computación. Profesor Daniel Abadi y Kamil Bajda-Pawlikowski, estudiante de doctorado del…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
Ibm grande sql y hadoop IBM tiene una larga historia de trabajo con SQL y la tecnología de base de datos. De acuerdo con esta historia, la solución de IBM para SQL en Hadoop aprovecha los componentes de sus tecnologías de bases de datos relacionales que son portado para…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Aplicaciones en tiempo real y streaming en hadoop El flujo del proceso del hilado parece un montón, como un marco para la ejecución por lotes. Usted podría preguntarse, "? ¿Qué pasó con esta idea de la flexibilidad para los diferentes modos de aplicaciones " Bueno, el único marco de…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
El ecosistema de clientes HBase HBase está escrito en Java, un lenguaje elegante para la construcción de tecnologías distribuidas como HBase, pero la cara él - no todo el mundo que quiera aprovechar las innovaciones HBase es un desarrollador Java. Es por eso que hay un rico…