Hadoop y colmena
Para hacer el cuento largo, Colmena ofrece Hadoop con un puente hacia el mundo RDBMS y proporciona un dialecto SQL conocida como Hive Query Language (HiveQL), que se puede utilizar para realizar tareas tipo SQL. Esa es la gran noticia, pero hay más en Hive de lo que parece, como se suele decir, o más aplicaciones de esta nueva tecnología que se pueden presentar en un discurso de ascensor estándar.
Por ejemplo, Colmena también hace posible el concepto conocido como almacén de datos empresariales (EDW) de aumento, un caso que lleva utilización para Hadoop, donde los almacenes de datos se configuran como RDBMS construido específicamente para el análisis y presentación de datos.
Ahora, algunos expertos argumentan que Hadoop (con Colmena, HBase, Sqoop, y sus compinches surtidos) puede reemplazar el EDW. Sin embargo, Hadoop es un gran adición a la empresa y que puede aumentar y complementar EDWs existentes. Colmena, HBase y Sqoop permiten EDW aumento.
Estrechamente relacionado con la tecnología RDBMS / EDW es de extracción, transformación, y la tecnología de carga (ETL). Para comprender lo que ETL no, es útil saber que, en muchos casos de uso, los datos no pueden ser cargados inmediatamente en la base de datos relacional - debe primero ser extraída de su fuente nativa, transformado en un formato adecuado, y luego cargado en el RDBMS o EDW.
Por ejemplo, una empresa o una organización pueden extraer datos de texto no estructurados de un foro de Internet, transformar los datos en un formato estructurado que a la vez valioso y útil, y luego cargar los datos estructurados en su EDW.
Se puede ver que la colmena es una herramienta ETL poderosa por derecho propio, junto con el actor principal en este reino: Apache Pig. Una vez más, los usuarios pueden tratar de establecer Colmena y cerdo como el nuevas herramientas ETL para el centro de datos. (Que lo intenten.)
Al igual que con el debate sobre EDW frente Hadoop, estas tecnologías Apache Hadoop no son directas reemplazos para disfrutar de herramientas ETL existente sino que son nuevas y potentes herramientas ETL para ser utilizados cuando sea apropiado.
Por último, pero no menos importante, Apache Hive le da poderosas herramientas de análisis, todo ello dentro del marco de HiveQL. Estas herramientas deben verse y sentirse muy familiar para los profesionales de TI que entienden cómo utilizar SQL.
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
¿Cómo empezar a trabajar con la colmena apache No hay mejor manera de ver lo que es lo que al instalar el software de la colmena y darle una prueba de funcionamiento. Al igual que con otras tecnologías en el ecosistema Hadoop, no se necesita mucho tiempo para empezar.Si usted tiene el tiempo y…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
Características principales hiveql La comunidad Apache Hive vibrante y activa continuamente añadirs a una ya extensa conjunto de características, lo que hace que la cobertura exhaustiva aún más difícil. La siguiente lista resume algunas de las características clave HiveQL para…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
La importancia de SQL para hadoop Hay razones de peso que SQL ha demostrado ser resistente. La industria de TI ha tenido 40 años de experiencia con SQL, ya que fue desarrollado por IBM a principios de 1970. Con el aumento de la adopción de las bases de datos relacionales en la…
Ardilla cliente como colmena con el controlador JDBC SQuirreL SQL es una herramienta de código abierto que actúa como cliente de la colmena. Si deseas descargar este cliente SQL universal a partir de la página web de SourceForge. Proporciona una interfaz de usuario para la colmena y simplifica las…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…