Importación de datos en colmena con Sqoop
Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se hace.
colmena> create database serviceorderdb-OKTime tomada: 1.343 secondshive> uso serviceorderdb-OKTime tomada: 0.062 segundos $ Sqoop importación jdbc --connect: mysql: // localhost / serviceorderdb - nombre de usuario root -P - Mesa productinfo - colmena-import - colmena mesa serviceorderdb.productinfo -m contraseña 1Ingrese: ... 13/08/16 15:17:08 INFO hive.HiveImport: import colmena completa $ Sqoop importación jdbc --connect: mysql: /. / localhost / serviceorderdb - nombre de usuario root -P - Mesa customercontactinfo - colmena-import - colmena mesa serviceorderdb.customercontactinfo -m contraseña 1Ingrese: ... 13/08/16 17:21:35 INFO . hive.HiveImport: import colmena completa $ Sqoop importación jdbc --connect: mysql: // localhost / serviceorderdb - nombre de usuario root -P - serviceorders mesa - colmena-import - serviceorderdb.serviceorders colmena de mesa -m 1Ingrese contraseña: ... 13/08/16 17:26:56 INFO hive.HiveImport: import colmena completa.
Cuando las operaciones de importación están completos, se corre el Mostrar Tablas comando para listar las tablas recién importados (véase la siguiente lista):
colmena> ver tablas OKcustomercontactinfoproductinfoserviceordersTime tomada: 0.074 segundos
A continuación, ejecute una consulta Colmena para mostrar que Hadoop tecnologías tienen órdenes de servicio abiertas en la base de datos:
colmena> productdesc SELECT FROM productinfo> INNER JOIN serviceorders> EN productinfo.productnum = serviceorders.productnum -... OKHBase Soporte de productoSoporte Colmena ProductoSqoop Soporte de productoSoporte Cerdo ProductoTiempo empleado: 28.552 segundos
Puede confirmar los resultados. Usted tiene cuatro órdenes de servicio abiertas en los productos en negrita. La operación de importación Sqoop Colmena funcionó, y ahora la empresa de servicios pueden aprovechar Colmena para consultar, analizar y transformar los datos estructurados su orden de servicio.
Adicionalmente, la compañía ahora puede combinar sus datos relacionales con otros tipos de datos no estructurados (quizás) como parte de las nuevas aplicaciones de análisis de Hadoop. Muchas posibilidades existen ahora con Hadoop ser parte de la estrategia global de TI!
Importación de datos en HBase con Sqoop Sqoop se puede utilizar para transformar un esquema de base de datos relacional en un esquema HBase. Por supuesto, el objetivo principal aquí es demostrar cómo Sqoop puede importar datos de un RDBMS o almacén de datos directamente en HBase, pero…
Importación de datos en HDFS con Sqoop Imagine una base de datos relacional utilizado por una empresa de servicios de ficción que ha tenido (lo has adivinado) llamadas de servicio Apache Hadoop y ahora quiere mover algunos de sus información en aquel Hadoop para ejecutar consultas…
Importación de datos con Sqoop Listo para sumergirse en la importación de datos con Sqoop? Empieza por tomar un vistazo a la figura, que ilustra los pasos en una operación típica Sqoop importación de un RDBMS o un sistema de almacenamiento de datos. Nada demasiado complicado…
Mejora de las consultas de la colmena con índices Creación de un índice es una práctica común con las bases de datos relacionales cuando se quiere acelerar el acceso a una columna o conjunto de columnas en su base de datos. Sin un índice, el sistema de base de datos tiene que leer todas las…
Características principales hiveql La comunidad Apache Hive vibrante y activa continuamente añadirs a una ya extensa conjunto de características, lo que hace que la cobertura exhaustiva aún más difícil. La siguiente lista resume algunas de las características clave HiveQL para…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
Ardilla cliente como colmena con el controlador JDBC SQuirreL SQL es una herramienta de código abierto que actúa como cliente de la colmena. Si deseas descargar este cliente SQL universal a partir de la página web de SourceForge. Proporciona una interfaz de usuario para la colmena y simplifica las…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
Grandes datos de mina con la colmena Hive es una capa de datos de depósito orientado a lotes construido sobre los elementos básicos de Hadoop (HDFS y MapReduce) y es muy útil en grandes volúmenes de datos. Proporciona a los usuarios que saben de SQL con una implementación…
Elegir el mejor plan para construir la colmena Cuando usted tiene un montón de la construcción de la colmena planes para elegir, ¿cómo decidir cuál es el mejor para sus necesidades? Aparte de la estética, varios factores deben influir en su decisión. Una se refiere a sus habilidades para…