La arquitectura de la colmena apache
Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.
En el caso de MapReduce, los figureshows tanto los componentes 1 y Hadoop Hadoop 2. Con Hadoop 1, las consultas de la colmena se convierten en código MapReduce y ejecutados utilizando la infraestructura v1 MapReduce (MRv1), al igual que el JobTracker y TaskTracker.
Con Hadoop 2, HILADOS ha desacoplado el manejo de recursos y la programación del marco MapReduce. Consultas colmena todavía se pueden convertir en código MapReduce y ejecutados, ahora con v2 MapReduce (MRv2) y la infraestructura de hilo.
Hay un nuevo marco en el desarrollo denominado Apache Tez, que está diseñado para mejorar el rendimiento de la colmena para las consultas de tipo batch y apoyar a pequeños interactivo (también conocido como tiempo real) Consultas. En el momento de escribir, el proyecto Apache Tez se encuentra todavía en la incubación, y todavía no tienen una autorización listo para la producción.
Si le ayuda a visualizar cómo todas las piezas encajan, piensa en los sistemas HDFS y MapReduce como partes del sistema operativo Hadoop, con Hive - así como otros componentes, como HBase - como funciones de nivel superior o aplicaciones. (Se puede ver un tema común emerge: HDFS proporciona el almacenamiento y MapReduce proporciona la capacidad de procesamiento paralelo para funciones de nivel superior dentro del ecosistema Hadoop.)
Subiendo el diagrama, se encuentra el controlador de la colmena, que compila, optimiza, y ejecuta el HiveQL. El controlador de la colmena puede optar por ejecutar instrucciones y órdenes HiveQL localmente o generar un trabajo MapReduce, dependiendo de la tarea en cuestión. The Hive tiendas Conductor tabla de metadatos en el MetaStore y su base de datos.
Es probable que tenga alguna familiaridad con SQL y el modelo de base de datos relacional del mundo de RDBMS. LA mesa o relación se compone de columnas verticales y filas horizontales. Las células donde se almacenan las filas y columnas se cruzan. Si usted no está familiarizado con SQL y el modelo de base de datos relacional, puede encontrar fuentes de aprendizaje votos usar su motor de búsqueda favorito.
Por defecto, Colmena incluye el Apache Derby RDBMS configurado con el MetaStore en lo que se llama el modo incrustado. Modo Embedded significa que el controlador de la colmena, el MetaStore y Apache Derby están ejecutando en una máquina virtual de Java (JVM).
Esta configuración es correcta para fines de aprendizaje, pero el modo integrado sólo admite una sola sesión Hive, por lo que normalmente no se utiliza en entornos de producción multi-usuario. Existen otros dos modos - local y remoto - que puede apoyar mejor a varias sesiones Colmena en entornos de producción. Además, puedes configurar cualquier RDBMS que es compatible con el Java Database Connectivity (JDBC) Application Programming Interface (API) de la suite. (Los ejemplos aquí incluyen MySQL y DB2.)
La clave para el soporte de aplicaciones es el Hive Thrift Server, que permite a un amplio conjunto de clientes para acceder al subsistema de Colmena. El código abierto cliente SQuirreL SQL se incluye como un ejemplo. El punto principal es que cualquier aplicación compatible con JDBC puede acceder Colmena través del controlador JDBC incluido.
La misma afirmación se aplica a clientes compatibles con Open Database Connectivity (ODBC) - por ejemplo, unixODBC y la utilidad isql, que normalmente se incluye con Linux, permiten el acceso a la Colmena de clientes remotos Linux.
Además, si utiliza Microsoft Excel, se le complace saber que se puede acceder a la colmena después de instalar el controlador ODBC de Microsoft en el sistema cliente. Por último, si usted necesita para acceder a la colmena de los lenguajes de programación distintos de Java (PHP o Python, por ejemplo), Apache Thrift es la respuesta. Clientes Apache Thrift se conectan a través de la Colmena Colmena Thrift Server, al igual que los clientes JDBC y ODBC hacen.
Para continuar con el dibujo de arquitectura Colmena, tenga en cuenta que la colmena incluye una interfaz de línea de comandos (CLI), donde se puede utilizar una ventana de terminal de Linux para realizar consultas y comandos administrativos directamente al controlador de la colmena. Si un enfoque gráfico es más su velocidad, también hay una interfaz web muy útil para que pueda acceder a sus tablas y datos gestionados por colmena a través de su navegador favorito.
Hay otra tecnología del navegador web conocido como Hue que proporciona una interfaz gráfica de usuario (GUI) para Apache Hive. Algunos usuarios de Hadoop gustaría tener una interfaz gráfica de usuario a su disposición en lugar de sólo una interfaz de línea de comandos (CLI). Junto con Colmena, Hue es compatible con otras tecnologías clave de Hadoop, así como HDFS, MapReduce / HILADOS, HBase, Zookeeper, Oozie, cerdo, y Sqoop. Te gustará el nombre de GUI Apache Hive de Hue - se llama cera de abejas.
¿Cómo empezar a trabajar con la colmena apache No hay mejor manera de ver lo que es lo que al instalar el software de la colmena y darle una prueba de funcionamiento. Al igual que con otras tecnologías en el ecosistema Hadoop, no se necesita mucho tiempo para empezar.Si usted tiene el tiempo y…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
Unirse a las tablas con la colmena Usted probablemente ya sabe que los expertos en el modelado de bases de datos relacionales y diseño normalmente pasan mucho de su tiempo a diseñar bases de datos normalizados, o esquemas. Base de datos normalización es una técnica que protege…
Características principales hiveql La comunidad Apache Hive vibrante y activa continuamente añadirs a una ya extensa conjunto de características, lo que hace que la cobertura exhaustiva aún más difícil. La siguiente lista resume algunas de las características clave HiveQL para…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Aplicaciones en tiempo real y streaming en hadoop El flujo del proceso del hilado parece un montón, como un marco para la ejecución por lotes. Usted podría preguntarse, "? ¿Qué pasó con esta idea de la flexibilidad para los diferentes modos de aplicaciones " Bueno, el único marco de…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
Ardilla cliente como colmena con el controlador JDBC SQuirreL SQL es una herramienta de código abierto que actúa como cliente de la colmena. Si deseas descargar este cliente SQL universal a partir de la página web de SourceForge. Proporciona una interfaz de usuario para la colmena y simplifica las…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…