¿Cómo empezar a trabajar con la colmena apache
No hay mejor manera de ver lo que es lo que al instalar el software de la colmena y darle una prueba de funcionamiento. Al igual que con otras tecnologías en el ecosistema Hadoop, no se necesita mucho tiempo para empezar.
Si usted tiene el tiempo y el ancho de banda de la red, siempre es mejor para descargar toda la distribución Hadoop con todas las tecnologías integradas y listas para funcionar.
Si se toma la ruta-distribución completa, un enfoque popular para aprender los entresijos de la colmena es ejecutar su distribución de Hadoop en una máquina virtual de Linux (VM) en un ordenador portátil de 64 bits compatible con la suficiente RAM. (Ocho gigabytes o más de RAM tiende a funcionar bien si Windows 7 está organizando su VM.)
También necesita Java 6 o posterior y - por supuesto - un sistema operativo compatible: Linux, Mac OS X, o Cygwin, para proporcionar un shell de Linux para usuarios de Windows.
Los pasos de instalación ejecutar algo como esto:
Descargue la versión más reciente de la colmena.
También necesita los subsistemas Hadoop MapReduce y, así que asegúrese de completar el Paso 2.
Descarga Hadoop versión 1.2.1.
El uso de los comandos en el listado siguiente, coloque las versiones en directorios separados, y luego descomprimir y descomprimir ellos.
(Descomprima es uno de esos términos Unix molestos que significa simplemente para ampliar un paquete de software de archivado.)
$ Mkdir hadoop- cp hadoop-1.2.1.tar.gz hadoop- cd hadoop $ gunzip hadoop-1.2.1.tar.gz $ tar xvf * .tar $ mkdir hive- cp colmena colmena 0.11.0.tar.gz - cd colmena $ gunzip colmena 0.11.0.tar.gz $ tar xvf * .tar
El uso de los comandos en el listado siguiente, configurar las variables de entorno de Apache Hive, incluyendo HADOOP_HOME, JAVA_HOME, HIVE_HOME y PATH, en el script de shell perfil.
exportación HADOOP_HOME = / home / user / colmena / Hadoop / Hadoop-1.2.1export JAVA_HOME = / opt / jdkexport HIVE_HOME = / home / user / colmena / colmena 0.11.0export PATH = $ HADOOP_HOME / bin: $ HIVE_HOME / bin: $ JAVA_HOME / bin: $ PATH
Crear el archivo de configuración de la colmena que va a utilizar para definir ajustes específicos de configuración de la colmena.
La distribución de Apache Hive incluye un archivo de configuración de la plantilla que proporciona todos los ajustes predeterminados de la colmena. Para personalizar la colmena para su entorno, todo lo que necesita hacer es copiar el archivo de plantilla para el archivo llamado colmena-site.xml y editarlo.
Utilizando su editor favorito, modifique el archivo de sección-site.xml de modo que sólo incluye la " hive.metastore.warehouse.dir " propiedad por ahora. Cuando termine se verá como el archivo XML a continuación. Tenga en cuenta que los comentarios fueron retirados para acortar la lista:
$ Cd $ HIVE_HOME / conf $ cp-colmena default.xml.template colmena site.xmllt;? Xml version = "1.0"> lt;? Tipo xml-stylesheet = "text / xsl" href = "configuration.xsl" ?>
Cómo utilizar colmena a crear tabla como seleccione (CTA) En el ejemplo de la colmena DML se muestra aquí, la técnica poderosa en Colmena conocido como Crear tabla Como Select, o CTAS se ilustra. Sus construcciones permiten derivar rápidamente tablas Colmena de otras tablas a medida que construye…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
Características principales hiveql La comunidad Apache Hive vibrante y activa continuamente añadirs a una ya extensa conjunto de características, lo que hace que la cobertura exhaustiva aún más difícil. La siguiente lista resume algunas de las características clave HiveQL para…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Configure el entorno hadoop con bigtop apache Si se siente cómodo trabajando con máquinas virtuales y Linux, no dudes en instalar Bigtop en una máquina virtual diferente a lo que se recomienda. Si usted es realmente atrevido y tener el hardware, seguir adelante y tratar de instalar Bigtop en…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
Ardilla cliente como colmena con el controlador JDBC SQuirreL SQL es una herramienta de código abierto que actúa como cliente de la colmena. Si deseas descargar este cliente SQL universal a partir de la página web de SourceForge. Proporciona una interfaz de usuario para la colmena y simplifica las…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
El ecosistema de clientes HBase HBase está escrito en Java, un lenguaje elegante para la construcción de tecnologías distribuidas como HBase, pero la cara él - no todo el mundo que quiera aprovechar las innovaciones HBase es un desarrollador Java. Es por eso que hay un rico…
Grandes datos de mina con la colmena Hive es una capa de datos de depósito orientado a lotes construido sobre los elementos básicos de Hadoop (HDFS y MapReduce) y es muy útil en grandes volúmenes de datos. Proporciona a los usuarios que saben de SQL con una implementación…