Bases de datos de columna en un entorno de datos grande
Bases de datos de columnas pueden ser muy útiles en su proyecto de datos grande. Bases de datos relacionales son fila orientada, como los datos en cada fila de una tabla se almacena junto. En una columnar, o base de datos orientada a columnas, se almacenan los datos a través de filas. Aunque esto puede parecer una distinción trivial, es la característica subyacente más importante de las bases de datos de columna.
Es muy fácil de añadir columnas, y se puede añadir fila por fila, que ofrece una gran flexibilidad, el rendimiento y la escalabilidad. Cuando usted tiene volumen y variedad de datos, es posible que desee utilizar una base de datos en columnas. Es muy adaptable- simplemente continúa agregando columnas.
Una de las bases de datos de columnas más populares es HBase. Es, también, es un proyecto de la Fundación Apache Software distribuido bajo la licencia Apache Software v2.0. HBase utiliza el sistema de archivos Hadoop MapReduce y el motor para sus necesidades de almacenamiento de datos básicos.
El diseño de HBase se inspira en BigTable de Google. Por lo tanto, las implementaciones de HBase son distribuidos, mapas altamente escalables dispersas, persistentes multidimensionales ordenados. El mapa está indexada por una clave de fila, columna de clave y un timestamp- cada valor en el mapa es una matriz no interpretada de bytes.
Cuando su aplicación requiere de grandes datos, en tiempo real aleatorio acceso de lectura de datos / escritura, HBase es una muy buena solución. A menudo se utiliza para almacenar los resultados para el procesamiento analítico posterior.
Las características importantes de HBase incluyen los siguientes:
Consistencia: Aunque no es una " ACID " implementación, HBase ofrece fuertemente consistente de lectura y escritura y no se basa en un modelo coherente con el tiempo. Esto significa que se puede utilizar para los requisitos de alta velocidad, siempre y cuando no se necesita el " características extra " ofrecido por RDBMS como soporte de transacciones completo o columnas escritas.
Sharding: Debido a que los datos se distribuyen por el sistema de archivos de apoyo, HBase ofrece transparente, división automática y redistribución de su contenido.
Alta disponibilidad: A través de la implementación de servidores región, HBase soporta LAN y WAN de conmutación por error y la recuperación. En el centro, hay un servidor maestro responsable de la supervisión de los servidores de la región y todos los metadatos para el clúster.
API de cliente: HBase ofrece acceso mediante programación a través de una API de Java.
El apoyo a las operaciones de TI: Los ejecutores pueden exponer rendimiento y otros parámetros a través de un conjunto de páginas web incorporadas.
Implementaciones HBase son los más adecuados para
De alto volumen, la recolección de datos incrementales y procesamiento
El intercambio de información en tiempo real (por ejemplo, mensajería)
Cambiando frecuentes porción de contenido
HBase y el mundo rdbms HBase y la tecnología de base de datos relacional (como Oracle, DB2, MySQL y por nombrar sólo algunos) realmente no se pueden comparar del todo bien. A pesar del cliché , es realmente un caso de comparar manzanas con naranjas. HBase es una NoSQL…
Importación de datos en HBase con Sqoop Sqoop se puede utilizar para transformar un esquema de base de datos relacional en un esquema HBase. Por supuesto, el objetivo principal aquí es demostrar cómo Sqoop puede importar datos de un RDBMS o almacén de datos directamente en HBase, pero…
Pares de valores clave en el modelo de datos HBase El modelo de datos HBase lógica es simple pero elegante, y proporciona un mecanismo de almacenamiento de datos natural para todo tipo de datos - conjuntos de datos grandes, especialmente estructurados. Todas las partes del modelo de datos convergen…
Regiones en HBase RegionServers son una cosa, pero también hay que echar un vistazo a cómo funcionan las distintas regiones. En HBase, una mesa es a la vez la propagación a través de una serie de RegionServers además de estar constituida por regiones…
Regionservers en HBase RegionServers son los procesos de software (a menudo llamados demonios) que activan para almacenar y recuperar datos en HBase (Hadoop base de datos). En entornos de producción, cada RegionServer se implementa en su propio nodo de cómputo dedicado.…
Claves de fila en el modelo de datos HBase Almacenes de datos HBase constan de una o más tablas, que están indexados por claves de fila. Los datos se almacenan en filas con columnas y filas puede tener múltiples versiones. Por defecto, el control de versiones de filas de datos se…
Almacene grandes datos con HBase HBase es una no relacional (columnar) base de datos distribuida, que utiliza HDFS como su almacén de persistencia para proyectos de grandes datos. Es el modelo de Google BigTable y es capaz de albergar mesas muy grandes (miles de millones de…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
Los atributos de HBase HBase (Hadoop base de datos) es una implementación Java de BigTable de Google. Google define como un BigTable " escasa, distribuida, persistente mapa Ordenado multidimensional ". Es toda una definición concisa, pero también estará de acuerdo que…
El ecosistema de clientes HBase HBase está escrito en Java, un lenguaje elegante para la construcción de tecnologías distribuidas como HBase, pero la cara él - no todo el mundo que quiera aprovechar las innovaciones HBase es un desarrollador Java. Es por eso que hay un rico…
El MasterServer HBase A partir de un análisis de HBase (base de datos Hadoop) arquitectura describiendo RegionServers lugar del MasterServer puede sorprender. El termino RegionServer parecería implicar que depende (y es secundaria a) la MasterServer y que, por lo tanto…