La modernización del almacén de datos con Hadoop
Los almacenes de datos están ahora bajo estrés, tratando de hacer frente a la mayor demanda de sus recursos finitos. Hadoop puede proporcionar un alivio significativo en esta situación de almacenamiento de datos.
El rápido aumento de la cantidad de datos que se generan en el mundo tiene también los almacenes de datos afectados porque los volúmenes de datos que manejamos están aumentando - en parte porque más estructurado datos, el tipo de datos que es fuertemente tipado y embutidas en filas y columnas - se genera sino también porque a menudo tienen que lidiar con los requisitos reglamentarios diseñados para mantener consultable acceso a los datos históricos.
Además, la potencia de procesamiento en los almacenes de datos se utiliza a menudo para llevar a cabo transformaciones de los datos relacionales, ya que o bien entra en el propio almacén o se carga en un data mart niño (un subconjunto separado del almacén de datos) para una aplicación de análisis específico.
Además, la necesidad es cada vez mayor para los analistas de emitir nuevas consultas en los datos estructurados almacenados en bodegas, y estas consultas ad hoc a menudo puede utilizar importantes recursos de procesamiento de datos. A veces, un informe de una sola vez puede ser suficiente, ya veces un análisis exploratorio es necesario encontrar las preguntas que no han sido hechas hasta ahora de que puede producir un importante valor empresarial.
La conclusión es que los almacenes de datos a menudo se utilizan para fines ajenos a su diseño original.
Muestra la figura, utilizando arquitectura de alto nivel, ¿cómo Hadoop puede vivir junto a los almacenes de datos y cumplir con algunos de los efectos que no están diseñados para.
Hadoop es un almacén ayudante, no un reemplazo almacén. Hadoop puede modernizar un ecosistema de almacenamiento de datos de cada cuatro formas- aquí son en resumen:
Proporcionar una zona de aterrizaje para todos los datos.
Persisten los datos para proporcionar un archivo consultable de los datos fríos.
La eficiencia de procesamiento por lotes a gran escala Apalancamiento de Hadoop a preproceso y transformar los datos para el almacén.
Habilitar un entorno para el descubrimiento hoc ad datos.
Hadoop como un archivo consultable de datos de almacén de frío Una multitud de estudios muestran que la mayoría de los datos en un almacén de datos empresariales rara vez se preguntó. Proveedores de bases de datos han respondido a estas observaciones mediante la implementación de sus propios métodos para…
Hadoop como destino de los datos de archivo El costo económico de almacenamiento para Hadoop, más la posibilidad de consultar los datos de Hadoop con SQL hace Hadoop el principal destino para los datos de archivo. Este caso de uso tiene un bajo impacto en su organización, porque se puede…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
La importancia de SQL para hadoop Hay razones de peso que SQL ha demostrado ser resistente. La industria de TI ha tenido 40 años de experiencia con SQL, ya que fue desarrollado por IBM a principios de 1970. Con el aumento de la adopción de las bases de datos relacionales en la…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La zona de aterrizaje basado en Hadoop Al intentar descifrar lo que un entorno de análisis podría ser similar en el futuro, que tropieza con el patrón de la zona horaria de destino basada en Hadoop y otra vez. De hecho, ya no es ni siquiera una discusión de futuros orientado porque…
Análisis de datos grandes y el almacén de datos Va a encontrar valor en traer las capacidades del almacén de datos y el entorno de datos grande juntos. Es necesario crear un entorno híbrido donde los datos grandes pueden trabajar de la mano con el almacén de datos.En primer lugar, es…
Extracción de los datos, el movimiento y la carga de data warehouse suprema Un almacén de datos tiene la distribución de datos a gran escala y tecnologías avanzadas que pueden integrar diferentes " manejar el negocio " sistemas, mejorando la calidad de los activos de datos a través de información de negocios…
Mercados de datos proceden de un almacén de datos Muchos expertos de almacenamiento de datos podrían argumentar que un verdadero mercado de datos es un " punto de venta, " y un almacén de datos proporciona su contenido, como se muestra en esta figura.En un entorno como el que se muestra en esta…
El almacenamiento de datos: una definición de trabajo Así que, ¿qué es un almacén de datos? En un sentido literal, se describe correctamente a través de las definiciones específicas de las dos palabras que componen el término:Datos: Datos e información acerca de algoAlmacén: Una ubicación o…
Almacén de datos: fuentes de datos fuente Un almacén de datos es, por su propia naturaleza, un almacén de datos física distribuida. Distribución de sus activos de información ayuda en el rendimiento y la facilidad de uso a través de sistemas y en toda la empresa. Hacer este nivel de…