La transformación de datos en Hadoop
La idea de los motores de ETL de inspiración Hadoop ha ganado mucho terreno en los últimos años. Después de todo, Hadoop es un almacenamiento de datos flexible y plataforma de procesamiento que puede soportar grandes cantidades de datos y las operaciones sobre los datos. Al mismo tiempo, es tolerante a fallos, y ofrece la oportunidad para que la reducción de costos de capital y de software.
A pesar de la popularidad de Hadoop como motor ETL, sin embargo, muchas personas (incluyendo una famosa firma de analistas) no recomiendan Hadoop como la única pieza de la tecnología para su estrategia de ETL. Esto es en gran parte porque el desarrollo de los flujos de ETL requiere una gran cantidad de conocimientos acerca de los sistemas de su organización existentes de bases de datos, la naturaleza de los datos en sí, y los informes y las aplicaciones que dependen de ella.
En otras palabras, los DBAs, desarrolladores y arquitectos en su departamento de TI tendrán que familiarizarse suficientemente con Hadoop para implementar los flujos de ETL necesarias. Por ejemplo, una gran cantidad de codificación intensiva mano con el cerdo, Colmena, o incluso MapReduce puede ser necesario para crear incluso el más simple de los flujos de datos - que pone a su empresa en el gancho para esas habilidades si sigue este camino.
Usted tiene que codificar elementos tales como la depuración en paralelo, los servicios de gestión de aplicaciones (como el cheque señalador y error y manejo de eventos). Además, considere los requisitos empresariales como glossarization y ser capaz de mostrar el linaje de sus datos.
Hay requisitos reglamentarios para informes estándar que muchos de la industria, donde el linaje de datos es necesario- la organización informante debe ser capaz de demostrar en los puntos de datos en el informe venido, cómo los datos llegaron a usted, y lo que se ha hecho a los datos.
Incluso para los sistemas de bases de datos relacionales, ETL es complejo lo suficiente que hay productos especializados populares que proporcionan interfaces para la gestión y el desarrollo de los flujos de ETL. Algunos de estos productos ahora ayudar en ETL basada en Hadoop y otra de desarrollo basado en Hadoop. Sin embargo, en función de sus necesidades, puede que tenga que escribir algo de su propio código para apoyar a su lógica de transformación.
Hadoop como un archivo consultable de datos de almacén de frío Una multitud de estudios muestran que la mayoría de los datos en un almacén de datos empresariales rara vez se preguntó. Proveedores de bases de datos han respondido a estas observaciones mediante la implementación de sus propios métodos para…
Cerdo Hadoop y latín de cerdo para los grandes datos El poder y la flexibilidad de Hadoop para grandes datos son inmediatamente visibles para los desarrolladores de software principalmente porque el ecosistema Hadoop fue construido por los desarrolladores, para los desarrolladores. Sin embargo, no…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
Ibm grande sql y hadoop IBM tiene una larga historia de trabajo con SQL y la tecnología de base de datos. De acuerdo con esta historia, la solución de IBM para SQL en Hadoop aprovecha los componentes de sus tecnologías de bases de datos relacionales que son portado para…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
La importancia de SQL para hadoop Hay razones de peso que SQL ha demostrado ser resistente. La industria de TI ha tenido 40 años de experiencia con SQL, ya que fue desarrollado por IBM a principios de 1970. Con el aumento de la adopción de las bases de datos relacionales en la…