Importación de datos con Sqoop
Listo para sumergirse en la importación de datos con Sqoop? Empieza por tomar un vistazo a la figura, que ilustra los pasos en una operación típica Sqoop importación de un RDBMS o un sistema de almacenamiento de datos. Nada demasiado complicado aquí - sólo una tabla de datos de los productos típicos de un (típico) empresa ficticia importado en un típico clúster Hadoop de un sistema de gestión típica de datos (DMS).
Durante la Etapa 1, Sqoop utiliza el conector adecuado para recuperar los metadatos de tabla Productos de las DMS de destino. (Los metadatos se utiliza para asignar los tipos de datos de la tabla Productos de tipos de datos en el lenguaje Java.)
Paso 2 a continuación, utiliza estos metadatos para generar y compilar una clase Java que será utilizado por una o más tareas mapa para importar las filas reales de la tabla productos. Sqoop salva la clase Java generada al espacio temporal oa un directorio que especifique de manera que usted puede aprovechar para el posterior procesamiento de los registros de datos.
El código Java Sqoop generada que se guarda para ti es como el regalo que sigue dando! Con este código, Sqoop importa registros de la DMS y los almacena para HDFS utilizando uno de los tres formatos que usted puede escoger: Avro datos binarios, archivos de secuencias binarias, o archivos de texto delimitados. Después, este código está disponible para usted para el procesamiento posterior de los datos.
Archivos de secuencia son una elección natural si está importando tipos de datos binarios y usted necesitará la clase Java generado para serializar y deserializar los datos más tarde - tal vez para el procesamiento MapReduce o exportar. Datos Avro - basado en propio marco de serialización de Apache - es útil si necesita interactuar con otras aplicaciones después de la importación de HDFS.
Si opta por almacenar los datos importados en formato de texto delimitado, puede encontrar el código Java generado valiosa más adelante a medida que analizar y realizar conversiones de formato de datos en sus nuevos datos. Verás que el código generado también le ayuda a combinar conjuntos de datos después de las operaciones de importación Sqoop, y el código Java generado puede ayudar a evitar la ambigüedad en el tratamiento de los datos de texto delimitado.
Por último, durante el Paso 3, Sqoop divide los registros de datos de la tabla de los productos a través de una serie de tareas de mapas (con el número de cartógrafos opcionalmente especificados por el usuario) e importa los datos de la tabla en HDFS, Colmena, o HBase.
Importación de datos en HBase con Sqoop Sqoop se puede utilizar para transformar un esquema de base de datos relacional en un esquema HBase. Por supuesto, el objetivo principal aquí es demostrar cómo Sqoop puede importar datos de un RDBMS o almacén de datos directamente en HBase, pero…
Importación de datos en HDFS con Sqoop Imagine una base de datos relacional utilizado por una empresa de servicios de ficción que ha tenido (lo has adivinado) llamadas de servicio Apache Hadoop y ahora quiere mover algunos de sus información en aquel Hadoop para ejecutar consultas…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Exportaciones Sqoop utilizando el método de inserción de actualización y actualización Con el modo de inserción, los registros exportados por Sqoop se añaden al final de la tabla de destino. Sqoop también ofrece un modo de actualización que puede utilizar al proporcionar la --update-clave argumento de la línea de comandos. Esta…
Conectores y conductores Sqoop Conectores Sqoop generalmente van de la mano con un controlador JDBC. Sqoop no incorpora los controladores JDBC ya que suelen ser de propiedad y con licencia de la RDBMS o vendedor DW. Así que hay tres posibles escenarios para Sqoop, dependiendo…
Sqoop 2.0 Vista previa Con todo el éxito que rodea Sqoop 1.x a partir de su graduación de la incubadora Apache, Sqoop tiene momento! Así que, como era de esperar, Sqoop 2.0 está en los trabajos con nuevas e interesantes características en el camino. Se puede ver que…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
Bases de datos de columna en un entorno de datos grande Bases de datos de columnas pueden ser muy útiles en su proyecto de datos grande. Bases de datos relacionales son fila orientada, como los datos en cada fila de una tabla se almacena junto. En una columnar, o base de datos orientada a columnas, se…
Cómo utilizar los paquetes de Java y las declaraciones de importación En Java, puede agrupar un montón de clases en algo llamado paquete. De hecho, las clases de API estándar de Java se dividen en unos 200 paquetes. Aquí, usted puede ver los paquetes nombrados java.util, java.lang, y java.io.El java.util.Scanner…