Exportaciones Sqoop utilizando el método de inserción de actualización y actualización
Con el modo de inserción, los registros exportados por Sqoop se añaden al final de la tabla de destino. Sqoop también ofrece un modo de actualización que puede utilizar al proporcionar la --update-clave argumento de la línea de comandos. Esta acción hace que Sqoop para generar un SQL ACTUALIZACIÓN declaración a ejecutar en el RDBMS o datos de almacén.
Suponga que desea actualizar una tabla de tres columnas con los datos almacenados en el archivo de HDFS / / my-hdfs-archivo de usuario. El archivo contiene estos datos:
100, 1.000, 2.000
El siguiente comando Sqoop exportación abreviada genera el correspondiente SQL ACTUALIZACIÓN declaración en su sistema de base de datos:
$ Sqoop exportación (Argumentos genéricos) - tabla de destino-relacional-table - Actualización clave column1 - export-dir /user/my-hdfs-file...Generates => target-relacional-mesa ACTUALIZACIÓN SETcolumn2 = 1000 , column3 = 2000WHERE column1 = 100-
Con el comando de exportación anterior, si el target-relacional-mesa en su sistema RDBMS o almacenamiento de datos no tiene un registro con el valor correspondiente en column1, no se cambia nada en target-relacional-mesa.
Sin embargo, también puede incluir otro argumento que inserta o añade tus datos meta-tabla si no se encuentran registros coincidentes. Piénsalo de esta manera: Si existe ACTUALIZACIÓN demás INSERT.
Esta técnica se conoce como frecuencia upsert en la lengua vernácula de base de datos o como MERGE En otras implementaciones. El argumento para el modo upsert es --actualización de modo
Importación de datos con Sqoop Listo para sumergirse en la importación de datos con Sqoop? Empieza por tomar un vistazo a la figura, que ilustra los pasos en una operación típica Sqoop importación de un RDBMS o un sistema de almacenamiento de datos. Nada demasiado complicado…
Conectores y conductores Sqoop Conectores Sqoop generalmente van de la mano con un controlador JDBC. Sqoop no incorpora los controladores JDBC ya que suelen ser de propiedad y con licencia de la RDBMS o vendedor DW. Así que hay tres posibles escenarios para Sqoop, dependiendo…
Sqoop 2.0 Vista previa Con todo el éxito que rodea Sqoop 1.x a partir de su graduación de la incubadora Apache, Sqoop tiene momento! Así que, como era de esperar, Sqoop 2.0 está en los trabajos con nuevas e interesantes características en el camino. Se puede ver que…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
El diseño de una base de datos relacional en el acceso 2013 Cuando se utiliza un programa de base de datos como el acceso de 2013, no se puede simplemente comenzar a introducir los datos. En lugar de ello, es necesario crear un diseño de base de datos relacional, dividiendo su información en una o varias…
Cómo diseñar una base de datos relacional en el acceso 2010 Cuando se utiliza un programa de base de datos como Access 2010, no se puede simplemente comenzar a introducir los datos. En lugar de ello, es necesario crear un diseño de base de datos relacional, dividiendo su información en una o varias tablas,…
Comandos mysql seleccionados MySQL es muy útil en la construcción de una base de datos. La siguiente tabla contiene los comandos mínimos necesarios para crear, rellenar y consultar una base de datos utilizando MySQL.ComandoDiscusiónUSO databaseName-Ajuste el de databaseName…
Acceso y adaptar una base de datos con consultas mysql PHP se comunica con bases de datos MySQL mediante el envío de consultas SQL. Aquí está una lista de consultas SQL, con su sintaxis, que puede utilizar para acceder, ver y modificar la base de datos:ALTER MESA el cambio de mesaCREAR BASE DE DATOS…
Consultas mysql Común Para realizar una solicitud que MySQL puede entender, a construir una sentencia SQL y enviarlo al servidor MySQL. Las palabras en negrita en la tabla son los nombres de consulta de MySQL:DeclaraciónDescripciónALTER MESA tablechangeHace cambios en…
Cómo editar registros en SQL para la programación css3 html5and Por supuesto, el propósito de una base de datos es la gestión de datos. A veces, usted desea editar los datos después de que ya está en la mesa. SQL incluye comandos útiles para esta tarea: ACTUALIZACIÓN y BORRAR. los ACTUALIZACIÓN comando…
Cómo mantener la integridad de dominio en una base de datos sql multitable Por lo general, no se puede garantizar que un elemento de datos en particular en una base de datos SQL es correcta, pero poder determinar si un elemento de datos es válido. Muchos elementos de datos tienen un número limitado de valores posibles.…