Hadoop Sqoop para grandes datos
Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama ETL, de extracción, transformación y carga.
Mientras que obtener datos en Hadoop es crítico para el procesamiento utilizando MapReduce, también es fundamental para obtener los datos de Hadoop y en una fuente de datos externa para su uso en otros tipos de aplicaciones. Sqoop es capaz de hacer esto también.
Mientras que a veces es necesario para mover los datos en tiempo real, es muy a menudo necesario para cargar o descargar datos de forma masiva. Como cerdo, Sqoop es un intérprete de línea de comandos. Escribes comandos Sqoop en el intérprete y se ejecutan de una en una. Cuatro características principales se encuentran en Sqoop:
Importación a granel: Sqoop puede importar tablas individuales o bases de datos enteras en HDFS. Los datos se almacenan en los directorios nativos y archivos en el sistema de archivos HDFS.
Entrada directa: Sqoop puede importar y trazar las bases de datos directamente en la colmena y HBase SQL (relacional).
La interacción de datos: Sqoop puede generar clases Java para que pueda interactuar con los datos mediante programación.
Exportación de datos: Sqoop puede exportar los datos directamente de HDFS en una base de datos relacional utilizando una definición de la tabla de destino en función de las características específicas de la base de datos de destino.
Sqoop trabaja observando la base de datos que desea importar y seleccionar una función de importación apropiado para los datos de origen. Después de que se reconoce la entrada, a continuación, lee los metadatos de la tabla (o base de datos) y crea una definición de clase de los requisitos de entrada.
Usted puede forzar Sqoop que ser muy selectivo para que usted obtenga sólo las columnas que usted está buscando antes de entrada en lugar de hacer toda una entrada y luego en busca de sus datos. Esto puede ahorrar un tiempo considerable. La importación real de la base de datos externa para HDFS se realiza un trabajo MapReduce creado tras bambalinas por Sqoop.
Sqoop es una herramienta eficaz para los no programadores. El otro elemento importante a destacar es la dependencia en las tecnologías subyacentes como HDFS y MapReduce. Usted ve esto en varias ocasiones a lo largo del elemento del ecosistema Hadoop.
Cerdo Hadoop y latín de cerdo para los grandes datos El poder y la flexibilidad de Hadoop para grandes datos son inmediatamente visibles para los desarrolladores de software principalmente porque el ecosistema Hadoop fue construido por los desarrolladores, para los desarrolladores. Sin embargo, no…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
Importación de datos en HBase con Sqoop Sqoop se puede utilizar para transformar un esquema de base de datos relacional en un esquema HBase. Por supuesto, el objetivo principal aquí es demostrar cómo Sqoop puede importar datos de un RDBMS o almacén de datos directamente en HBase, pero…
Importación de datos en HDFS con Sqoop Imagine una base de datos relacional utilizado por una empresa de servicios de ficción que ha tenido (lo has adivinado) llamadas de servicio Apache Hadoop y ahora quiere mover algunos de sus información en aquel Hadoop para ejecutar consultas…
Importación de datos con Sqoop Listo para sumergirse en la importación de datos con Sqoop? Empieza por tomar un vistazo a la figura, que ilustra los pasos en una operación típica Sqoop importación de un RDBMS o un sistema de almacenamiento de datos. Nada demasiado complicado…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Exportaciones Sqoop utilizando el método de inserción de actualización y actualización Con el modo de inserción, los registros exportados por Sqoop se añaden al final de la tabla de destino. Sqoop también ofrece un modo de actualización que puede utilizar al proporcionar la --update-clave argumento de la línea de comandos. Esta…
Conectores y conductores Sqoop Conectores Sqoop generalmente van de la mano con un controlador JDBC. Sqoop no incorpora los controladores JDBC ya que suelen ser de propiedad y con licencia de la RDBMS o vendedor DW. Así que hay tres posibles escenarios para Sqoop, dependiendo…
Sqoop 2.0 Vista previa Con todo el éxito que rodea Sqoop 1.x a partir de su graduación de la incubadora Apache, Sqoop tiene momento! Así que, como era de esperar, Sqoop 2.0 está en los trabajos con nuevas e interesantes características en el camino. Se puede ver que…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…