Sqoop 2.0 Vista previa
Con todo el éxito que rodea Sqoop 1.x a partir de su graduación de la incubadora Apache, Sqoop tiene momento! Así que, como era de esperar, Sqoop 2.0 está en los trabajos con nuevas e interesantes características en el camino. Se puede ver que Sqoop 1.99.3 es descargable, con documentación.
Probablemente se esté preguntando cómo estarán disponibles muchas versiones 1.99.x antes de los grandes éxitos 2.0. Bueno, la mayoría de las bolas de cristal sólo trabajan a tiempo parcial por lo que la respuesta es " aún no ".
Aquí está una vista previa de Sqoop 2.0 características. Sin embargo, usted sabe el taladro: La situación puede cambiar previos a la versión 2.0. La figura ilustra (documentados) los planes de diseño para Sqoop 2.0.
Como se puede ver, el gran cambio en las obras es que Sqoop 2.0 tendrá un servidor independiente, lo cual es una buena noticia para un número de razones. En primer lugar, usted no tendrá que hacer mucho trabajo. El conector Sqoop y controlador JDBC se instalarán una vez que el administrador del sistema para el clúster en lugar de una vez por cliente Sqoop.
Usted todavía tiene que hacer el trabajo, pero tal vez te gustará el siguiente beneficio: Sqoop 2.0 será más seguro! Con un servidor Sqoop como parte de la arquitectura, las operaciones sensibles, como la conexión a los servidores de bases de datos sólo tienen que suceder en el servidor Sqoop y tendrás el control de acceso basado en roles.
Además, los clientes pueden aprovechar Sqoop Sqoop desde cualquier punto de la red (gracias a la nueva interfaz de reposo), y disfrutarán de una nueva interfaz gráfica de usuario (GUI). Usted estará de acuerdo en que las opciones de línea de comandos son necesarios y de gran alcance para fines de secuencias de comandos, pero todo el mundo le gusta un GUI fresco de vez en cuando. Sqoop requiere muchas opciones de línea de comandos, que puede ser propenso a errores y sin un GUI que te guíe.
Usted probablemente ha notado MapReduce (en lugar de tareas sólo mapa) muestra con orgullo. Hasta entonces, disfrutar de Sqoop 1.x y empezar a experimentar con 1.99.x.
Hadoop como destino de los datos de archivo El costo económico de almacenamiento para Hadoop, más la posibilidad de consultar los datos de Hadoop con SQL hace Hadoop el principal destino para los datos de archivo. Este caso de uso tiene un bajo impacto en su organización, porque se puede…
Hadoop Sqoop para grandes datos Sqoop (SQL-a-Hadoop) es una herramienta de datos grande que ofrece la capacidad de extraer datos de los almacenes de datos no Hadoop, transformar los datos en una forma utilizable por Hadoop, y luego cargar los datos en HDFS. Este proceso se llama…
Importación de datos en colmena con Sqoop Aquí, se importa la totalidad de la base de datos de la orden de servicio directamente desde MySQL en la colmena y ejecuta una consulta HiveQL en contra de la base de datos recién importados de Hadoop. La siguiente lista muestra cómo se…
Importación de datos en HBase con Sqoop Sqoop se puede utilizar para transformar un esquema de base de datos relacional en un esquema HBase. Por supuesto, el objetivo principal aquí es demostrar cómo Sqoop puede importar datos de un RDBMS o almacén de datos directamente en HBase, pero…
Importación de datos en HDFS con Sqoop Imagine una base de datos relacional utilizado por una empresa de servicios de ficción que ha tenido (lo has adivinado) llamadas de servicio Apache Hadoop y ahora quiere mover algunos de sus información en aquel Hadoop para ejecutar consultas…
Importación de datos con Sqoop Listo para sumergirse en la importación de datos con Sqoop? Empieza por tomar un vistazo a la figura, que ilustra los pasos en una operación típica Sqoop importación de un RDBMS o un sistema de almacenamiento de datos. Nada demasiado complicado…
Exportaciones Sqoop utilizando el método de inserción de actualización y actualización Con el modo de inserción, los registros exportados por Sqoop se añaden al final de la tabla de destino. Sqoop también ofrece un modo de actualización que puede utilizar al proporcionar la --update-clave argumento de la línea de comandos. Esta…
Conectores y conductores Sqoop Conectores Sqoop generalmente van de la mano con un controlador JDBC. Sqoop no incorpora los controladores JDBC ya que suelen ser de propiedad y con licencia de la RDBMS o vendedor DW. Así que hay tres posibles escenarios para Sqoop, dependiendo…
Ardilla cliente como colmena con el controlador JDBC SQuirreL SQL es una herramienta de código abierto que actúa como cliente de la colmena. Si deseas descargar este cliente SQL universal a partir de la página web de SourceForge. Proporciona una interfaz de usuario para la colmena y simplifica las…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
La arquitectura de la colmena apache Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior que la colmena se sienta encima del Sistema Hadoop Distributed File (HDFS) y sistemas de MapReduce.En el caso de MapReduce, los figureshows tanto los componentes 1…
La zona de aterrizaje basado en Hadoop Al intentar descifrar lo que un entorno de análisis podría ser similar en el futuro, que tropieza con el patrón de la zona horaria de destino basada en Hadoop y otra vez. De hecho, ya no es ni siquiera una discusión de futuros orientado porque…