Hadapt y hadoop

A finales del año 2010, Hadapt se formó como una puesta en marcha por dos estudiantes de la Universidad de Yale y profesor asistente de ciencias de la computación. Profesor Daniel Abadi y Kamil Bajda-Pawlikowski, estudiante de doctorado del departamento de ciencias de la computación de la Universidad de Yale, habían estado trabajando en el proyecto de investigación HadoopDB.

Tras la publicación de este trabajo, Justin Borgman, un estudiante de la Escuela de Administración de Yale, se interesó en el trabajo. Más tarde un equipo con el profesor Abadi y Kamil Bajda-Pawlikowski para formar Hadapt.

La estrategia Hadapt es unirse Hadoop con una base de datos compartida-Nada MPP para crear una plataforma de análisis adaptativo. Este enfoque proporciona una interfaz SQL estándar en Hadoop y permite análisis a través de los datos no estructurados, semi-estructuradas y estructuradas en el mismo clúster.

Al igual que Apache Hive y otras tecnologías, Hadapt proporciona una interfaz familiar / ODBC JDBC para la presentación de trabajos de SQL o MapReduce al clúster. Hadapt proporciona un optimizador de consultas basado en el costo, que puede decidir entre una combinación de trabajos de MapReduce y puestos de trabajo de base de datos MPP para cumplir una consulta, o el trabajo puede ser manejado por la base de datos MPP para la respuesta interactiva rápido.

Al unirse a un clúster Hadoop con un clúster de base de datos de MPP para crear un sistema híbrido, Hadapt resuelve el tiempo de respuesta de consulta y apoyo SQL parcial (vía HiveQL) encontrado en Apache Hive.