Big data y los orígenes de MapReduce
MapReduce es cada vez más útil para grandes datos. En la década de 2000, algunos ingenieros de Google miraron hacia el futuro y determinaron que mientras sus soluciones actuales para aplicaciones tales como rastreo web, frecuencia de consulta, y así sucesivamente eran adecuadas para la mayoría de los requisitos existentes, que eran inadecuados para la complejidad que anticiparon que el Web a escala en más y más usuarios.
Estos ingenieros determinaron que si el trabajo podría ser distribuido a través de las computadoras de bajo costo y luego se conecta en la red en forma de un " clúster, " podrían resolver el problema. Distribución por sí sola no era una respuesta suficiente. Esta distribución del trabajo debe ser realizado de forma paralela por las tres razones siguientes:
El tratamiento debe ser capaz de expandirse y contraerse de forma automática.
El tratamiento debe ser capaz de continuar sin tener en cuenta los fallos en la red o los sistemas individuales.
Desarrolladores aprovechando este enfoque debe ser capaz de crear servicios que son fáciles de aprovechar por otros desarrolladores. Por lo tanto, este enfoque debe ser independiente de que los datos y los cálculos se han ejecutado.
MapReduce fue diseñado como un modelo de programación genérica. Algunas de las implementaciones iniciales previstos todos los requisitos clave de la ejecución en paralelo, la tolerancia a fallos, equilibrio de carga y manipulación de datos. Los ingenieros a cargo del proyecto nombrado el MapReduce iniciativa, ya que combina dos capacidades de los lenguajes de programación funcionales existentes: mapa y reducir.
Los ingenieros de Google diseñados MapReduce para resolver un problema práctico específico. Por lo tanto, se diseñó como un modelo de programación combinado con la aplicación de dicho modelo - en esencia, una implementación de referencia.
La implementación de referencia se utilizó para demostrar la viabilidad y la eficacia del concepto y para ayudar a asegurar que este modelo sería ampliamente adoptada por la industria de la computación. Con los años, otras implementaciones de MapReduce se han creado y están disponibles como tanto de código abierto y los productos comerciales.
Cómo escribir aplicaciones MapReduce La API de MapReduce está escrito en Java, por lo que las aplicaciones MapReduce son principalmente basados en Java. La siguiente lista especifica los componentes de una aplicación MapReduce que se puede desarrollar:Conductor (obligatorio):…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Cerdo latino en los programas de cerdo de Hadoop Cerdo latín es el idioma para programas de cerdo. Cerdo traduce el guión Pig Latin en puestos de trabajo MapReduce que pueda ser ejecutado dentro del clúster Hadoop. Si viene con cerdo América, el equipo de desarrollo sigue tres principios…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
Ejecución de modelos estadísticos en MapReduce de Hadoop La conversión de modelos estadísticos para funcionar en paralelo es una tarea difícil. En el paradigma tradicional para la programación en paralelo, de acceso a memoria se regula mediante el uso de hilos - subprocesos creados por el sistema…
El ecosistema de clientes HBase HBase está escrito en Java, un lenguaje elegante para la construcción de tecnologías distribuidas como HBase, pero la cara él - no todo el mundo que quiera aprovechar las innovaciones HBase es un desarrollador Java. Es por eso que hay un rico…
Cómo utilizar Hadoop de Apache para análisis predictivo Hadoop es una plataforma de software libre de código abierto para la redacción y ejecución de aplicaciones que procesan una gran cantidad de datos para el análisis predictivo. Se permite un procesamiento paralelo distribuido de grandes conjuntos…
Cómo utilizar mahout apache para análisis predictivo Una herramienta de código abierto que es únicamente útil en el análisis predictivo es Apache Mahout. Esta biblioteca de aprendizaje de máquinas incluye versiones a gran escala de la agrupación, clasificación, filtrado colaborativo y otros…
¿Cómo optimizar tareas MapReduce Aparte de la optimización del código de la aplicación actual con MapReduce para proyectos de grandes volúmenes de datos, puede utilizar algunas técnicas de optimización para mejorar la fiabilidad y el rendimiento. Se dividen en tres…
Cómo utilizar MapReduce para grandes datos MapReduce es un marco de software que es ideal para grandes volúmenes de datos, ya que permite a los desarrolladores escribir programas que pueden procesar grandes cantidades de datos no estructurados en paralelo a través de un grupo distribuido…
Capa 3 de la pila de datos grande: la organización de los servicios y herramientas de datos La organización de los servicios de datos y herramientas, la capa 3 de la pila de datos grande, capturar, validar, y montar varios elementos de datos grandes en colecciones contextualmente relevantes. Dado que los datos de grande es masiva, las…