Ejecución de modelos estadísticos en MapReduce de Hadoop
La conversión de modelos estadísticos para funcionar en paralelo es una tarea difícil. En el paradigma tradicional para la programación en paralelo, de acceso a memoria se regula mediante el uso de hilos - subprocesos creados por el sistema operativo para distribuir una única memoria compartida entre varios procesadores.
Factores tales como las condiciones de carrera entre los hilos de la competencia - cuando dos o más hilos intentan cambiar los datos compartidos a la vez - pueden influir en el rendimiento de su algoritmo, así como afectar a la precisión de los resultados estadísticos de sus salidas del programa - particularmente para largo ejecutar los análisis de grandes conjuntos de muestras.
Un enfoque pragmático a este problema es asumir que no muchos estadísticos conocerán los entresijos de MapReduce (y viceversa), ni se puede esperar que van a ser conscientes de todas las trampas que la programación paralela conlleva. Colaboradores en el proyecto Hadoop tienen (y siguen desarrollando) herramientas estadísticas con estas realidades en mente.
El resultado: Hadoop ofrece muchas soluciones para la implementación de los algoritmos necesarios para llevar a cabo la modelización estadística y análisis, sin sobrecargar el estadístico con las consideraciones de programación paralela matizadas.
Hadoop MapReduce para grandes datos Para entender completamente las capacidades de Hadoop MapReduce, es importante diferenciar entre Mapa reducido (el algoritmo) y una implementación de Mapa reducido. Hadoop MapReduce es una implementación del algoritmo desarrollado y mantenido por…
¿Cómo poner en marcha una aplicación de MapReduce en hadoop 1 Para ver cómo el JobTracker y TaskTracker trabajan juntos para llevar a cabo una acción de MapReduce, echar un vistazo a la ejecución de una aplicación de MapReduce. La figura muestra las interacciones, y la siguiente lista de pasos establece el…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
Aprendizaje con mahout en hadoop Máquina Aprendizaje automático se refiere a una rama de técnicas de inteligencia artificial que proporciona herramientas que permiten a las computadoras para mejorar su análisis basado en eventos anteriores. Estos datos históricos de apalancamiento…
Administrar los recursos de datos grandes y aplicaciones con hilo hadoop Planificación de tareas y seguimiento de los grandes datos son partes integrales de Hadoop MapReduce y se pueden usar para administrar los recursos y aplicaciones. Las primeras versiones de Hadoop apoyaron un sistema de seguimiento de trabajos y…
La gestión de grandes datos con Hadoop HDFS y MapReduce: Hadoop, un marco de software de código abierto, utiliza HDFS (el sistema de archivos distribuido Hadoop) y MapReduce para analizar grandes volúmenes de datos en clústeres de hardware que la mercancía es, en un entorno de computación…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
R en Hadoop y el idioma r La disciplina de aprendizaje máquina tiene un catálogo rico y extenso de técnicas. Mahout trae una gama de herramientas estadísticas y algoritmos a la mesa, pero sólo capta una fracción de esas técnicas y algoritmos, ya que la tarea de…
Ejecución de aplicaciones antes hadoop 2 Debido a que muchos despliegues de Hadoop existentes todavía no están utilizando embargo, otro negociador de recursos (HILO), tomar un rápido vistazo a cómo Hadoop logró su procesamiento de datos antes de los días de Hadoop 2. Concéntrese en…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
Grandes de análisis de datos de soluciones de proveedores Un número de proveedores en el mercado hoy apoyar la creciente necesidad de soluciones de datos grandes para su negocio. Aquí está una lista de algunas soluciones que pueden resultar interesantes:IBM está tomando un enfoque empresarial de…
Cómo utilizar Hadoop de Apache para análisis predictivo Hadoop es una plataforma de software libre de código abierto para la redacción y ejecución de aplicaciones que procesan una gran cantidad de datos para el análisis predictivo. Se permite un procesamiento paralelo distribuido de grandes conjuntos…