Clasificación de Imagen con hadoop

Clasificación de imágenes requiere una cantidad significativa de recursos de procesamiento de datos, sin embargo, lo que ha limitado la escala de despliegues. Clasificación La imagen es un tema candente en el mundo Hadoop porque ninguna tecnología dominante era capaz - hasta Hadoop llegó - de abrir las puertas de este tipo de procesamiento caros en una escala tan masiva y eficiente.

Clasificación de imágenes comienza con la idea de que usted construye un conjunto de entrenamiento y que los ordenadores aprender a identificar y clasificar lo que están viendo. De la misma manera que el tener más datos ayuda a construir mejores modelos de detección de fraude y de riesgo, sino que también ayuda a los sistemas para clasificar mejor las imágenes.

En este caso de uso, los datos se conoce como conjunto de entrenamiento, así como los modelos son clasificadores. Clasificadores reconocer las características o patrones en sonido, imagen o video y clasificarlos adecuadamente. Los clasificadores se construyen y iterativamente refinados a partir de conjuntos de formación para que sus puntuaciones de precisión (una medida de la exactitud) y recuerdan puntuaciones (una medida de la cobertura) son altos.

Hadoop es muy adecuado para la clasificación de imágenes, ya que proporciona un entorno de procesamiento masivamente paralelo para crear no sólo los modelos de clasificadores (iterar sobre conjuntos de entrenamiento), pero también proporcionan escalabilidad casi ilimitada para procesar y ejecutar los clasificadores a través conjuntos masivos de los volúmenes de datos no estructurados.

Considere fuentes multimedia como YouTube, Facebook, Instagram y Flickr - todos son fuentes de datos binarios no estructurados. La figura muestra una forma que puede utilizar Hadoop para escalar el procesamiento de grandes volúmenes de imágenes y vídeo almacenados para la clasificación semántica multimedia.

Usted puede ver cómo se aplican todos los conceptos relacionados con el marco de procesamiento de Hadoop a estos datos. Observe cómo las imágenes se cargan en HDFS. Los modelos de clasificadores, construidas con el tiempo, se aplican ahora a los componentes adicionales de imagen característica en la fase Mapa de esta solución. Como se puede ver en la esquina inferior derecha, la salida de este tratamiento consiste en las clasificaciones de imágenes que van desde dibujos animados a los deportes y lugares, entre otros.

Hadoop se puede utilizar para el análisis de audio o de voz, también. Un cliente de la industria de seguridad, trabajamos con crea un sistema de clasificación de audio para clasificar los sonidos que se escuchan a través de cables de fibra óptica acústicas enriquecido establecidas alrededor del perímetro de los reactores nucleares.

Por ejemplo, este sistema sabe cómo clasificar casi instantáneamente el susurro del viento en comparación con el susurro de una voz humana o para distinguir el sonido de pasos humanos que se ejecutan en las zonas verdes del perímetro de la de la vida silvestre.

Esta descripción puede tener una especie de Star Trek siente a ella, pero ahora se puede ver ejemplos vivos. De hecho, IBM hace una pública de los mayores sistemas de imágenes de clasificación en el mundo, a través del Análisis y Recuperación de IBM System Multimedia (IMARS).

Éstos son el resultado de una búsqueda IMARS por el término esquí alpino. En la parte superior de la figura, se puede ver los resultados de los clasificadores asignados al conjunto de imágenes que fue procesado por Hadoop, junto con una nube de etiquetas asociada.

Tenga en cuenta el clasificador matriz definida más grueso, en comparación con el más granular. De hecho, cuenta los múltiples niveles de clasificación: rollos en, que rueda en - todos generados automáticamente por el modelo clasificador, construido y calificado usando Hadoop.

Ninguna de estas imágenes tiene ningún metadatos añadido. Nadie ha abierto iPhoto y etiquetada una imagen como un deporte de invierno para hacer que se muestre en esta clasificación. Es el clasificador deporte de invierno que fue construido para reconocer atributos y características de los deportes que se juegan en un ambiente de invierno imagen.

Clasificación de imágenes tiene muchas aplicaciones, y ser capaz de realizar esta clasificación a una escala masiva utilizando Hadoop abre más posibilidades para el análisis de otras aplicaciones pueden utilizar la información de clasificación generada por las imágenes.

Mira este ejemplo de la industria de la salud. Una agencia de salud grande en Asia se centra en la prestación de atención de salud a través de clínicas móviles para una población rural distribuido a través de una gran masa de tierra. Un problema importante que la agencia se enfrentó fue el reto logístico de analizar los datos de imágenes médicas que se generan en sus clínicas móviles.

Un radiólogo es un recurso escaso en esta parte del mundo, así que tenía sentido para transmitir electrónicamente las imágenes médicas a un punto central y tienen un ejército de médicos los examinan. Los médicos que examinaron las imágenes fueron sobrecargados con rapidez, sin embargo.

La agencia está trabajando en un sistema de clasificación para ayudar a identificar las posibles condiciones de proporcionar efectivamente sugerencias para los médicos para verificar. Las primeras pruebas han demostrado que esta estrategia para ayudar a reducir el número de diagnósticos perdidas o inexactas, ahorrando tiempo, dinero, y - sobre todo - vidas.