Big data: la necesidad de metadatos en los flujos de datos
La mayoría de grandes profesionales de la gestión de datos están familiarizados con la necesidad de gestionar los metadatos en entornos de gestión de base de datos estructurados. Estas fuentes de datos son fuertemente tipados (por ejemplo, los diez primeros caracteres son el primer nombre) y diseñados para funcionar con metadatos. Es posible suponer que los metadatos es inexistente en los datos no estructurados, pero eso no es cierto.
Normalmente, usted encontrará la estructura en cualquier tipo de datos. Tomemos el ejemplo de vídeo. Aunque es posible que no pueda saber con exactitud el contenido de un vídeo específico, existe una gran cantidad de estructura en el formato de que los datos basados en vídeo. Si usted está buscando en texto no estructurado, ya sabes que las palabras están escritas en Inglés y que si se aplican las herramientas adecuadas, se puede interpretar el texto.
Debido a estos metadatos implícita a partir de datos no estructurados, es posible analizar la información utilizando eXtensible Markup Language (XML). XML es una técnica para la presentación de archivos de texto no estructurados con las etiquetas significativas. La tecnología subyacente no es nuevo y fue una de las tecnologías fundamentales para la implementación de la orientación al servicio.
Ejemplos de productos de flujo de datos incluyen InfoSphere Streams de IBM, Tormenta de Twitter y S4 de Yahoo.
Grandes datos e IBM InfoSphere Streams
InfoSphere Streams proporciona análisis continuo de los volúmenes de datos masivos. Se tiene la intención de realizar análisis complejos de tipos de datos heterogéneos, incluyendo texto, imágenes, audio, voz, VoIP, vídeo, tráfico web, correo electrónico, datos GPS, datos de transacciones financieras, los datos de satélite y sensores. InfoSphere Streams puede soportar todos los tipos de datos. Se puede realizar en tiempo real y de anticipación análisis de los datos generados con regularidad, mediante el filtrado digital, análisis de patrones / correlación, y la descomposición así como el análisis geoespacial.
Big data y Tormenta de Twitter
Tormenta de Twitter es un motor de análisis en tiempo real de código abierto desarrollado por una compañía llamada BackType que fue adquirida por Twitter en 2011 en parte debido a la tormenta Twitter utiliza internamente. Todavía está disponible como código abierto y ha ido ganando tracción significativa entre las empresas emergentes.
Se puede utilizar con cualquier lenguaje de programación para aplicaciones tales como análisis en tiempo real, la computación continua, distribuidos llamadas a procedimientos remotos (RPC), y la integración. La tormenta está diseñado para trabajar con las tecnologías de gestión de colas y de bases de datos existentes. Las empresas que utilizan la tormenta en sus grandes implementaciones de datos incluyen Groupon, RocketFuel, Navisite y Oolgala.
Big data y Apache S4
El cuatro S's en S4 destacan para Simple Sistema Transmisión escalable. Apache S4 fue desarrollado por Yahoo! como de propósito general, distribuida, escalable parcialmente tolerante a fallos plataforma, conectable que permite a los programadores desarrollar fácilmente aplicaciones para el procesamiento de las corrientes continuas de datos. La plataforma central está escrito en Java y fue lanzado por Yahoo! en 2010.
Un año más tarde, fue entregado a Apache bajo la licencia Apache 2.0. Los clientes que envían y reciben los eventos se pueden escribir en cualquier lenguaje de programación. S4 está diseñado como un sistema altamente distribuido. El rendimiento se puede aumentar de forma lineal mediante la adición de nodos en un clúster. El diseño S4 es el más adecuado para aplicaciones a gran escala para la minería de datos y aprendizaje automático en un entorno de producción.
Grandes de análisis de datos de soluciones de proveedores Un número de proveedores en el mercado hoy apoyar la creciente necesidad de soluciones de datos grandes para su negocio. Aquí está una lista de algunas soluciones que pueden resultar interesantes:IBM está tomando un enfoque empresarial de…
Herramientas de análisis de texto para grandes datos He aquí un resumen de algunos de los jugadores en el mercado de grandes datos de análisis de texto. Algunos son pequeños, mientras que otros son nombres muy conocidos. Algunos llaman a lo que hacen grandes análisis de texto de datos, mientras…
Análisis de datos grandes y el almacén de datos Va a encontrar valor en traer las capacidades del almacén de datos y el entorno de datos grande juntos. Es necesario crear un entorno híbrido donde los datos grandes pueden trabajar de la mano con el almacén de datos.En primer lugar, es…
Bases de datos de columna en un entorno de datos grande Bases de datos de columnas pueden ser muy útiles en su proyecto de datos grande. Bases de datos relacionales son fila orientada, como los datos en cada fila de una tabla se almacena junto. En una columnar, o base de datos orientada a columnas, se…
Identificar los datos que necesita para su big data Hacer un balance de el tipo de datos que está tratando con su proyecto de datos grande. Muchas organizaciones están reconociendo que una gran cantidad de datos generados internamente no se ha utilizado en todo su potencial en el pasado.Mediante el…
Capa 3 de la pila de datos grande: la organización de los servicios y herramientas de datos La organización de los servicios de datos y herramientas, la capa 3 de la pila de datos grande, capturar, validar, y montar varios elementos de datos grandes en colecciones contextualmente relevantes. Dado que los datos de grande es masiva, las…
Seis proveedores con productos de middleware para el almacenamiento de datos Hay varios proveedores que ofrecen datos de los productos de middleware de almacenamiento es posible que desee echar un vistazo a. Aquí hay siete que son vale la pena considerar.Composite SoftwareComposite Software proporciona integración de…
Los fundamentos de la gran integración de datos Los elementos fundamentales de la plataforma de datos grande gestionar los datos de nuevas maneras, en comparación con la base de datos relacional tradicional. Esto es debido a la necesidad de contar con la escalabilidad y alto rendimiento…
El futuro de los almacenes de datos en la era de los grandes datos El mercado de almacenamiento de datos de hecho ha empezado a cambiar y evolucionar con la llegada de grandes datos. En el pasado, simplemente no era económico para las empresas a almacenar la cantidad masiva de datos de un gran número de sistemas…
Mejores prácticas para la gran integración de datos Muchas empresas están explorando problemas de datos grandes y dar con algunas soluciones innovadoras. Ahora es el momento de prestar atención a algunos mejores prácticas, o principios básicos, que serán muy útiles a medida que comienza su…
Gran web de datos y gestión de contenidos Gran datos requiere un enfoque coherente de web y gestión de contenidos. No es ningún secreto que la mayoría de los datos disponibles en el mundo de hoy no es estructurado. Paradójicamente, las empresas han centrado sus inversiones en los…
Definición de los grandes datos: el volumen, la velocidad, y la variedad Big Data permite a las organizaciones almacenar, gestionar y manipular grandes cantidades de datos dispares a la velocidad adecuada y en el momento adecuado. Para obtener los conocimientos adecuados, grandes datos se suelen dividirse por tres…