Apache bigtop y Hadoop
Para ayudarle a empezar con Hadoop, aquí están las instrucciones sobre cómo descargar e instalar rápidamente Hadoop en su propio ordenador portátil. El clúster se ejecuta en modo pseudo-distribuido en una máquina virtual, por lo que no necesitará hardware especial.
LA máquina virtual (VM) es un ordenador simulado que se puede ejecutar en un equipo real. Por ejemplo, puede ejecutar un programa en su ordenador portátil que " juega " una máquina virtual, lo que abre una ventana que parece que se está ejecutando otro equipo. En efecto, un equipo de simulación se ejecuta dentro del ordenador real.
Se le descargando una máquina virtual, y mientras se ejecuta, te instala Hadoop.
Apache Bigtop es una gran alternativa si quieres montar sus propios componentes de Hadoop. Bigtop reúne los componentes básicos de Hadoop para usted y asegura que su configuración funciona. Apache Bigtop es una distribución de código abierto 100 por ciento.
El objetivo principal de Bigtop - sí un proyecto de Apache, como Hadoop - es construir una comunidad alrededor de los envases, la implementación y la integración de los proyectos en el ecosistema Hadoop. La atención se centra en el sistema en su conjunto y no en proyectos individuales.
Usando Bigtop, puede instalar fácilmente y desplegar componentes Hadoop sin tener que localizarlos en una distribución específica y relacionarlos con una versión específica Hadoop. A medida que nuevas versiones de componentes de Hadoop se liberan, a veces no funcionan con las versiones más recientes de otros proyectos. Si estás por tu cuenta, es necesario realizar una prueba significativa.
Con Bigtop (o un lanzamiento comercial Hadoop) usted puede confiar en que los expertos de Hadoop han hecho esta prueba para usted. Para que te hagas una idea de cómo expansiva Bigtop ha conseguido, consulte la siguiente lista de todos los componentes incluidos en Bigtop:
Apache Crunch
Apache Flume
Apache Giraph
Apache HBase
Apache HCatalog
Apache Hive
Apache Mahout
Apache Oozie
Apache Pig
Apache Solr
Apache Sqoop
Apache Runrunear
Apache Zookeeper
Cloudera Hue
LinkedIn DataFu
Esta colección de proyectos ecosistema Hadoop es casi tan amplia como se pone, como se incluyen dos proyectos mayores y menores. Apache Bigtop está evolucionando continuamente.
Hadoop distribuido sistema de archivos (HDFS) alta disponibilidad A menudo en la infancia de Hadoop, una gran cantidad de debate se centra en la representación de la NameNode de un único punto de fallo. Hadoop, en general, ha tenido siempre una arquitectura robusta y el fracaso-tolerante, con la excepción de…
¿Cómo elegir una arquitectura de clúster Hadoop Hadoop está diseñado para ser desplegado en un gran grupo de ordenadores conectados en red, con nodos maestros (que albergan los servicios que controlan el almacenamiento de Hadoop y procesamiento) y nodos esclavos (donde se almacena o trata los…
¿Cómo obtener oozie apache creó en hadoop Apache Oozie está incluido en todas las distribuciones de Hadoop importante, incluyendo Apache Bigtop. En el clúster Hadoop, instale el servidor Oozie en un nodo de borde, donde usted también ejecutar otras aplicaciones de cliente con los datos…
¿Cómo empezar a trabajar con la colmena apache No hay mejor manera de ver lo que es lo que al instalar el software de la colmena y darle una prueba de funcionamiento. Al igual que con otras tecnologías en el ecosistema Hadoop, no se necesita mucho tiempo para empezar.Si usted tiene el tiempo y…
Modos locales y distribuidas de guiones de cerdos en ejecución en hadoop Antes de que pueda ejecutar su primer script Cerdo en Hadoop, es necesario tener una manija en cómo los programas de cerdo pueden ser empaquetados con el servidor de cerdo.Cerdo tiene dos modos de ejecutar secuencias de comandos:Modo local: Todos…
Bases de datos de procesamiento masivamente paralelo Para proporcionar una mejor comprensión de las alternativas SQL-en-Hadoop Hive a, podría ser útil revisar una cartilla en el procesamiento paralelo masivo (MPP) bases de datos primero.Apache Hive es en capas en la parte superior del sistema de…
Hawq Pivotal y hadoop En 2010, EMC y VMware, los líderes del mercado en la entrega de TI como un servicio a través de la computación en nube, adquirieron Greenplum Corporation, las personas que habían llevado con éxito el producto Greenplum MPP Data Warehouse (DW)…
Configure el entorno hadoop con bigtop apache Si se siente cómodo trabajando con máquinas virtuales y Linux, no dudes en instalar Bigtop en una máquina virtual diferente a lo que se recomienda. Si usted es realmente atrevido y tener el hardware, seguir adelante y tratar de instalar Bigtop en…
Acceso SQL y colmena apache Apache Hive es indiscutiblemente la interfaz de consulta de datos más extendida en la comunidad Hadoop. Originalmente, los objetivos de diseño de la colmena no eran para la compatibilidad de SQL completa y de alto rendimiento, pero eran para…
Almacenamiento de datos estructurados y procesamiento de Hadoop Al considerar las capacidades de Hadoop para trabajar con datos estructurados (o trabajar con datos de cualquier tipo, para el caso), recuerda las características fundamentales de Hadoop: Hadoop es, ante todo, una plataforma de almacenamiento y…
El ecosistema Hadoop de Apache Hadoop es más de MapReduce y HDFS (Hadoop Distributed File System): Es también una familia de proyectos relacionados (un ecosistema, en realidad) para la computación distribuida y el procesamiento de datos a gran escala. La mayoría (pero no…
Maestro aplicación de hilado en hadoop A diferencia de otros componentes HILO (otro negociador de recursos aún), ningún componente en Hadoop 1 asigna directamente al Maestro de aplicaciones. En esencia, este es un trabajo que el JobTracker hizo para cada aplicación, pero la…