Big Data con Apache Hadoop y Apache Spark
Información
Culture Lab
Online
Curso
- Entenderás el conjunto de tecnologías que dan soporte a Big Data y el posicionamiento de cada una. - Conocerás y practicarás con los componentes asociados al ecosistema Hadoop: Hive, HDFS, Pig, etc. - Usarás Apache Spark y serás z de desarrollar programas de análisis de datos con esta tecnología. - Estarás preparado para participar en un proyecto Big Data real. A quién va dirigido Dirigido a programadores, especialistas en el tratamiento masivo de datos, y todos aquellos interesados en conocer estas soluciones del ecosistema Big Data Requisitos Para realizar este curso es necesario disponer de experiencia previa en programación en torno a objetos tales como Java, Python, R, o similares. Temario completo de este curso Tema 1º Introducción a las Tecnologías Big Data: Apache Hadoop y Apache Spark Lección 1º Introducción al curso Lección 2º ¿Qué es Big Data? Lección 3º Tipos de Big Data y fundamentos Lección 4º Introducción al ecosistema Hadoop Lección 5º Introducción al ecosistema Spark Lección 6º Hadoop VS Spark y casos de uso Instalación de Software Tema 2º Apache Hadoop: Core Lección 7º Almacenamiento de los datos en Hadoop: HDFS Lección 8º Arquitectura y organización de HDFS Lección 9º Ejemplo de lectura en HDFS Lección 10º Seguridad en HDFS Lección 11º Demostración práctica HDFS (Parte 1) Lección 12º Demostración práctica HDFS (Parte 2) Lección 13º Demostración práctica HDFS (Parte 3) Lección 14º Gestión de recursos y tareas con Yarn Lección 15º Ejemplo de ejecución de una tarea con Yarn Lección 16º Demostración práctica de Yarn (Parte 1) Lección 17º Demostración práctica de Yarn (Parte 2) Lección 18º Demostración práctica de Yarn (Parte 3) Lección 19º Instalación, administración, y monitorización del Cluster con Apache Ambari Lección 20º Pasos para la instalación del Cluster con Apache Ambari Lección 21º Administración de Apache Ambari Lección 22º Demostración práctica con Apache Ambari (Parte 1) Lección 23º Demostración práctica con Apache Ambari (Parte 2) Lección 24º Demostración práctica con Apache Ambari (Parte 3) Lección 25º Seguridad y gobierno de datos con Apache Ragner Lección 26º Seguridad y gobierno de datos con Apache Knox, Sentry y Rhino Tema 3º Ingesta y transformación de datos en Apache Hadoop Lección 27º Formato de los datos en Apache Hadoop Lección 28º Tipos de formatos, y como escogerlos. Lección 29º Formatos de comprensión de los datos Lección 30º Importación de los datos con Apache Sqoop Lección 31º Herramientas para el uso de Apache Sqoop Lección 32º Conectividad, exportación y rendimiento con Apache Sqoop Lección 33º Problemas frecuentes y Sqoop Ser Lección 34º Estructura básica de Apache Flume Lección 35º Eventos y fuentes de entrada de Apache Flume Lección 36º Fuentes de salida, canales y configuración de Apache Flume Lección 37º Ejemplo con Apache Flume Lección 38º Introducción a Apache Kafka Lección 39º Arquitectura y grupos de consumo de Apache Kafka Lección 40º Zookeeper y casos de estudio en Apache Kafka Lección 41º Introducción y funcionalidades con Apache Pig Lección 42º Análisis con Apache Pig Ground Lección 43º Proceso de ejecución con Apache Pig Lección 44º Herramientas ETL: Power Center y Kettle Ejercicios del Tema 3 Resolución de ejercicios del Tema 3 Tema 4º Acceso y explotación de datos en Apache Hadoop Lección 45º Análisis de MapReduce Lección 46º Las fases del MapReduce Lección 47º Usos de Imput Format y Mapper Lección 48º Reducer y ejecución especulativa en MapReduce Lección 49º Proceso de ejecución en MapReduce Lección 50º El Teorema CAP Lección 51º Bases de datos NoSQL con HBase Lección 52º Uso de las tablas y Row Key en HBase Lección 53º Acceso, componentes y MasterSer en HBase Lección 54º Operaciones con HBase Lección 55º Origen y organización de Apache Hive Lección 56º Arquitectura de Apache Hive Lección 57º Simulación de consulta en Hive Lección 58º Origen y características de Cloudera Impala Lección 59º Arquitectura de Cloudera Impala y comparativa con Hive Lección 60º Origen y características de Apache Drill Lección 61º Funcionamiento de Apache Drill Lección 62º Fundamentos de Cloudera Impala Lección 63º Arquitectura de Cloudera Impala Lección 64º Comandos y comparativa Impala VS Hive Lección 65º Apache Phoenix Lección 66º Apache Strom Lección 67º Topografía de Apache Strom Ejercicios del Tema 4 Resolución de ejercicios del Tema 4 Examen 1º Tema 5º Apache Spark Entorno de Prácticas – Instalación Apache Spark (Parte 1) Entorno de Prácticas – Instalación Apache Spark (Parte 2) Entorno de Prácticas – Primer Arranque con Hortonworks y Cloudera (Parte 1) Entorno de Prácticas – Primer Arranque con Hortonworks y Cloudera (Parte 2) Lección 68º Introducción a la arquitectura de Apache Spark Lección 69º Tipologías de despliegue en Spark Lección 70º Análisis del RDD, gestor de tareas, trasformaciones y persistencia en Spark Lección 71º Componentes adicionales: Spark SQL, Datasets, Dataframes y consión a RDD Lección 72º Características y acciones principales de Spark Streaming Lección 73º Análisis, usos y ejemplo de Spark Mlib Lección 74º Análisis y usos de Spark GraphX y conclusiones Lección 75º Demostración práctica de Spark con Scala (1º Parte) Lección 76º Demostración práctica de Spark con Scala (2º Parte) Lección 77º Demostración práctica de Spark con Scala (3º Parte) Lección 78º Demostración práctica con MapReduce (1º Parte) Lección 79º Demostración práctica con MapReduce (2º Parte) Lección 80º Demostración práctica con FlatMap Scala (1º Parte) Lección 81º Demostración práctica con FlatMap Scala (2º Parte) Lección 82º Demostración práctica de Spark con Python (1º Parte) Lección 83º Demostración práctica de Spark con Python (2º Parte) Lección 84º Demostración práctica de Spark con Python (3º Parte) Lección 85º Demostración práctica de Spark con R (1º Parte) Lección 86º Demostración práctica de Spark con R (2º Parte) Lección 87º Demostración práctica de Spark con R (3º Parte) Lección 88º Demostración práctica de Spark con R (4º Parte) Lección 89º Demostración práctica de Spark con Java (1º Parte) Lección 90º Demostración práctica de Spark con Java (2º Parte) Lección 91º Operaciones de Spark con Java (1º Parte) Lección 92º Operaciones de Spark con Java (2º Parte) Tema 6º Arquitectura de Apache Spark Lección 93º Introducción y características de Spark SQL Lección 94º Monitorización, ejecución, Dataframes, y fuentes de datos en Spark SQL Lección 95º Transformaciones y exportaciones con Datasets Lección 96º Características de los Datasets y consión a RDD Lección 97º Análisis del Streaming estructurado Lección 98º Análisis del Streaming estructurado (2º Parte) Lección 99º Demostración práctica con Spark SQL (1º Parte) Lección 100º Demostración práctica con Spark SQL (2º Parte) Lección 101º Demostración práctica con Spark SQL (3º Parte) Lección 102º Demostración práctica con Spark SQL (4º Parte) Tema 7º Spark Streaming Lección 103º Conceptos básicos de Spark Streaming Lección 104º Funciones del Socket Recei y transformaciones en Spark Streaming Lección 105º Operaciones de salida en Spark Streaming Lección 106º Transformaciones con Spark Streaming (1º Parte) Lección 107º Transformaciones con Spark Streaming (2º Parte) Lección 108º Análisis del Checkpointing y persistencia Lección 109º Spark MLib, Dataframes y tablas temporales Lección 110º Práctica Spark Streaming Lección 111º Conclusiones finales Ejercicios del Tema 7 Resolución de ejercicios del Tema 7 Examen 2º más
Otros cursos de esta academia
Programación Java 2017 orientado a Android
(Culture Lab)
Objetivos del curso: durante el curso conoceremos las principales funcionalidades de java desde cero en cuestiones relativas a objetos, clases, herencias componentes...
Curso de Seguridad Informática orientado a Empresas
(Culture Lab)
Parte 5/5 lección 55: usb perdido, phishing lección 56: ejemplos de phishing... conocer los diferentes tipos de atacantes y vulnerabilidades principales a empresas...
Introducción a Big Data con MongoBD y Hadoop
(Culture Lab)
Requisitos - los alumnos participantes han de disponer de conocimientos previos en programación java para realizar el curso satisfactoriamente...
Curso de Diseño Digital y modelado para Impresoras 3D
(Culture Lab)
Obtendrás una visión objetiva de las posibilidades de la impresión 3d en la actualidad - aprenderás las técnicas de prototipado e impresión 3d básicas - conocerás...
Introducción a Machine Learning con Pandas y TensorFlow
(Culture Lab)
Conocer las estructuras de datos... a quién va dirigido el presente curso está principalmente orientado para analistas, programadores, y personas con experiencia...
Curso de Big Data con AWS
(Culture Lab)
A quién va dirigido el curso está dirigido a todo tipo de perfiles que puedan verse involucrados en el diseño/mantenimiento de sistemas big data en la nube de amazon...
Curso de Big Data bonificable. solo empresas
(Culture Lab)
Procesamiento de eventos en tiempo real con apache storm... apache hive: sql sobre hadoop... otras tecnologías de sql sobre hadoop: cloudera impala, apache drill...