Áttekintés
A képzés a Hadoop keretrendszer és a hozzá kapcsolódó Big Data csomagok világába nyújt bevezetést.
A képzés során részletesen bemutatásra kerülnek a Hadoop alapcsomagok mint a HDFS és a MapReduce, röviden áttekintésre kerülnek a további fontos komponensek, valamint kitér a Hadoop klaszterek tervezésére, konfigurálására, illetve hardver (illetve felhő) komponensek kiválasztására is.
A képzés utolsó részében a Hadoopon elérhető elemző eszközök (Hive és Pig) kerülnek részletesebb bemutatásra néhány demo elemzésen keresztül.
Tematika
- Big Data bevezetés
- A Big Data fogalma és definíciója
- Felhasználási példák különböző iparágakban
- A “data scientist” szerepkör jelentősége
- Hadoop bevezetés
- Elosztott rendszerek tulajdonságai
- A Hadoop történelme
- Hadoop csomagok és komponensek áttekintése
- Hadoop distribúciók
- HDFS, MapReduce
- Hadoop Distributed File System
- NameNode és DataNode szerepek
- Adattárolás és -elérés HDFS-en
- Hadoop MapReduce
- JobTracker és TaskTracker szerepek
- MapReduce futtatás lépései
- Hadoop Streaming
- MapReduce adatfeldolgozás
- Adatfeldolgozási példák MapReduce alapokon
- Sorok és attribútumok szűrése
- Aggregátumok számítása (count, min, max, sum, …)
- Egyedi értékek számítása
- Adatok összekapcsolása (join)
- Hadoop klaszterek tervezése és konfigurációja
- Hardver (vagy felhő) komponensek kiválasztása
- Méretezési kérdések
- Operációs rendszer és hálózat megtervezése
- Hadoop disztribúció kiválasztása
- Hadoop telepítés és konfiguráció
- Hadoop klaszterek üzemeltetése
- Hive
- Hive működése, architektúrája
- Hive összehasonlítása klasszikus adatbázisokkal
- Elemzések Hive alapokon
- Demo
- Pig
- Pig működése, architektúrája
- A Pig Latin nyelv
- Demo
Következő nyilvános alkalmak
Kérjen értesítést új időpontjainkról!
Részvételi díj
A részvételi díj 80.000 Ft + ÁFA / fő, ami magában foglalja az étkezéseket és a magyar nyelvű oktatási anyagot is.
