DataFrame API
Funktionsweise der Spark Engine
Best Practices
#FindYourSpark
Apache Spark hat die Entwicklung komplexer Daten-Pipelines stark vereinfacht und sich damit zu einer der am weitesten verbreiteten Technologien im Big Data Bereich in den letzten Jahren entwickelt. Dies ist zum einen auf Sparks Programmierschnittstellen zurückzuführen, welche die prägnante Formulierung komplexer Datenverarbeitungslogiken ermöglichen und zum anderen auf die hohe Automatisierung bei der verteilten Ausführung durch die Engine von Apache Spark.
Diese Schulung richtet sich an Entwickler mit Programmiererfahrung und bietet einen umfassenden Einstieg in die Entwicklung von Daten-Pipelines mit Apache Spark.
Im Fokus steht dabei der Umgang mit Sparks DataFrame API. Angefangen von den grundlegenden Operationen, über erweiterte Konzepte wie Fensterfunktionen, bis hin zur Definition von benutzerdefinierten Funktionen, lernen die Teilnehmer alle wichtigen Bestandteile kennen. Darauf aufbauend werden Best Practices für Entwicklung, Debugging und Profiling von Spark Applikationen besprochen. Abschließend erhalten die Teilnehmer einen Einblick in die Funktionsweise der Spark Engine und die daraus resultierenden Konsequenzen für die Entwicklung von Daten-Pipelines mit Apache Spark.
Das theoretisch vermittelte Wissen der Schulung wird anhand mehrerer praktischer Übungen vertieft und gefestigt.
Die wichtigsten Inhalte des Spark Foundation Trainings:
Tag 1
- Einführung
- DataFrame API
- Grundlagen
- Interne Representation von DataFrames
- Formulierung von Abfragen auf strukturierten Daten
- Entwurfsprinzipien der DataFrame API
- Wandeln zwischen den Welten: Von Python zu Spark und zurück
- Benutzerdefinierte Funktionen
- Mengenorientiertes Denken
Tag 2
- Fortsetzung Mengenorientiertes Denken
- Arbeiten mit dem Hive Metastore
- Umgang mit Fensterfunktionen (Window Functions)
- Entwicklung von Sparkapplikationen
- Das grundlegende Applikationsgerüst
- Umgang mit externen Bibliotheken
- Ausführung von Applikationen
- Debugging und Profiling von Spark Applikationen
- Behandlung invalider Daten
Tag 3 - Advanced AddOn
- Ein Blick hinter die Kulissen
- Funktionsweise der Spark Engine
- Monitoring von Spark Applikationen
- Das Problem ungleicher Datenverteilungen (Data Skew)
- Identifikation von Performanceengpässen und deren Lösung
- Offene Fragen
Alles auf einen Blick!
- Gute Kenntnisse in Python, Basiskenntnisse im Umgang mit Bash, SQL Kenntnisse sind von Vorteil
- 3-tägige Schulung in München
- Teilnehmerzahl auf 10 begrenzt
- Gemeinsames Mittagessen und Verpflegung inklusive
- Sprache: Deutsch
Haben Sie Fragen?
Hallo, ich bin Claudia Djukic-Müller.
Ich helfe Ihnen gerne weiter. Sie erreichen mich telefonisch unter +49 (0) 89 – 323 731 32
Zielgruppe & Voraussetzungen
Zielgruppe
Entwickler mit Programmiererfahrung
Voraussetzungen
Gute Kenntnisse der Programmiersprache Python
Basiskenntnisse im Umgang mit Bash
SQL Kenntnisse sind von Vorteil, aber nicht zwingend notwendig
Organisation
Die Spark Foundation Schulung findet täglich von 10:00 Uhr bis 18:00 Uhr in München statt. Es gibt ein gemeinsames Mittagessen mit allen Seminar Teilnehmern und dem Dozenten im Leib&Seele, das sich direkt neben dem Data Science Hub befindet. Hier haben Sie in entspannter Atmosphäre Gelegenheit, im gemeinsamen Gespräch mit dem Dozenten Themen und offene Fragen zu vertiefen.
Die Teilnehmerzahl der Spark Trainings ist auf 10 begrenzt, um Ihnen einen optimalen Lernerfolg zu ermöglichen.
Ort
Der eintägige Data Science Kurs findet in unserem Data Science Hub im Sapporobogen 6-8 in München statt. Mit den öffentlichen Verkehrsmitteln erreichen Sie uns innerhalb von 15 Minuten vom Hauptbahnhof. Gerne lassen wir Ihnen Hotelempfehlungen in der Nähe zukommen.
Ihr Dozent
Simon Kaltenbacher
Simon Kaltenbacher ist Experte für Datenarchitektur, verteilte Systeme und Stream Processing. Er berät Kunden beim Aufbau von Datenplattformen und unterstützt sie bei der Implementierung von Daten-Pipelines.
Er verfolgt das Apache-Spark-Projekt intensiv seit Version 0.9 und hat bereits mehrere Schulungen und Vorträge zu dieser Technologie gehalten.
Starten Sie gut informiert in Ihre Schulung!
Sie haben Fragen zu den Inhalten, zur Organisation oder interessieren sich für ein Inhouse-Seminar zu unterschiedlichen Themen um Data & AI? Ich helfe Ihnen gerne weiter. Sie erreichen mich telefonisch unter +49 (0) 89 – 323 731 32