Data Engineering ist ein Bereich, der immer noch von vielen Unternehmen unterschätzt wird, wenn es darum geht, ihre Daten in Mehrwert zu verwandeln. In diesem Blog-Artikel erfahren Sie, warum der Data Engineer eine Schlüsselposition in Data-Science-Teams einnimmt sowie alles Wesentliche über das Berufsbild und Ausbildungsmöglichkeiten.

Immer mehr Unternehmen entschließen sich dazu, Datenauswertungen in ihrer Organisation zu nutzen. Einer der ersten Gedanken beim Recruiting ist dabei meist, einen Data Scientist ins Haus zu holen. Um erfolgreich Datenprojekte durchzuführen, müssen aber mehrere Rollen in einem Team besetzt sein (Data Roles).

Ein Data-Science-Team vereint zahlreiche Fähigkeiten und Professionen. Neben dem Data Scientist nimmt der Data Engineer darin eine Schlüsselrolle ein. Er ist der Garant für Zuverlässigkeit und Performance der IT-Infrastruktur.

Data Engineering ist ein vergleichsweise junges Phänomen. Der Data Engineer – manchmal auch Big Data Engineer oder Big Data Architekt genannt – lässt sich im Deutschen vielleicht am ehesten als „Dateningenieur“ bezeichnen. Zwar gibt es bislang nahezu keine Möglichkeit, Data Engineering als klassischen Studiengang zu belegen, dennoch wird das Berufsbild in Zukunft immer wichtiger werden.

Was macht ein Data Engineer?

Der Data Engineer kümmert sich um alle Prozesse rund um die Generierung, Speicherung, Pflege, Aufbereitung, Anreicherung und Weitergabe von Daten. Eine wichtige Aufgabe dabei ist beispielsweise der Aufbau und die Überwachung der Hardware- und Software-Infrastruktur. Dazu gehören Konzeption, Einkauf sowie Einrichtung aller nötigen Komponenten, die für die jeweiligen Anforderungen angemessen sind.

Auch die Entscheidungen, welche Software und welche Services eingesetzt werden, um die Analysen zu betreiben, werden vom Data Engineer getroffen, durchgeführt und überwacht. Er muss also beispielsweise dazu in der Lage sein, eine Datenbank wie MongoDB oder Datenbanken in SQL aufzubauen und zu pflegen.

Neben dem Management und Monitoring der Daten und Datenquellen besetzt der Data Engineer die Schnittstelle zwischen den Daten und den Instanzen, die für die Analyse und Weiterverwendung zuständig sind. Er ist in diesem Rahmen nicht nur für die Wahl der richtigen Data-Sets verantwortlich, sondern optimiert auch Algorithmen oder nimmt Produktivitätstools in Betrieb, die es den Mitarbeitern erleichtern, mit den Daten umzugehen.

Nicht zuletzt kümmert sich der Data Engineer auch noch um die Sicherheit und Stabilität des gesamten Systems sowie die Einhaltung von Datenschutz und Datensicherheit.

Lesetipp: Ohne Data Engineering lässt sich vernünftigerweise kein Data Lake betreiben – Lesen Sie hier mehr über die Grundlagen und alles Wissenswerte zum Data Lake.

Welche Kenntnisse benötigt ein Data Engineer?

Eine der entscheidenden Fähigkeiten eines Data Engineers ist es, alle Anforderungen von Datenprozessen zu kennen und Datenmengen skalieren zu können. Viele Unternehmen unterschätzen die teilweise nötigen hohen Kapazitäten vor allem, wenn es im Industrie-4.0.-Kontext um Maschinendaten geht. Die Nutzung von Cloud-Services stellt hier eine mögliche Lösung dar, weil hier bei Bedarf die Speicherkapazität leicht erhöht werden kann.

Insbesondere in kleinen Unternehmen, in denen nur ein Data Engineer oder nur ein kleines Team für diese Aufgaben zuständig ist, muss ein Data Engineer ein guter Allrounder sein. In größeren Unternehmen werden die einzelnen Aufgaben jedoch so aufwändig und zum Teil so komplex, dass es nicht mehr möglich ist, dass eine Person alles gleichermaßen übernehmen kann.

Ein Data Engineer sollte über fortgeschrittene Kenntnisse im Programmieren verfügen. Von Vorteil sind außerdem grundlegende Kenntnisse bei der Entwicklung von Algorithmen. Zum einen kann es vorkommen, dass Software und Algorithmen durch einzelne, individuelle Komponenten erweitert werden müssen. Zum anderen arbeiten Data Engineers direkt mit Data Scientists zusammen und diese Zusammenarbeit wird erheblich erleichtert, wenn ein grundlegendes Verständnis über den folgenden Arbeitsschritt vorhanden ist. Data-Science-Kenntnisse helfen auch dabei, eine passgenaue und langfristig ausreichende Infrastruktur aufzubauen.

Zusätzliche Fähigkeiten

Oft unterschätzt wird auch der kommunikative und zwischenmenschliche Aspekt. Data Engineers sind jeden Tag im Kontakt mit Menschen, deren fachliche Expertisen zum Teil aus einem völlig anderen Bereich kommen. Antworten von Data Engineers sind in der Regel sehr technisch, aufgrund der komplexen Hardware und Software, die in Daten-Analyseprozessen beteiligt sind.

Gleichzeitig beeinflussen ihre Entscheidungen den Arbeitsalltag dieser Kollegen. Für den Erfolg ist es oft wichtig, Probleme und Lösungen in einfachen Worten erklären zu können, damit andere Teammitglieder und Mitarbeiter im Unternehmen ihre Entscheidungen verstehen.

Der traditionelle Ingenieur gilt als Problemlöser, der vor allem unter Druck gut arbeiten können muss. Dasselbe gilt auch für den Dateningenieur. In Zeiten, in denen nahezu alle Unternehmen von ihrer IT-Infrastruktur abhängen, ist es bei Störfällen entscheidend, das System so schnell wie möglich wieder zum Laufen zu bringen. Oft ist es so, dass ein Data Engineer allein in einem Unternehmen dafür verantwortlich ist, dass die Systemumgebung sauber läuft.

Selbst wenn sie in einem Team arbeiten, ist es eher selten der Fall, dass sie an einer anderen Stelle im Unternehmen noch weitere Experten finden, auf deren Rat sie zurückgreifen können. Die Fähigkeit, selbständig Lösungen zu finden, ist demnach ebenfalls eine der Kernkompetenzen.

Wie wird man Data Engineer?

In den meisten Fällen kommen Data Engineers aus den Bereichen Informatik, Wirtschaftsinformatik und Computer-Technik. Das schließt aber nicht aus, dass jemand mit einer statistischen Grundausbildung, der zugleich erste Erfahrungen im Bereich Engineering hat, sich später im Bereich Data Engineering spezialisiert.

Neben den persönlichen Präferenzen hängt diese Entscheidung auch stark vom jeweiligen Unternehmen ab, in dem jemand Karriere machen möchte, beziehungsweise von den konkreten Data-Science-Projekten – kurz gesagt: Learning on the Job. Die Rahmenbedingungen bestimmen also stark mit, welche Spezialisierung oder welche genauen Kenntnisse relevant sind und erlernt werden müssen.

Welches Potenzial hat der Beruf Data Engineer?

Im Zuge der immer umfassender werdenden Digitalisierung wird auch der Beruf des Data Engineers immer wichtiger. In nahezu jedem Unternehmen wird es bald mehr oder weniger komplexe IT-Infrastrukturen und die Notwendigkeit zur Datenanalyse bzw. zum Datenmanagement geben. Laut einer Prognose des Marktforschungsinstituts Ovum entwickeln sich Data Science und Data Engineering zu den maßgeblichen Erfolgsfaktoren.

Der Bedarf wird demnach ganz besonders im IoT-Umfeld weiter sehr stark zunehmen. In jedem Fall wird die Nachfrage nach Data Engineers künftig weiter stark ansteigen. Neben dem Data Scientist ist der Data Engineer einer der attraktivsten Berufe des 21. Jahrhunderts.