Spark

18. Februar 2021

Spark ist ein Open-Source-Cluster-Computing-Framework für die Verarbeitung großer Datenmengen auf Computerclustern. Spark sitzt normalerweise auf einem verteilten Dateisystem wie HDFS. Während die Kernfunktionalität die Verarbeitung von Big Data auf Computerclustern ist, bietet Spark zunehmend weitere Funktionalitäten an, wie z. B. das MLlib-Paket, mit dem Modelle für Machine Learning in Spark implementiert werden können. Tatsächlich ist Spark für die Big-Data-Verarbeitung so wichtig geworden, dass es sein eigenes Ökosystem mit verwandten Tools entwickelt. Zum Beispiel erweitert Spark Streaming die Funktionalitäten, um Streamingdaten verarbeiten zu können. 

Spark hat sich zum wichtigsten Big-Data-Tool entwickelt. Es ermöglicht die Verarbeitung und zunehmend auch die Analyse von Big Data auf Computerclustern, einschließlich der Implementierung von Machine Learning-Algorithmen. Eine großer Vorteil von Spark ist, dass es verschiedene Programmierschnittstellen bietet, die es ermöglichen, es mit verschiedenen Programmiersprachen zu verwenden, z. B. Python und R. Um dies weniger technisch auszudrücken, muss man keine weitere Sprache lernen, sondern kann Spark-Befehle einfach in, sagen wir, Python eingeben. Nichtsdestotrotz erfordert die Verwendung von Spark ein profundes Wissen darüber, wie verteilte Systeme funktionieren. 

Man kann Spark in fast jedem Big-Data-Anwendungsfall zur Datenaufbereitung, -verarbeitung und zunehmend auch für Machine Learning einsetzen. 

Data Navigator Newsletter

Weitere Inhalte

Use Cases

Entdecken Sie unsere Use Cases aus unseren Kundenprojekten.

Webinare

Best Practices und Industry Exchanges. Entdecken Sie kommende und vergangene Webinare.

Whitepaper

Mit unseren Whitepapern, Case Studies und Studien erfahren Sie mehr über den Einsatz von Data & AI in Ihrer Branche.