 --%3E%3Csvg version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink' x='0px' y='0px' viewBox='0 0 19.1 19' style='enable-background:new 0 0 19.1 19;' xml:space='preserve'%3E%3Cstyle type='text/css'%3E.st17%7Bfill:%23225C4D;stroke:%23225C4D;stroke-width:0.75;stroke-miterlimit:10;%7D%3C/style%3E%3Cg id='Layer_1'%3E%3Cpath class='st17' d='M18.4,17.8l-5.9-5.9c1.1-1.2,1.7-2.8,1.7-4.5c0-3.8-3.1-6.9-6.9-6.9c-3.8,0-6.9,3.1-6.9,6.9 c0,3.8,3.1,6.9,6.9,6.9c1.8,0,3.4-0.7,4.6-1.8l5.9,5.9c0.1,0.1,0.2,0.1,0.3,0.1s0.2,0,0.3-0.1C18.6,18.2,18.6,18,18.4,17.8z M7.4,13.4c-3.4,0-6.1-2.7-6.1-6.1C1.3,4,4,1.3,7.4,1.3s6.1,2.7,6.1,6.1C13.4,10.7,10.7,13.4,7.4,13.4z'/%3E%3C/g%3E%3C/svg%3E%0A)
20.05.2016 - Spark (und Hadoop)
Goldschmiede @ anderScore - verfasst am 29.04.2016 von Max Johenneken
Für Reinis Vicups ist Apache Spark zu einem „Schweizer Taschenmesser“ der Datenverarbeitung geworden. Nicht nur für BigData oder Machine Learning Aufgaben, sondern für viele ETL-Aufgaben. Sowohl in Batch wie auch in Echtzeit.
In der Einführung dieser Goldschmiede stellte er uns einige Anwendungsbereiche von Spark vor und ging kurz auf das Map-Reduce Paradigma und die RDDs ein.
Danach tauchten wir gemeinsam in die Architektur von Spark ein und schauten uns einige wichtige Design-Elemente dieses Frameworks detaillierter an.
In der Produktion wird Apache Spark in einer Cluster-Umgebung ausgeführt. Wir warfen einen Blick auf die Ausführung auf dem Mesos anhand eines Produktivsystems und sprachen über die Möglichkeit der Ausführung in einer Hadoop-Umgebung.
Bevor wir uns selbst in einigen Beispielen von der Mächtigkeit von Spark überzeugen konnten, zog Reinis einen subjektiven und durchaus befangenen Vergleich zwischen Spark @ Mesos und Hadoop.
Ein SBT-Beispielprojekt steht im Goldschmiede-Git-Repository zur Verfügung. Wenn Ihr aber lieber mit CLI arbeitet, reicht es wenn Ihr die Spark-Distribution unter spark.apache.org/downloads.html herunterladet (v1.6.1 pre-built vor Hadoop 2.6 and later).