Zwei neue Hadoop-Lösungen und DMX-Innovationen optimieren ETL durch Hadoop, und Hadoop profitiert vom erweiterten ETL
Ratingen, Deutschland – 21. Mai 2013
Syncsort, globaler Anbieter hochleistungsfähiger Software für Datenintegration, hat heute seine neuen Softwareversionen für das Frühjahr 2013 vorgestellt. Dazu zählen zwei neue Hadoop-Lösungen und innovative Verbesserungen am DMX, durch die Hadoop zu einer robusteren, leichter zu bedienenden ETL-Lösung mit großem Funktionsumfang wird.
Angesichts stetig wachsender Datenmengen versprechen sich Unternehmen von Hadoop, mehr Daten in kürzerer Zeit und zu niedrigeren Kosten verarbeiten zu können. Bisher ist Hadoop jedoch noch keine vollständige ETL-Lösung. Die zwei neuen Syncsort-Produkte für Hadoop – DMX-h ETL Edition und DMX-h Sort Edition – erweitern Hadoop um alle Funktionen, die Unternehmen für ihre ETL-Prozesse benötigen. Sie vereinfachen die Bedienung der Lösung und maximieren gegenüber nicht nativen, Code erzeugenden ETL-Tools die Knotenleistung. Zusätzlich wurden die Leistung und die Konnektivität von DMX erhöht, um eine erweiterte Nutzung durch Endanwender und Partner zu ermöglichen.
“Die Möglichkeit, Analysen großer Datenmengen durchzuführen, ist für die Wettbewerbsfähigkeit unserer Kunden unverzichtbar. Die heutige Datenflut überfordert jedoch die meisten herkömmlichen Datenintegrationsarchitekturen. Viele der Tools sind zu code- und ressourcenintensiv und verursachen letztlich zu hohe Kosten”, so Josh Rogers, Senior Vice President des Bereichs Datenintegration bei Syncsort. “Mit unseren neuen DMX-Editionen erweitern wir Hadoop um nahtlose, leistungsstarke ETL- und Sortierfunktionen. Gleichzeitig steigern wir den Nutzen von ETL, indem wir die Leistung von Hadoop zur grundlegenden Verarbeitung großer Datenmengen einsetzen.”
Die neuen DMX-h-Lösungen greifen auf den Beitrag von Syncsort zu Apache Hadoop zurück. Das Ergebnis ist eine enge, native Integration, die bei Apache Hadoop für erstklassige Funktionen zur Datenintegration und für eine beschleunigte Sortierung sorgt.
DMX-h ETL bietet u. a. Folgendes:
– Intelligentere Architektur: DMX-h ist die einzige Lösung mit einer ETL-Engine, die nativ in MapReduce ausgeführt wird und so die Knotenleistung maximiert.
– Intelligentere Entwicklungsumgebung: Hadoop ETL kommt ohne Code aus. Entwickler können mit einer intuitiven Windows-Benutzeroberfläche arbeiten und ihre Produkte nahtlos in Hadoop implementieren.
– Intelligentere Produktivität: Eine Bibliothek mit vordefinierten Vorlagen für verschiedene Anwendungsfälle unterstützt Entwickler bei der schnellen Hadoop ETL-Implementierung.
– Intelligentere Konnektivität: Der Zugriff auf alle Daten und ihre Übermittlung, auch vom Mainframe, werden ausgebaut.
– Intelligentere Kostensenkung: Dank intelligenterer Architektur, Entwicklungsumgebung, Konnektivität und Produktivität erzielen Kunden die gewünschten Ergebnisse in kürzerer Zeit und zu einem Bruchteil der Kosten anderer Lösungen.
Benchmark Ergebnisse
Aktuelle Syncsort Benchmarks zeigen, dass sich durch die Verwendung von DMX-h die Leistung sowie die Ressourceneffizienz von Hadoop signifikant verbessern. Noch wichtiger, die Ergebnisse zeigen, dass der Durchsatz selbst bei steigenden Datenmengen berechenbar und nachhaltig bleibt. Bei Zugrundelegung des TeraSort Benchmarks erzielte die DMX-h Sort Edition einer nachhaltigen Durchsatz von über 100 Megabyte pro Sekunde pro Knoten (MB / S / N) und liefert damit einen mehr als doppelt so hohen Durchsatz pro Knoten wie die sonst gängigen Sortierfunktionen von Hadoop mit 45 MB / S / N. Ebenso erreichte die DMX-h ETL Edition bei der Aggregation von 2 TB Web Log-Daten einen nachhaltigen Durchsatz von über 255 MB / S / N und damit eine bis zu 2,5-fach höhere Leistung als Pig. In beiden Fällen wurden Tests für Datenvolumen von 500 GB bis 2 TB Daten durchgeführt. Während alternative Lösungen wie die gängige Hadoop Sortierung und Pig bei rund 500 GB Datenmenge einen Sättigungspunkt erreichen, ab dem der Durchsatz sinkt, liefert DMX-h nachhaltige und berechenbare Leistungen von 500 GB bis 2 TB. Die Auswirkungen sind für Unternehmen enorm. Sie können dadurch nicht nur die Größe ihrer Hadoop Infrastruktur effektiver gestalten, sondern auch Unsicherheitsfaktoren beseitigen und in Zeiten ständig steigender Big Data Umfänge eine deutlich kalkulierbarere Kostenstruktur etablieren.
Kundenzitate
“Hadoop senkt die Ausgaben zur Verarbeitung großer Datenmengen, ist jedoch für Unternehmen nicht kostenlos. Die hohen Hardware- und IT-Produktivitätskosten gefährden unter Umständen den ROI”, so Evan Quinn, Senior Principal Analyst bei der Enterprise Strategy Group. “Die neuen Syncsort-Produktversionen für das Frühjahr 2013 erweitern Hadoop um spezielle Funktionen, die maximale Kosteneinsparungen ermöglichen. Unternehmen erhalten erstklassige ETL-Technologie mit einem herausragenden Preis-Leistungs-Verhältnis, das auf dem Datenintegrationsmarkt seinesgleichen sucht. Die Kosten ähneln eher denen einer Open-Source-Lösung.”
“Beim Tag-Management sorgen wir für zahlreiche Interaktionen zwischen Marketingexperten und ihren Anbietern. So können wir nachvollziehen, welchen komplizierte Schritte ein Verbraucher unternimmt, bevor er ein Produkt erwirbt. Die Verarbeitung umfangreicher Daten spielt dabei eine zentrale Rolle. Um uns im Wettbewerb behaupten zu können, müssen wir die vielen von unserer Plattform erfassten Daten über die Schritte des Kunden bis hin zur Kaufentscheidung in aussagekräftige Informationen umwandeln, die dann Marketingexperten und ihre Anbieter als Entscheidungsgrundlage nutzen können”, berichtet Ave Wrigely, CTO von TagMan. “Der größte Vorteil der neuesten Syncsort DMX-Produkte ist der Wegfall von Codes. Stattdessen können wir nun Informationen mithilfe einer übersichtlichen Benutzeroberfläche innerhalb und außerhalb von Hadoop erfassen, bereinigen und verteilen. Dies spart Zeit und Ressourcen und verleiht uns bei der Aufbereitung großer Datenmengen für geschäftliche Analysen und Datenvisualisierungen maximale Flexibilität.”
“Cloudera betrachtet ETL als einen der wichtigsten Einsatzbereiche von Hadoop. Nur so können wir unser Ziel verfolgen, den Nutzen großer Datenmengen zu maximieren”, erklärt Amr Awadallah, Chief Technology Officer bei Cloudera. “Die neuen DMX-h-Lösungen von Syncsort geben unseren gemeinsamen Kunden entscheidende Datenintegrations- und ETL-Funktionen an die Hand, die ihre ETL-Umgebungen vereinfachen. Daten werden damit auf effiziente Weise nativ in Hadoop verarbeitet. Die CDH Version 4.2 beinhaltet den Beitrag von Syncsort zu Apache Hadoop. So kann die Sortierphase eingebunden werden, DMX-h wird aktiviert, und die möglichen Einsatzgebiete von Hadoop werden erweitert.”
Schneller Einstieg mit der Testversion von DMX-h ETL
Benutzer, die an DMX-h ETL interessiert sind, können ab sofort eine kostenlose Testversion herunterladen. Diese umfasst alle benötigten Komponenten und erfordert keine Einrichtung eines eigenen Hadoop-Clusters. Enthalten sind eine Linux Virtual Machine, auf der Cloudera CDH 4.2 und DMX-h ETL Edition bereits vorinstalliert sind, sowie Vorlagen für verschiedene Anwendungsfälle und Beispieldaten.
Weitere Ressourcen
. Anwenderberichte zur Datenintegration mit Syncsort
. Syncsort auf Twitter
. Syncsort-Community auf LinkedIn
. Syncsort-Community auf Facebook
. Syncsort-Videos auf YouTube
. Syncsort-Blog
Über Syncsort
Syncsort ist ein weltweit tätiger Softwarehersteller, der Unternehmen eine neue Sicht auf den Business Value ihrer Daten ermöglicht. Syncsort bietet für die Datenintegration und -sicherung hochleistungsfähige Lösungen, die sich dank der einfachen Bedienung innerhalb kürzester Zeit amortisieren. In mehr als 15 000 Implementierungen hat Syncsort eine Basis für neue Entscheidungsmöglichkeiten gelegt und weltweit Tausenden von Kunden zu einem besseren Geschäftsergebnis verholfen. Weitere Informationen erhalten Sie unter: www.syncsort.de.
EMC und DLm sind eingetragene Marken oder Marken der EMC Corporation in den Vereinigten Staaten und anderen Ländern.
Kontakt
Syncsort GmbH Pressekontakt
Martin Uffmann
Münchener Strasse 14
85748 Garching
089 36036341
martin@gcpr.net
http://www.syncsort.de
Pressekontakt:
GlobalCom PR-Network GmbH
Martin Uffmann
Münchener Straße 14
85748 Garching
089 360 363 41
martin@gcpr.net
http://www.gcpr.de