Analytics für Hadoop

Splunk Hunk jetzt allgemein verfügbar

29.10.2013 von Thomas Cloer
Splunk entlässt seine Erweiterung für Hadoop-Analysen "Hunk" heute aus dem Beta-Test.

von Thomas Cloer
Mit der integrierten Analytics-Plattform für Hadoop können Splunk-Kunden in Hadoop gespeicherte historische Daten interaktiv erforschen, analysieren und visualisieren. Hunk nutzt dazu eine zum Patent angemeldete virtuelle Indexierung (die Daten verbleiben in Hadoop), die Self-Service-Analysefunktionen bereitstellt, ohne dass spezielle Programmierkenntnisse, feste Schemata oder kostspielige Integrationen benötigt werden. Hunk enthält ferner eine Entwicklungsumgebung mit integriertem Web-Framework sowie SDKs für die gängigsten Programmiersprachen.

Zu den mehr als 100 Splunk-Kunden, die Hunk bereits in der Beta-Phase ausprobiert haben, gehört die Otto Group aus Hamburg. "Business Analytics-Teams, die das Hadoop Framework nutzen, können mit Hunk die Effizienz für alle Beteiligten deutlich steigern: Analysten können schneller Daten untersuchen und Visualisierungen erzeugen, operative Teams können die Datensicherheit präziser überwachen und Entwickler können eine bessere Datenqualität erzielen", sagt Markus Buda, Senior Data Architect bei Otto. "Gerade bei einer agilen, auf Kollaboration angelegten Arbeitsweise ergeben sich erhebliche Synergien, wenn die Pipelines für die Verarbeitung von Hadoop-Daten überwacht und aus diesen Daten zugleich Business Analytics Dashboards erzeugt werden können." Die Kombination aus Splunk, MapReduce und Hadoop habe der Otto Group "einen sofortigen und nachhaltigen Wettbewerbsvorteil" verschafft.
Eine Jahres-Lizenz von Hunk für einen Hadoop-Knoten (bei einer Mindestanzahl von zehn Knoten) kostet in den USA ab 2500 Dollar; international variiert der Preis von Land zu Land. Eine kostenlose 60-Tage-Testversion kann man bei Splunk herunterladen. (rb)

Erfahrungen beim Einsatz von Big-Data-Techniken
Es ist nicht so, dass noch niemand Big-Data-Projekte angegangen wäre. Es gibt sogar einige Beispiele von Unternehmen, die solche Projekte mit Erfolg absolviert haben.
Deutsche Welle
„Essenziell auch für Big-Data-Projekte sind eine klare Aufgabenstellung, Fokus auf die Lösung und die Nutzer dieser Lösung (weniger auf neueste Informationstechnik) und nicht zuletzt auch ein Gespür für Usability und Funktionsumfang eines Reporting-/Analyse-Dashboards. Weniger ist hier meistens mehr.“
DeutschlandCard GmbH
„Nur ein minutiöser Migrationsplan mit mindestens einer kompletten Generalprobe inklusive Fallback-Test sichert die Betriebssicherheit einer solch komplexen Applikation mit ihren zahlreichen Schnittstellen zu externen Partnern.“
Schukat Electronic
„Big Data Analytics ist nicht nur eine Herausforderung für Großunternehmen. Auch der Mittelstand muss sich immer mehr mit diesem Thema beschäftigen, um im internationalen Wettbewerb erfolgreich zu sein. Das Anwendungsbeispiel verdeutlicht den Nutzen im Vertrieb. Aber beispielsweise auch in der Produktion mit Sensordaten etc. gibt es vielfältige Szenarien in den Fachabteilungen.“
Otto Versand
„Wir haben erkannt, dass für unsere Anforderungen ein selbstlernendes System notwendig ist, das sich stetig ändernde Einflussfaktoren wie Ansprache und Artikel- Ranking oder im Printbereich Seitenanteil und Katalogausstoßmenge berücksichtigt. Damit steigt unsere Prognosequalität kontinuierlich, und die prognostizierten Absatzmengen werden immer präziser. Außerdem können wir uns frühzeitig auf künftige Entwicklungen einstellen.“
Macy‘s
„Der Business-Nutzen zeigt sich erst, wenn Prozesse, die aufgrund fehlender Möglichkeiten bewusst eingeschränkt waren, verbessert werden. In diesem Fall ist es die früher gar nicht mögliche, sehr viel häufigere Preisoptimierung im Gesamtsortiment. Auch können nun sehr viel aktuellere Abverkaufszahlen mit in die Analyse einbezogen werden.“
Telecom Italia
„Bestehende Segmentierungsmodelle können um rollenbasierte Modelle erweitert werden, indem der Einfluss auf das soziale Umfeld durch Leader, Follower etc. verdeutlicht wird. Leader gelten als Kommunikations-Hubs und haben einen starken Entscheidungseinfluss auf ihr Umfeld. Marketing- Strategien und Ansätze zur Kundenakquise können durch SNA optimiert werden. Eigenschaften der Communities, Wechsel zwischen den Communities und die Identifikation von Teilnehmern in Schnittstellenbereichen ermöglichen Rückschlüsse auf neue Kundensegmente und Zielgruppen.“
Netapp
„Das auf Apache Hadoop basierende System arbeitet sicher, zuverlässig und höchst performant. Die Java-basierende Plattform verwendet offene Technologien und ist somit flexibel erweiterbar. Kunden vermeiden so bei niedrigen Betriebskosten (TCO) ein Vendor-Lock-in.“
Semikron GmbH
„Big-Data-Projekte sind komplex. Oft sind Unternehmen nicht in der Lage, ihre tatsächlichen Datenbestände für die geplanten Projektvorhaben hinsichtlich ihrer Volumenentwicklung abzuschätzen. Bei Semikron hat sich beispielsweise gezeigt, dass sie von einem viel größeren Datenvolumen ausgegangen sind, als es tatsächlich der Fall war. Bei dem durchgeführten Proof of Concept stellte sich heraus, dass zwar die Vielzahl an Daten, die in den typischen Produktionsprozessen anfallen, sehr hoch ist, nicht aber das Datenvolumen.“
Vaillant Group
„Allein die Umstellung der Systemlandschaft auf innovative Big-Data-Architekturen aus technischer IT-Perspektive ergibt belastbare Business Cases zur Reduzierung des TCO. Noch deutlich übertroffen werden für Fachabteilungen die Resultate aus dem Mehrwert der neuen Lösungen und Möglichkeiten in Verbindung mit der drastischen Reduzierung der Bearbeitungszeiten durch die Anwender.“
TomTom
„Um die kompletten Anforderungen des Kunden in Big- Data-Projekten erfüllen zu können, ist übergreifendes Know-how erforderlich, das die Konfiguration von Hard- und Software, das Tuning und technisches Consulting umfasst.“
United Overseas Bank (Singapur)
„Entscheidend ist das Denken in Geschäftsprozessen. Wird nur ein Teil beschleunigt, der Gesamtprozess bleibt aber unangetastet, so lässt sich der Vorteil nicht realisieren. Sowohl das Daten-Management im Vorfeld als auch die Echtzeit-Nutzung der Echtzeit-Ergebnisse sind bestimmende Faktoren für den erfolgreichen Einsatz dieser neuen Lösung.“
Xing
„In kürzester Zeit stellten sich positive Effekte bei Xing ein, vor allem eine deutliche Verbesserung bei den Analysen. Prozesse können durch die neue Lösung schneller entwickelt und Ad-hoc Anfragen zügiger beantwortet werden. Es sind keine langen Workarounds mehr notwendig, alle BI-Mitarbeiter nutzen das neue System effektiv. Die Komplexität und die Wartung des Systems wurden merklich verringert. Bei der Arbeit mit der neuen Lösung konnte eine steile Lernkurve seitens der Anwender verzeichnet werden, auch wird spürbar produktiver gearbeitet.“
In eigener Sache:
Mit diesen Anwenderzitaten wollen wir Ihnen Lust machen auf das nächste Heft in unserer vierteiligen Quadriga-Reihe. Titelthema ist Big Data. Anwenderbeispiele, visionäre Konzepte und Meinungen runden das Thema ab. Auch auf die Megatrends Mobility, Cloud Computing und Social Media werden wir wieder eingehen. Erscheinungstermin: 10. Juni 2013.