Melden Sie sich hier an, um auf Kommentare und die Whitepaper-Datenbank zugreifen zu können.

Kein Log-In? Dann jetzt kostenlos registrieren.

Falls Sie Ihr Passwort vergessen haben, können Sie es hier per E-Mail anfordern.

Der Zugang zur Reseller Only!-Community ist registrierten Fachhändlern, Systemhäusern und Dienstleistern vorbehalten.

Registrieren Sie sich hier, um Zugang zu diesem Bereich zu beantragen. Die Freigabe Ihres Zugangs erfolgt nach Prüfung Ihrer Anmeldung durch die Redaktion.

10.01.2007

Cluster: Vom Experiment zum Mainstream

Jürgen Wasem-Gutensohn
Leistungsstarke Rechnerverbünde sind heute Supercomputern ebenbürtig - aber viel billiger. Entscheidend für Performance und Administrierbarkeit ist die Auswahl der richtigen Komponenten.

Zwei Mal im Jahr stehen Supercomputer im Rampenlicht der Fachöffentlichkeit - nämlich dann, wenn die Top-500-Liste der schnellsten Computer der Welt veröffentlicht wird. Zur Leistungsmessung von Supercomputern wird das Benchmark-Programm "Linpack" eingesetzt. Es ermittelt die Geschwindigkeit des Rechners beim Lösen linearer Gleichungssysteme. Bemerkenswert an den beiden Listen vom Juni und November 2006 ist nicht, wer mit wie viel Teraflops (Flops = Floating Point Operations per second) die Nummer eins oder Nummer zwei war. Das Erstaunliche daran ist vielmehr, dass von den 500 aufgeführten Systemen 263 mit Intel-Prozessoren arbeiten. Zählt man die 113 Cluster dazu, die mit AMD-CPUs ausgestattet sind, zeigt sich, dass mehr als drei Viertel der im technisch-wissenschaftlichen Bereich genutzten Systeme mit handelsüblichen Standardkomponenten Spitzenleistungen erbringen.

Mehr zum Thema

www.computerwoche.de/

583587: Energieeffizientes Cluster;

583321: Riesen-Cluster aus Kanada;

583207: HP-Initiative: Cluster statt Mainframe.

Hier lesen Sie ...

• wie leistungsstark Cluster heute bereits sind;

• wie die Rechenknoten gekoppelt werden können;

• welche Standardkomponenten heute meist zum Einsatz kommen;

• wie die Cluster-Verwaltung funktioniert.

Experiment wird Realität

Was Mitte der 90er Jahre als Experiment in den technisch und mathematisch ausgerichteten Fakultäten einzelner Hochschulen begann, hat sich heute als Mainstream etabliert: High-Performance-Cluster. Ein solcher Rechnerverbund zeichnet sich durch zwei wesentliche Bestandteile aus: über ein Verbindungsnetz ist eine nahezu beliebige Zahl von Einzelrechnern (Knoten) zusammengeschlossen. Die Knoten selbst bestehen aus gängigen Ein- oder Mehrwege-Servern, die auch für den Einzelbetrieb geeignet sind. Die Kosten pro Knoten liegen in der Regel im Zehntausend-Euro-Bereich. Klassische Supercomputer dagegen sind typische Einzelstücke, deren die Anschaffungskosten nicht selten bei 100 oder mehr Millionen Euro liegen.

Nun hat jedes Rechenzentrum eigene technische Anforderungen an die Ausstattung des Clusters, die Art der Rechenjobs, die Abläufe und den Betrieb. Auch die Art der Applikationen (zum Beispiel die Komplexität der Gleitkommaoperationen) spielt beim Design eines Clusters eine große Rolle. Wichtig sind auch die Prozessorarchitektur, die Hardwareplattform, das Kommunikationssubsystem und das Management-Framework.

PC-Chips für Superleistung

Bei Standardkomponenten stehen in der Intel-Welt drei Architekturen zur Auswahl: Intel 32 Bit (IA-32), Intel Extended Memory 64 Technology (EM64T) und Intel 64 Bit (Itanium, IA-64). Die Domäne der Cluster auf Basis der Itanium-CPU sind komplexe, rechenintensive Applikationen aus dem Finanzwesen, Crash-Simulationen oder andere, aufwändige ingenieurwissenschaftliche Anwendungen. Im Vergleich zu herkömmlichen Servern mit 32-Bit-Xeon-Systemen macht sich die deutlich höhere Leistung allerdings auch stark im Preis bemerkbar. Deshalb konnten sich bislang Itanium-Server nur in Nischenmärkten etablieren.

Mit EM64T dagegen schließt der Prozessorlieferant eine Lücke zwischen den 32-Bit-Xeon- und 64-Bit-Itanium-2-Maschinen. Zum Vergleich: Die 32-Bit-Prozessoren können maximal 4 GB Hauptspeicher nutzen, EM64T-CPUs sind an diese Grenze nicht gebunden. Durch die Erweiterung der bisherigen 32-Bit-Architektur können mit EM64T ausgestattete Server, etwa Dells "Poweredge 1850", sowohl mit 32- als auch mit 64-Bit-Betriebssystemen arbeiten. EM64T-Systeme schließen so die Kluft zwischen den 32-Bit-Xeon-Servern und den 64-Bit-Itanium-Servern.

Multi-Core als wichtiger Trend

Der zweite wichtige Trend im Prozessorbereich neben EM64T sind die Multi-Core-Prozessoren, die nun nach und nach in Servern zum Einsatz kommen. Hier geht es primär um mehr Leistung. Statt die Performance durch eine höhere Taktung der Prozessoren zu steigern, beschreiten alle CPU-Hersteller den Weg, mehr Leistung durch eine parallele Verarbeitung erreichen zu wollen. So erledigen zwei Prozessorkerne (Cores) Rechenaufgaben im Idealfall fast doppelt so schnell. Als Anhaltspunkt: Server mit Xeon-Dual-Core-Prozessor bringen theoretisch 80 bis 90 Prozent, in der Praxis rund 50 Prozent mehr Leistung als mit Single-Core-Prozessoren - abhängig vom Betriebssystem, der Anwendung, dem Compiler und anderen Faktoren.

Rechner im Rack

Da Cluster-Architekturen aus einer Vielzahl von Knoten bestehen, bieten sich hier zwei Formfaktoren an: Rack-optimierte Rechner oder Blade-Server. Die oft als Pizzaboxen bezeichneten Rack-Server messen oft nur eine Höheneinheit (1U = 4,45 cm). Bis auf wenige Ausnahmen finden sich in solchen Geräten nicht mehr als zwei Prozessoren. In einem Standardschrank (183,4 cm hoch) haben damit 42 Rack-Server mit 84 CPUs Platz.

Noch mehr Leistung auf vergleichbarem Raum bieten Blade-Server wie der "Power Edge 1955". Das 7U hohe Gehäuse fasst bis zu zehn senkrecht einzuschiebende Rechner mit jeweils zwei Xeon-Prozessoren und je vier Cores. In ein Rack passen sechs Blade-Chassis mit 120 Prozessoren und 480 Rechenkernen. Im direkten Preis-Leistungs-Vergleich mit Rack-Servern haben die Blades die Nase vorn. Gemessen an der Prozessorzahl sind die reinen Hardwarekosten um 25 Prozent niedriger, denn die steckbaren Rechner nutzen Ressourcen wie die Stromversorgung, Kühlung und Netzwerk-Switches gemeinsam. Mehr noch: Auch die Verkabelung reduziert sich gegenüber herkömmlichen Servern um 70 Prozent.

Wichtig ist die Art und Weise, wie die einzelnen Server-Knoten vernetzt sind, denn dadurch wird die Leistungsfähigkeit eines Clusters maßgeblich beeinflusst. Zwei Parameter sind für die Beurteilung der Performance wichtig: Latenz (Zeit zwischen Versand und Empfang von Daten) und Bandbreite (maximale Geschwindigkeit der Datenübertragung). Wünschenswert ist eine möglichst niedrige Latenz und eine möglichst hohe Bandbreite.

Drei Kommunikationsarten

Mit dieser Vorgabe empfehlen sich drei Techniken: Gigabit Ethernet, Infiniband und Myrinet. Bei Gigabit Ethernet erfolgt die Verkabelung sternförmig um den zentralen Switch. Gigabit Ethernet verfügt über eine Latenzzeit von wenigen Millisekunden und hat Bandbreiten von bis zu 10 Gbit/s. Etwas schneller ist Myrinet. Es wurde speziell für Cluster entwickelt und hat eine Latenz von unter zehn Mikrosekunden. Die Bandbreite liegt bei mehreren Gbit/s. Wenn es noch schneller gehen soll, hilft Infiniband: Auf Basis von Standards ermöglicht dieses Protokoll, Server, Speichersysteme und andere Peripheriegeräte im Netz leichter und zudem mit einer höheren Durchsatzrate miteinander zu verbinden, und zwar mit bis zu 60 Gbit/s. Noch einmal zum Vergleich ein Blick auf die Top-500-Liste im November 2006: 213 der dort gelisteten Cluster nutzten Gigabit Ethernet, 79 verwendeten Myrinet und 78 Infiniband.

Einfaches Cluster-Management

Für den laufenden Betrieb von erheblicher Bedeutung ist ein effektives Management, denn je mehr Einzelkomponenten ein Cluster hat, desto komplexer gestaltet sich die Administration. Im Wesentlichen gibt es drei Management-Varianten: " Felix", "Scali" und "Rocks".

Felix stammt von MPI Software Technology und ermöglicht es, Rechnerknoten einer bestehenden Konfiguration hinzuzufügen, zu ändern oder auch zu entfernen. Für Cluster-Monitoring stehen die Standard-Linux-Tools und die Software "Ganglia" bereit. Statische Informationen werden im Multi-Cast-Verfahren einmal pro Stunde verschickt, dynamische Informationen wie die Angaben zur CPU-Auslastung oder zur Zahl der parallel ablaufenden Prozesse alle fünf Sekunden.

Mit "Scali Manage" vom Linux-Provider Scali können Administratoren mehrere Sub-Cluster von einem einzigen Master-Knoten aus verwalten. Ebenso wie Felix unterstützt Scali Manage Fast Ethernet, Gigabit Ethernet, Myrinet und Infiniband.

Verwaltung mit Linux

Im Unterschied zu Felix und Scali, die als Betriebssystem-Add-on arbeiten, integriert NPACI Rocks, eine Entwicklung des San Diego Supercomputer Center, ohne Änderungen im Kernel Cluster-Funktionen in die Linux-Distribution von Red Hat Linux. Die Open-Source-Lösung vereinfacht die Installation, die Administration und den Betrieb von Standard-basierenden Clustern. Rocks unterstützt Intel-32-Bit-Prozessoren, aber auch Itanium und EM64T Xeon.

Abschließend bleibt die Frage nach dem Betriebssystem: Lediglich in Cluster-Lösungen, die aus zehn oder weniger Knoten bestehen, hat sich Microsoft mit seinen "Cluster Services" eine Marktnische erobert. Im technisch-wissenschaftlichen Bereich dominiert aber Linux. (kk)