Infiniband - die ultimative Datenübertragung

10.01.2002
Der Name "Infiniband" ist ein Wortspiel aus infinite Bandwidth und bedeutet übersetzt etwa unendliche Bandbreite. Der Begriff steht für eine neue Input/Output-Architektur, die die Datenübertragungsgeschwindigkeit im Rechner und in Netzwerken maßgeblich steigern soll. ComputerPartner zeigt, wie Infiniband arbeitet.

Schon 1967 erkannte Gene Amdahl, dass zwischen der Prozessor-Geschwindigkeit und der Bandbreite des Speichers sowie der Input/Output-Komponenten eine gewisse Relation eingehalten werden muss. Sonst wird die Rechengeschwindigkeit der CPU durch zu langsame Komponenten ausgebremst. In den letzten zehn Jahren wurde die Rechengeschwindigkeit der Prozessoren immens gesteigert, wobei die Übertragungsgeschwindigkeiten zwischen dem Speicher des Computers und der Input/Output-Komponenten vernachlässigt wurden.

Die führende I/O-Bus-Architektur, Peripheral Component Interconnect (PCI), wurde 1992 eingeführt und ist heute der Standard bei PCs und Servern. Die einzigen Neuerungen, die der PCI-Bus in den letzten Jahren erfahren hat, war die Steigerung von 33 MHz auf 66 MHz und die Erweiterung der Busbreite von 32 Bit auf 64 Bit. Auch das PCI-X-Protokoll, das immerhin eine Taktfrequenz von 133 MHz bei einer Busbreite von 64 Bit vorsieht, ist nach Ansicht von Experten nicht mehr als die kosmetische Operation an einem alten System. Viele Kenner der Branche glauben, dass dem PCI-Bus in den nächsten Jahren nur wenig Überlebenschancen beschert sind. Bei Taktraten von weit über 1 GHz beim Prozessor und Netzwerkgeschwindigkeiten von 1 Gigabit pro Sekunde wird der PCI-Bus in den Servern zum Flaschenhals. Außerdem besitzt der PCI-Bus noch weitere Unzulänglichkeiten. Das sind im Einzelnen:

Bus-Sharing: Man kann den PCI-Bus mit einer Datenautobahn mit vielen Auf- und Abfahrten vergleichen. Alle Karten müssen eingesteckt sein, damit eine einzige Datenverbindung zwischen zwei Komponenten möglich ist. Nur eine einzige Komponente kann gleichzeitig mit der CPU kommunizieren. Und dabei können ent-weder nur Daten gesendet oder empfangen werden. Diese Einschränkung limitiert den Datenfluss gewaltig.

Bus-Geschwindigkeit: Das PCI- und das PCI-X-Protokoll unterstützen nur eine feste Datenübertragungsrate. Die liegt theoretisch bei 628 Megabyte pro Sekunde (PCI) und bei 1.064 Megabyte pro Sekunde (PCI-X). Das PCI-X-Protokoll stößt inzwischen an die Grenzen des technisch Machbaren.

Skalierbarkeit: Eine Erweiterung des PCI-Bus-Systems ist teuer und aufwändig. Neue Chips auf dem Board werden dann notwendig. Außerdem werden mit steigender Frequenz bei PCI-X weniger Karten unterstützt. Während beispielsweise bei 66 MHz noch vier Karten angesprochen werden können, ist es bei 133 MHz nur noch eine einzige Karte.

Keine Abschaltmöglichkeit: Eine Isolation einzelner Karten ist beim PCI-Bus nicht vorgesehen. Fällt nur eine Karte im PCI-Verbund aus, muss der gesamte Server für die Reparatur heruntergefahren werden. Außerdem werden neue Karten nicht automatisch erkannt.

Infiniband: Die Lösung

Führende Hersteller wie Compaq, Dell, Hewlett-Packard, IBM, Intel, Microsoft und Sun entwickelten 2000 die Infiniband-Architektur (IBA). Auguren von IDC nehmen an, dass bereits 2005 80 Prozent aller Server weltweit mit dieser Architektur arbeiten werden.

IBA hat mit dem ursprünglichen PCI-Bus nichts mehr gemein. Es wurde von Grund auf neu entwickelt und soll in Zukunft Server mit Speicher, Netzwerkkomponenten und anderen Servern verbinden, sowie für die Kommunikation innerhalb des Rechners zuständig sein. Auch soll IBA über kurz oder lang den PCI-Bus im Rechner ersetzen.

Infiniband basiert auf einer geschalteten Point-to-Point-Verbindung. Jeder Endpunkt kann entweder aus einem preiswerten SCSI-Chip, einem Ethernet-Adapter oder auch aus einem komplexen Host-System bestehen. Point-to-Point bedeutet hier, dass die Kommunikation immer zwischen zwei Endpunkten stattfindet. Beide Endgeräte haben vollen und exklusiven Zugriff auf den Kommunikationspfad. Sie können Daten gleichzeitig senden und empfangen (Voll-Duplex). Um die Datenübertragung zwischen einem Endgerät und beispielsweise einem Netzwerk herzustellen, benötigt IBA intelligente Switche. Durch den Einsatz von redundanten Switchen lassen sich auch die Datenpfade redundant gestalten, was den Datendurchsatz nochmals steigert.

Im Wesentlichen besteht Infiniband aus fünf Komponenten:

Host Channel Adapter (HCA): Der HCA befindet sich im Server und kann direkt auf den Speicher der CPUs zugreifen. Er kann nach außen mit einem Target-Channel-Adapter oder einem Switch kommunizieren.

Target-Channel-Adapter (TCA): Ein TCA stellt die Kommunikation zwischen I/O-Komponenten wie beispielsweise Festplatten- und Tape-Stationen her. Er enthält immer einen schnellen spezifischen Controller (SCSI, Ethernet oder Fibre Channel). TCAs können mit einem HCA oder einem Switch kommunizieren.

Switch: Ein IBA-Switch ermöglicht den Datentransfer zwischen vielen HCAs und TCAs. Er "sieht" sich den Header jedes einzelnen Datenpaketes an und schickt es zu dem jeweiligen Empfänger. Der Switch ist eine der kritischen Komponenten in einem IBA-Netzwerk. Zu seinen Aufgaben gehören neben dem Datentransfer auch Load Balancing und Datenspiegelung. Eine Gruppe von Switchen wird im IBA-Jargon als Fabric bezeichnet. Wenn ein Host-Rechner ausfällt, kann diese Fabric das Netzwerk trotzdem in Betrieb halten, da der Datentransfer dann auf freie Rechner umge-leitet wird. Außerdem befreien Switches Server und andere Netzwerkkomponenten von adminis-trativen Aufgaben beim Datenhandling.

Router: Router sorgen für die Anbindung lokaler Netzwerke (Subnet) zu anderen externen Subnets. Der Router liest den globalen Route Header und schickt das Datenpaket zum entsprechenden Empfänger. Dabei ist er in der Lage, den Header an das jeweilige Netzwerk anzupassen (zu konvertieren).

Subnet-Manager: Der Subnet-Manager ist verantwortlich für die Konfiguration des lokalen Netzwerkes und sichert den kontinuierlichen Datentransfer. Die Konfiguration beinhaltet auch die Setups der Router und Switches und ebenfalls eine Rekonfiguration, wenn ein Link ausfällt oder ein neuer zugefügt wird.

Vorteile von Infiniband

Der gesamte Datentransfer wird über vier Datenleitungen abgewickelt. Zum Vergleich: Der PCI-Bus arbeitet mit über 100 Datenleitungen. Alle IBA-Leitungen sind Hot-Plug-fähig. Während des Betriebes lassen sie sich also ab- oder aufstecken. Ein neues Gerät wird automatisch von der Software erkannt, ein Neustart des Rechners ist nicht erforderlich. Das IBA-Protokoll enthält außerdem einen Fehlerschutzmechanismus. Das interne Netzwerk kann somit eigenständig Fehler lokalisieren und bei Bedarf die entsprechenden Komponenten isolieren. Dadurch ist das Netzwerk in der Lage, eine intelligente Software vorausgesetzt, sich selbst zu heilen und die Datenströme um die defekte Komponente herumzuleiten. Falls also eine Komponente ausfällt, kann die Kommunikation einfach über eine andere redundante Komponente geführt werden. Das spart Zeit, Ressourcen und vor allem - der Server bleibt Online.

Roadmap

Die ersten Komponenten für Infiniband wurden Mitte 2001 vorgestellt. In der ersten Phase wird Infiniband innerhalb bestehender PCI- oder PCI-X-Server zum Einsatz kommen, um die Geschwindigkeit innerhalb der Server zu erhöhen. In der nächsten Phase (Mitte 2002) soll IBA parallel zum PCI-Bus in so genannten Hybrid-Rechnern arbeiten. IBA hat dann schon direkten Zugriff auf den Speichercontroller. Diese Phase soll den Server-Herstellern eine Migration von PCI zu IBA erlauben. In der dritten Phase (ab 2003) soll schließlich der PCI-Bus aus den Servern ganz verschwinden und komplett auf IBA umgestellt werden.

ComputerPartner-Meinung:

Mit Inifiniband beginnt eine neue Ära im PC. Es gehört schon Mut dazu, die bisherige Architektur komplett über Bord zu werfen und es etwas vollkommen Neues einzuführen. Aber es lohnt sich. Denn erst mit der IBA-Architektur kann ein Server die hohen Anforderungen modernster Prozessoren erfüllen und seine Daten extrem schnell zu den jeweiligen Komponenten senden. (jh)

Zur Startseite