Kosten sparen bei Speichernetzwerken

Fibre Channel over Ethernet

28.01.2008
Zuverlässige und schnelle Datennetze bilden heute das Fundament für den Datenaustausch. Mit Ethernet und Fibre Channel (FC) stehen zwei bewährte und schnelle serielle Technologien zur Verfügung, die auch längerfristig einen Investitionsschutz bieten.

Von Thomas Steudten, TecChannel.de

Obwohl der Begriff Fibre Channel auf Glasfaser schließen lässt, handelt es sich um ein Übertragungsprotokoll. Mit dem neuen Standard Fibre Channel over Ethernet soll die Vernetzung in Rechenzentren einfacher werden; außerdem sollen sich Kosten sparen lassen.
Obwohl der Begriff Fibre Channel auf Glasfaser schließen lässt, handelt es sich um ein Übertragungsprotokoll. Mit dem neuen Standard Fibre Channel over Ethernet soll die Vernetzung in Rechenzentren einfacher werden; außerdem sollen sich Kosten sparen lassen.
Foto:

Bei SANs und Backup-Lösungen bieten sich als Infrastruktur Ethernet mit Datenraten bis zu 10 Gbit/s (10 GE) über Kupfer und Fibre Channel mit bis zu 8 Gbit/s über Glasfaser an. Beide Verfahren arbeiten mit Punkt-zu-Punkt-Interconnects mittels Switches und FC-Fabrics, unterscheiden sich aber im Administrationsaufwand. Außerdem liegen oftmals beide Datenleitungstypen aufgrund des unterschiedlichen Einsatzes örtlich nebeneinander. Mit je zwei FC-HBAs und zwei Ethernet-Ports pro Server im Bereich High-Availability (HA) wird es eng im Rack - und wärmer.

Doppelte Sicherheit: Bei Hochverfügbarkeit (HA) besitzt jedes System mindestens zwei HBAs und zwei Netzwerkkarten. Der Verkabelungsaufwand ist groß.
Doppelte Sicherheit: Bei Hochverfügbarkeit (HA) besitzt jedes System mindestens zwei HBAs und zwei Netzwerkkarten. Der Verkabelungsaufwand ist groß.
Mittels Fibre Channel over Ethernet (FCoE) ergeben sich ein vereinfachter Aufbau, weniger Kabel und eine effektivere Kühlung. Die Leistungsaufnahme im Rack lässt sich um 500 Watt verringern, wenn die reinen FC-HBAs wegfallen.
Mittels Fibre Channel over Ethernet (FCoE) ergeben sich ein vereinfachter Aufbau, weniger Kabel und eine effektivere Kühlung. Die Leistungsaufnahme im Rack lässt sich um 500 Watt verringern, wenn die reinen FC-HBAs wegfallen.

Fibre Channel over IP (FCIP) ist bereits ein Ansatz, der FC-Frames mittels IP-Paketen zwischen zwei FC-Switches tunnelt. Der originale FC-Switch schickt seine Pakete zum FCIP-Switch, der die FC-Pakete in IP-Datagramme verpackt und diese mittels Netzwerk zum anderen FCIP-Switch sendet. Dort entfernt der FCIP-Switch die IP-Umhüllung und sendet die ursprünglichen FC-Pakete zum dortigen FC-Switch. IFCP verpackt ebenfalls FC-Frames in IP-Pakete, ist aber nicht auf die Switch-zu-Switch-Kommunikation beschränkt.

FC-Netze besitzen aufgrund ihrer Funktion eine geringe Latenzzeit und dürfen unter keinen Umständen Pakete verlieren, was zu Datenverlust oder -korruption führen würde. Bei FCIP und IFCP sorgt IP für eine gewisse Ausfalltoleranz, aber auch zu einem Overhead. Sollen hingegen FC-Frames als Ethernet-Pakete transportiert werden, muss mittels Quality-of-Service dem Paketverlust und der hohen Latenzzeiten bei Ethernet Rechnung getragen werden.

Trotz dieser schwierigen Anforderungen bietet es sich an, das bewährte und robuste Ethernet als Transportmedium für FC-Frames zu nutzen.

Ethernet

Mit bis zu zweimal 10 Gbit/s (10 GE) im Full-Duplex-Modus bietet die Ethernet-Technologie (in IEEE 802.3 verankert) über Switches eine geschaltete Punkt-zu-Punkt-Verbindung zwischen den End-Ports. Die älteren Layer-1-Hubs, die das Signal meist nur elektrisch verstärkten, nicht duplex-fähig waren und nur eine gemeinsame Nutzung der Bandbreite ermöglichten, sind kaum noch anzutreffen.

Das Zugriffsverfahren bei IEEE 802.3/Ethernet ist CSMA/CD, wobei Kollisionen bei den Switches heute aufgrund von P2P nicht mehr vorkommen; die Kollisionsdomäne besteht lediglich aus den beiden Verbindungspartnern. Fast-Ethernet (100 MBit/s) ist in IEEE 802.3u, Gigabit über Glasfaser in IEEE 802.3z, über Kupfer (UTP) in IEEE 802.3ab und 10 GE in IEEE 802.3ae und 802.3an spezifiziert.

Als Adressierung dient eine weltweit-eindeutige 48 Bit breite Ethernet-, HW- oder auch MAC-Adresse, meist in der hexadezimalen Form "aa:01:b2:3d:25:2a" geschrieben. Diese wird im Data-Link-Layer (Layer 2) des OSI/ISO-Schichtenmodells zur physikalischen Adressierung genutzt. Da jedem Produzenten von Ethernet-Geräten ein Pool von MAC-Adressen zur Verfügung steht, lässt sich anhand der ersten 24 Bit (OUI) der Hersteller meist leicht ermitteln. Mittels Broadcast-MAC-Adresse, bei der alle Bits "1" (ff:ff:ff:ff:ff:ff) sind, werden die Geräte im LAN adressiert. Die MAC-Adresse kann heute meist im LAN vom Benutzer geändert werden, wobei sichergestellt werden sollte, dass diese Adresse weiterhin im LAN einmalig ist.

Die Nutzdatengröße liegt bei 1.500 Byte, bei Einsatz von Jumbo-Frames ist sie entsprechend höher, da für Jumbo-Frames kein einheitlicher Herstellerstandard besteht - typischerweise liegt diese jedoch im Bereich 8 bis 9 KB. Die Mindest-Framegröße bleibt bis hinauf zu 10 GE bei 64 Byte.

Von den ursprünglichen vier Ethernet-Datenblock-Typen sind heute meist die beiden in IEEE 802.3 definierten im Einsatz. Ethernet ist heute der Standard im Bereich Netzwerke und hat viele andere Technologien verdrängt.

Fibre Channel

Obwohl der Ausdruck "Fiber" oder "Fibre" eher auf Glasfaser schließen ließe, ist Fibre Channel (FC) ein Protokoll, das beide Medientypen - Kupfer und Glasfaser - bei differierenden Physical-Layern unterstützt: Kupfer meist im System selbst bis Entfernungen von 30 Metern, darüber in der Regel Glasfaser.

Als Interconnect kam FC in den Anfängen mit 1 Gbit/s als FC-AL (Fibre Channel Arbitrated Loop) mit gemeinsamer Bandbreitennutzung als Bus zum Einsatz. Mit der Zeit kamen FC-Switches - oft auch "Fabrics" genannt - günstig auf den Markt, und damit wurde die Peer-Technologie mit exklusiver Bandbreitennutzung auch hier möglich. Unter Fabric versteht man auch die Vernetzung von FC-Switches.

Die Topologie ist heute meist Switched-Fabric, also eine Punkt-zu-Punkt-Verbindung mit zurzeit 8 Gbit/s (ca. 2 x 800 MB/s voll-duplex) pro Datenrichtung.

Das FC-Protokoll ist für Hochleistungsspeichernetze entwickelt worden und damit für den gesicherten, schnellen Transport von großen Datenmengen. Dank Multipathing sind redundante Datenpfade möglich.

Der 64-bittige Hexadezimalwert "Worldwide Node Name (WWNN)" dient analog der MAC-Adresse bei Ethernet der eindeutigen Identifizierung des Gerätes. Jeder FC-Port ist darüber hinaus mit seiner "Worldwide Port Name (WWPN)"-Kennung eindeutig. WWNN und WWPN sind einander sehr ähn-lich. Ein 4-Port HBA hat daher vier eindeutige WWPN und eine WWNN.

Das Mapping von WWNN beziehungsweise WWPN und das daraus resultierende Zoning auf die Ethernet-MAC-Adressen dürfen nicht zu Fehlern führen.

Fibre-Medien

Bei den Fibre-Medien werden zwei Arten von Glasfasertypen benutzt: Multimode und Single-/Monomode. Die maximale Übertragungsstrecke bei einer Multimode-Faser beträgt beim Kerndurchmesser von 50 ¬µm circa 550 Meter, beim Kerndurchmesser von 62,5 ¬µm nur noch rund 275 Meter.

Verkleinert man den Kerndurchmesser bis hinunter zu 9 bis 3 ¬µm, kommt man zur Singlemode-Faser, auch Monomode-Faser genannt. Der äußere Durchmesser der Faser beträgt bei beiden etwa 125 ¬µm. Mit entsprechenden langwelligen Lasern (Wellenlänge 1.310 oder 1.550 nm) kann man dabei Strecken bis zu 250 Kilometer überbrücken.

Bietet FC über Fibre den Vorteil, große Strecken nahezu verlustfrei zu verbinden und darüber noch eine hohe Resistenz gegenüber elektrischen und magnetischen Störfeldern zu besitzen, so ist die Verlegung der empfindlichen dünnen Glasfasern nicht immer einfach. Oft werden daher redundante beziehungsweise vorerst nicht aktivierte Fasern im Leitungsbündel verlegt, die sogenannten DarkFiber.

Fibre Channel over Ethernet

Fibre Channel over Ethernet (FCoE) ist ein Ansatz, die FC-Frames über IEEE-802.3-Netzwerke zu leiten. Der neue, noch nicht definierte Standard bietet die Möglichkeit, die Vernetzung in Rechenzentren zu vereinfachen sowie Kosten zu sparen, und sorgt gleichzeitig für einen Investitionsschutz, da die bisherigen Geräte mit FC-Anschluss weitergenutzt werden können und kaum Anpassungen an Soft- und Hardware notwendig sind. Bis etwa April 2008 wird mit einem ersten Entwurf als Standard von FCoE gerechnet.

Eingepackt: FCoE verpackt FC-Frames in Ethernet-Pakete und schickt diese über standardisierte Netzwerkverbindungen.
Eingepackt: FCoE verpackt FC-Frames in Ethernet-Pakete und schickt diese über standardisierte Netzwerkverbindungen.

Firmen aus den Bereichen Storage und Netzwerk stehen hinter FCoE, darunter Brocade, Cisco, EMC, Emulex, IBM, Intel, QLogic, Sun und Nuova, Letztere ein Abkömmling von Cisco. Die Spezifikation wurde dem T11-Komitee (t11.org) des US-amerikanischen National Standards Institute (ANSI) als Vorschlag unterbreitet. Die Start-ups Nuova und Emulex bilden mittlerweile eine produktive Partnerschaft, um den Standard voranzutreiben.

10-GBit/s-FC (10 GFC) und -Ethernet (10 GE) setzen ohnehin einen nahezu identischen Hardware-Layer ein. Daher eignet sich der Physical-Link theoretisch sowohl für FC- als auch für Ethernet-Frames.

Vorteile von FCoE

Mit Fibre-Channel over Ethernet ergeben sich folgende Vorteile:

3nur ein Leitungstyp; bestehende, bewährte Technologie

bessere Kühlung im Rack, weniger Leistungsaufnahme

Investitionsschutz: FC-Geräte können weitergenutzt werden

mit 10 GE keine Geschwindigkeitseinschränkungen

Bei Ethernet können Frames verloren gehen, und die Latenzzeit ist recht groß. Die höheren Protokolle (TCP/IP) des Netzwerk-Stacks sorgen für eine sichere Übertragung durch Paketwiederholung oder Neuanforderung.

Für FCoE gibt es daher einige Erweiterungen für Ethernet (FCoCEE):

3kein Frame-Verlust (PAUSE oder Nicht-PAUSE)

3Traffic Management 802.1au

Priorisierung von FC-Daten gegenüber Nicht-FC-Daten 802.1Q (QoS)

3gleiche Frame-Latenz wie in reinen FC-Netzen

Damit sind keine oder nur geringe Anpassungen an Treiber notwendig.

Ethernet bietet mittels PAUSE die Möglichkeit, den gesamten Traffic anzuhalten, aber eben nicht zielgerichtet. So würden auch FCoE-Pakete behindert. Daher kommt hier "Per priority PAUSE" neu zur Anwendung, das eine Priorisierung der Pakete ermöglicht, sodass die FCoE-Frames nicht behindert werden.

Die großen FC-Speichernetze (Taperoboter, Library, RAID) können damit transparent für die Endpunkte wie bisher genutzt werden.

Das verbindungs- und byte-orientierte iSCSI wurde für IP-Netze entwickelt und hat einen TCP-Overhead. Außerdem sind Gateways zwischen FC und iSCSI teuer. Die Flusssteuerung erfolgt rein über die höheren Protokolle (TCP) und geht damit bei schlechten Verbindungen auf Kosten der Bandbreite und Performance. Diese Nachteile will FCoE vermeiden. Eine weitere wichtige Voraussetzung für FCoE ist die Funktion über Standard-Ethernet-Switches. Den Herstellern ist es jedoch überlassen, spezielle FCoE-Services auf dem Switch zu implementieren.

Anstelle der sogenannten Host-Bus-Adapter (HBA), die den internen Systembus mit der Glasfaser verbinden, werden Karten genutzt, die sich dem Betriebssystem gegenüber als HBA verhalten und dem Netzwerk-Switch als Netzwerkkarte erscheinen.

FCoE für Konvergenz der Datennetze

Sowohl Emulex als auch QLogic wollen ihre Host-Bus-Adapter für FCoE 2008 auf den Massenmarkt bringen; Prototypen sind bereits verfügbar. Mit dem Start-up "Nuova" mischt Cisco vorne mit, denn das Unternehmen soll einen Chip entwickelt haben, der FC- und Ethernet-Datenströme kombinieren kann.

Durch das Einbeziehen von Jumbo-Frames (Paketgröße größer 1.580 Byte) müssen die 2 KB gro-ßen FC-Frames nicht beim Transport via Ethernet fragmentiert werden - eine Grundvoraussetzung von FCoE.

Über das FCoE-Discovery-Protokoll werden Konfigurationsdaten ausgetauscht, um fehlerhafte Implementierungen im Vorfeld zu ermitteln. Ebenfalls können Switches und Adapter ihre Positionen im Netzwerk auf der MAC-Ebene damit erkennen.

FCoE zielt auf eine Konvergenz der beiden Datennetze ab. Mit FCoE allein würde lediglich FC über heutige Ethernet-Verbindungen getunnelt werden, wobei man sich die Pausenregelung von Ethernet zunutze macht. Um echte Konvergenz herzustellen, ist ein weiteres Unterprotokoll namens FCoCEE (FC over Convergence Enhanced Ethernet) notwendig, das korrigierend im Ethernet eingreift, um mehrere Traffic-Klassen und -Prioritäten nebeneinander zu ermöglichen.

Bestehende SAN-Funktionen wie Zoning, Multipathing oder World-Wide-Name-Adressierung blieben erhalten.

Kapselung

FCoE kapselt genau einen FC-Frame und eine geringe Prüfsumme in einen Ethernet-Frame, das heißt, FC-Frames werden nicht auf mehrere Ethernet-Frames fragmentiert. Auch mehrere kleinere FC-Frames werden nicht in einen Ethernet-Frame konsolidiert. Damit sind FCoE-Frames native Layer-2-Ethernet-Frames mit der charakteristischen Ethertype-Kennung "FCoE".

Mapping: FCoE ersetzt lediglich Layer 0 und 1 durch entsprechende IEEE-802.3-Layer.
Mapping: FCoE ersetzt lediglich Layer 0 und 1 durch entsprechende IEEE-802.3-Layer.
Stack im Vergleich: Wie auch bei anderen Netzwerken besteht der FC-Stack aus unterschiedlichen Layern mit definierten Serviceaufgaben.
Stack im Vergleich: Wie auch bei anderen Netzwerken besteht der FC-Stack aus unterschiedlichen Layern mit definierten Serviceaufgaben.

Im Gegensatz zu iSCSI, das native SCSI-Daten über TCP transportiert, wird bei FCoE dieser Protokoll-Overhead dadurch vermieden, dass die Daten ohne die Daten der höheren Protokollschichten übermittelt werden.

Umhüllt: Der FC-Frame wird im Ethernet-Frame eingekapselt.
Umhüllt: Der FC-Frame wird im Ethernet-Frame eingekapselt.
Frame-Aufbau: Die Nutzlast eines FC-Frames beträgt bis zu 2.112 Byte, der Protokoll-Overhead liegt bei lediglich 36 Byte.
Frame-Aufbau: Die Nutzlast eines FC-Frames beträgt bis zu 2.112 Byte, der Protokoll-Overhead liegt bei lediglich 36 Byte.

Bei Ethernet ist die minimale Frame-Länge 64 Byte, bei FC hingegen 28 Byte. Die Ethernet-Frames werden daher bis zur minimalen Größe von 64 Byte aufgefüllt. Allein die Frage, wie diese Lücke gefüllt werden soll und ob ein Längenfeld benutzt oder ein Zeitstempel mitgeführt werden soll, führt zu einer anregenden Diskussion zwischen den FCoE-Initianten - mittlerweile scheint eine Einigung gefunden zu sein.

Zurzeit stehen zwei Kapselungsmethoden zur Auswahl, nämlich einerseits "ProbB" von Brocade, HP und IBM und andererseits "ProbC" von Cisco und weiteren, wobei Letztere 15 Byte in der Paketgröße einspart.

Kapselungsmethoden: Das Frame-Format PropB benötigt im Vergleich zu PropC 15 weitere Bytes für die Frame-Kapselung.
Kapselungsmethoden: Das Frame-Format PropB benötigt im Vergleich zu PropC 15 weitere Bytes für die Frame-Kapselung.

Für die Zugriffskontrolle (ACL) könnten die MAC-Adressen herbeigezogen werden. Bei lokal zugewiesenen MAC-Adressen ist dies umso leichter und entspräche damit dem Zoning-Konzept von FC.

Netzwerktechnologien im Vergleich

Technologie

Ethernet (10 GE)

Fibre Channel

FCoE

Infiniband

iSCSI

HyperSCSI

aktuelle Transfergeschwindigkeit

10 Gbit/s

8 Gbit/s

10 Gbit/s

5 Gbit/s

1 Gbit/s

-

Medium

Kupfer/Glasfaser

Glasfaser

Kupfer/Glasfaser

Kupfer/ Glasfaser

Kupfer/ Glasfaser

-

Transport-Layer

Ethernet

FC

Ethernet

-

TCP/IP

Ethernet

Nutzdaten (Byte)

1.500 - 9000 JF

2.121

1.500 - 9000 JF

-

1.500

-

minimale Framelänge (Byte)

64

28

64

-

64

-

Übertragungsstrecke, P2P

bis 100 m

100 km

bis 100 m

15 m Kupfer

-

-

Ethertype

-

0xFC0E

-

-

0x889A

Aussicht

In der kurzlebigen Zeit der IT ist Investitionsschutz ein wichtiger Anschaffungsfaktor für neue Hardware. FCoE könnte nicht nur den administrativen Aufwand und doppelte Leitungsführung vermeiden helfen, sondern auch helfen, Kosten zu minimieren.

Einen echten innovativen technologischen Fortschritt bietet FCoE kaum, im Vergleich mit den reinen Datennetzen HyperSCSI, iSCSI, FCIP, iFCP und Infiniband könnte sich aber eine integrierte Nutzung von reinen Datennetzen und herkömmlichen Netzwerkverkehr ergeben. Ein umweltfreundlicher Nebeneffekt resultiert in Einsparungen bei Material und Energie, doch dafür braucht es nicht unbedingt FCoE.

20 GE BASE-10 über Glasfaser steht schon vor der Tür und bietet so 10 GFC eine ideale Basis. Mit den Erweiterungen von Ethernet könnte dieses in Zukunft zum universellen Transportmedium avancieren und iSCSI, HyperSCSI, FCIP, iFCP in FCoE vereinen.

Aber wie heißt es so schön: "Das Gute an Standards ist, dass man zwischen so vielen auswählen kann."

Zur Startseite