von Thomas Steudten
Bei SANs und Backup-Lösungen bieten sich als Infrastruktur Ethernet mit Datenraten bis zu 10 Gbit/s (10 GE) über Kupfer und Fibre Channel mit bis zu 8 Gbit/s über Glasfaser an. Beide Verfahren arbeiten mit Punkt-zu-Punkt Interconnects mittels Switches und FC-Fabrics, unterscheiden sich aber im Administrationsaufwand. Außerdem liegen oftmals beide Datenleitungstypen aufgrund des unterschiedlichen Einsatzes örtlich nebeneinander. Mit je zwei FC-HBAs und zwei Ethernet-Ports pro Server im Bereich High-Availability (HA) wird es enger und wärmer im Rack.
Fibre-Channel over IP FCIP ist bereits ein Ansatz, der FC-Frames mittels IP-Paketen zwischen zwei FC-Switches tunnelt. Der originale FC-Switch schickt seine Pakete zum FCIP-Switch, der die FC-Pakete in IP-Datagramme verpackt und diese mittels Netzwerk zum anderen FCIP-Switch sendet. Dort entfernt der FCIP-Switch die IP-Umhüllung und sendet die ursprünglichen FC-Pakete zum dortigen FC-Switch. IFCP verpackt ebenfalls FC-Frames in IP-Pakete, ist aber nicht auf die Switch-zu-Switch-Kommunikation beschränkt.
Weitere Storage-Ratgeber:
FC-Netze besitzen aufgrund ihrer Funktion eine geringe Latenzzeit und dürfen unter keinen Umständen Pakete verlieren, denn dies würde zu Datenverlust oder -korruption führen. Bei FCIP und IFCP sorgt IP für eine gewisse Ausfalltoleranz, allerdings auch zu einem Overhead. Sollen hingegen FC-Frames als Ethernet-Pakete transportiert werden, muss mittels Quality-of-Service dem Paketverlust und der hohen Latenzzeiten bei Ethernet Rechnung getragen werden.
Trotz dieser hohen Anforderungen bietet es sich an, das bewährte und robuste Ethernet als Transportmedium für FC-Frames zu nutzen.
Netzwerkprodukte für den Mittelstand im kostenlosen CP-Webcast
Ethernet
Mit bis zu zweimal 10 Gbit/s (10 GE) im Full-Duplex-Modus bietet die Ethernet-Technologie (in IEEE 802.3 verankert) über Switches eine geschaltete Punkt-zu-Punkt Verbindung zwischen den End-Ports. Die älteren Layer-1-Hubs, die das Signal meist nur elektrisch verstärkten, nicht Duplex-fähig waren und nur eine gemeinsame Nutzung der Bandbreite ermöglichten, sind kaum noch anzutreffen.
Weitere Storage-News:
-
Mandantenfähige Cloud-Architektur von NetApp Cisco und VMware
-
Buffalo Technology erweitert Distributionsabkommen mit Ingram Micro
Das Zugriffsverfahren bei IEEE 802.3/Ethernet ist CSMA/CD, wobei Kollisionen bei den Switches heute aufgrund von P2P nicht mehr vorkommen; die Kollisionsdomäne besteht lediglich aus den beiden Verbindungspartnern. Fast-Ethernet (100 Mbit/s) ist in IEEE 802.3u, Gigabit über Glasfaser in IEEE 802.3z, über Kupfer (UTP) in IEEE 802.3ab und 10 GE in IEEE 802.3ae und "an" spezifiziert.
Als Adressierung dient eine weltweit eindeutige 48 Bit breite Ethernet-, HW- oder auch MAC-Adresse, meist in der hexadezimalen Form "aa:01:b2:3d:25:2a" geschrieben. Diese wird im Data-Link-Layer (Layer 2) des OSI/ISO-Schichtenmodells zur physikalischen Adressierung genutzt. Da jedem Produzenten von Ethernet-Geräten ein Pool von MAC-Adressen zur Verfügung steht, lässt sich anhand der ersten 24 Bit (OUI) der Hersteller meist leicht ermitteln. Mittels Broadcast-MAC-Adresse, bei der alle Bits "1" (ff:ff:ff:ff:ff:ff) sind, werden die Geräte im LAN adressiert. Die MAC-Adresse kann heute meist im LAN vom Benutzer geändert werden, wobei sichergestellt werden sollte, dass diese Adresse weiterhin im LAN einmalig ist.
Die Nutzdatengröße liegt bei 1500 Byte, bei Einsatz von Jumbo-Frames entsprechend höher, da für Jumbo-Frames kein einheitlicher Herstellerstandard besteht - typischerweise liegt diese jedoch im Bereich 8 bis 9 KByte. Die Mindest-Framegröße bleibt bis hinauf zu 10 GE bei 64 Byte.
Von den ursprünglichen vier Ethernet-Datenblocktypen sind heute meist die beiden in IEEE 802.3 definierten im Einsatz. Ethernet ist heute der Standard im Bereich Netzwerke und hat viele andere Technologien verdrängt.
Fibre Channel
Obwohl der Ausdruck "Fiber" oder "Fibre" eher auf Glasfaser deuten ließe, ist Fibre-Channel (FC) ein Protokoll, das beide Medientypen - Kupfer und Glasfaser - bei differierenden Physical-Layern unterstützt. Kupfer wird meist im System für Entfernungen bis 30 Metern verwendet, darüber kommt in der Regel Glasfaser zum Einsatz.
Als Interconnect kam FC in den Anfängen mit 1 Gbit/s als FC-AL (Fibre-Channel Arbitrated Loop) mit gemeinsamer Bandbreitennutzung als Bus zum Einsatz. Mit der Zeit kamen FC-Switches - oft auch "Fabrics" genannt - zu günstigen Preisen auf den Markt, und damit wurde die Peer-Technologie mit exklusiver Bandbreitennutzung auch hier möglich. Unter Fabric versteht man auch die Vernetzung von FC-Switches.
Die Topologie besteht heute meist aus Switched-Fabric, das heißt eine Punkt-zu-Punkt Verbindung mit zurzeit 8 Gbit/s (zirka zweimal 800 MByte/s Full Duplex) pro Datenrichtung.
Das FC-Protokoll ist für Hochleistungsspeichernetze und damit für den gesicherten, schnellen Transport von großen Datenmengen entwickelt worden. Dank Multipathing sind redundante Datenpfade möglich.
Der 64-bittige Hexadezimalwert "Worldwide Node Name" (WWNN) dient analog zur MAC-Adresse bei Ethernet der eindeutigen Identifizierung des Gerätes. Jeder FC-Port ist darüber hinaus mit seiner "Worldwide Port Name" (WWPN)-Kennung eindeutig. WWNN und WWPN sind einander sehr ähnlich. Ein Vier-Port-HBA hat daher vier eindeutige WWPN und eine WWNN.
Das Mapping von WWNN beziehungsweise WWPN und das daraus resultierende Zoning auf die Ethernet-MAC-Adressen dürfen nicht zu Fehlern führen.
Fibre-Medien
Bei den Fiber-Medien werden zwei Arten von Glasfasertypen benutzt:
Multimode
Single-/Monomode
Die maximale Übertragungsstrecke bei einer Multimode-Faser beträgt beim Kerndurchmesser von 50 µm zirka 550 Meter, beim Kerndurchmesser von 62,5 µm nur noch etwa 275 Meter.
Verkleinert man den Kerndurchmesser bis hinunter zu 3 µm, so kommt man zur Singlemode-Faser, die auch Monomode-Faser genannt wird. Der äußere Durchmesser der Faser beträgt bei beiden rund 125 µm. Mit entsprechenden langwelligen Lasern (Wellenlänge 1310 oder 1550 nm) kann man dabei Strecken bis zu 250 km überbrücken.
Bietet FC über Fibre den Vorteil, große Strecken nahezu verlustfrei zu verbinden und darüber noch eine hohe Resistenz gegenüber elektrischen und magnetischen Störfeldern zu besitzen, so ist die Verlegung der empfindlichen dünnen Glasfasern nicht immer einfach. Oft werden daher redundante beziehungsweise vorerst nicht aktivierte Fasern im Leitungsbündel verlegt, die sogenannten "DarkFiber".
Fibre Channel over Ethernet - FCoE
Fibre Channel over Ethernet (FCoE) ist ein Ansatz, die FC-Frames über IEEE-802.3-Netzwerke zu leiten. Der neue, noch nicht definierte Standard eröffnet die Möglichkeit, die Vernetzung in Rechenzentren zu vereinfachen und Kosten zu sparen. Gleichzeitig bietet es Investitionsschutz, da die bisherigen Geräte mit FC-Anschluss weitergenutzt werden können. Außerdem sind kaum Anpassungen an die Soft- und Hardware notwendig. Seit Mitte 2009 ist die Spezifikation von FCoE als Standard verabschiedet.
Firmen aus den Bereichen Storage und Netzwerk stehen hinter FCoE, darunter Brocade, Cisco, EMC, NetApp, Emulex, IBM, Intel, QLogic, Sun und Nuova. Die Spezifikation wurde dem T11-Komitee des US-amerikanischen National Standards Institute (ANSI) als Vorschlag unterbreitet.
10-Gbit/s-FC (10 GFC) und -Ethernet (10 GE) setzen ohnehin einen nahezu identischen Hardware-Layer ein. Daher eignet sich der Physical-Link theoretisch sowohl für FC- als auch für Ethernet-Frames.
Vorteile von FCoE
Mit Fibre-Channel over Ethernet ergeben sich folgende Vorteile:
Nur ein Leitungstyp, bestehende, bewährte Technologie
bessere Kühlung im Rack, weniger Leistungsaufnahme
Investitionsschutz: FC-Geräte können weitergenutzt werden
Mit 10 GE keine Geschwindigkeitseinschränkungen
Bei Ethernet können Frames verloren gehen, und die Latenzzeit ist recht groß. Die höheren Protokolle (TCP/IP) des Netzwerk-Stacks sorgen für eine sichere Übertragung durch Paketwiederholung oder Neuanforderung.
Für FCoE gibt es daher einige Erweiterungen für Ethernet (FCoCEE):
Kein Frame-Verlust (PAUSE oder Nicht-PAUSE)
Traffic Management 802.1au
Priorisierung von FC-Daten gegenüber Nicht-FC-Daten 802.1Q (QoS)
Gleiche Frame-Latenz wie in reinen FC-Netzen
Damit sind keine oder nur geringe Anpassungen bei den Treibern notwendig. Ethernet bietet mittels PAUSE die Möglichkeit, den gesamten Traffic anzuhalten, aber eben nicht zielgerichtet. So würden auch FCoE-Pakete behindert. Daher kommt hier "Per priority PAUSE" neu zur Anwendung, was eine Priorisierung der Pakete ermöglicht mit der Folge, dass die FCoE-Frames nicht behindert werden.
Auf diese Weise können die großen FC-Speichernetze (Tape-Roboter, Library, RAID) transparent für die Endpunkte wie bisher genutzt werden.
Das verbindungs- und byte-orientierte iSCSI wurde für IP-Netze entwickelt und hat einen TCP-Overhead. Hinzu kommt, dass Gateways zwischen FC und iSCSI teuer sind. Die Flusssteuerung erfolgt rein über die höheren Protokolle (TCP) und geht damit bei schlechten Verbindungen auf Kosten von Bandbreite und Performance. Diese Nachteile will FCoE vermeiden. Eine weitere wichtige Voraussetzung für FCoE ist die Funktion mit Standard-Ethernet-Switches. Den Herstellern ist es jedoch überlassen, spezielle FCoE-Services auf dem Switch zu implementieren.
Anstelle der sogenannten Host-Bus-Adapter (HBA), die den internen Systembus mit der Glasfaser verbinden, werden Karten genutzt, die sich dem Betriebssystem gegenüber als HBA verhalten und dem Netzwerk-Switch als Netzwerkkarte erscheinen.
FCoE für Konvergenz der Datennetze
Durch den Einbezug von Jumbo-Frames (Paketgröße mehr als 1580 Byte) müssen die 2 KByte großen FC-Frames beim Transport via Ethernet nicht fragmentiert werden - eine Grundvoraussetzung von FCoE.
Über das FCoE-Discovery-Protokoll werden Konfigurationsdaten ausgetauscht, um fehlerhafte Implementierungen im Vorfeld zu ermitteln. Ebenfalls können Switches und Adapter ihre Positionen im Netzwerk auf der MAC-Ebene damit erkennen.
FCoE zielt auf eine Konvergenz der beiden Datennetze ab. Mit FCoE allein würde lediglich FC über heutige Ethernet-Verbindungen getunnelt werden, wobei man sich die Pausenregelung von Ethernet zunutze macht. Um echte Konvergenz herzustellen, ist ein weiteres Unterprotokoll namens FCoCEE (FC over Convergence Enhanced Ethernet) notwendig, das korrigierend im Ethernet eingreift, um mehrere Traffic-Klassen und Prioritäten nebeneinander zu ermöglichen. Bestehende SAN-Funktionen wie Zoning, Multipathing oder World-Wide-Name-Adressierung bleiben erhalten.
Kapselung
FCoE kapselt genau einen FC-Frame und eine geringe Prüfsumme in einen Ethernet-Frame, das heißt, FC-Frames werden nicht auf mehrere Ethernet-Frames fragmentiert. Auch mehrere kleinere FC-Frames werden nicht in einen Ethernet-Frame konsolidiert. Damit sind FCoE-Frames native Layer-2-Ethernet-Frames mit der charakteristischen Ethertype-Kennung "FCoE".
Im Gegensatz zu iSCSI, das native SCSI-Daten über TCP transportiert, wird bei FCoE dieser Protokoll-Overhead dadurch vermieden, dass die Daten ohne die Daten der höheren Protokollschichten übermittelt werden.
Frame-Aufbau bei FCoE
Bei Ethernet beträgt die minimale Frame-Länge 64 Byte, bei FC hingegen 28 Byte. Deshalb werden die Ethernet-Frames bis zur minimalen Größe von 64 Byte aufgefüllt. Allein die Frage, wie diese Lücke gefüllt zu füllen ist und ob ein Längenfeld benutzt oder ein Zeitstempel mitgeführt werden soll, führt zu einer anregenden Diskussion zwischen den FCoE-Initianten - mittlerweile scheint eine Einigung gefunden zu sein.
Zurzeit stehen zwei Kapselungsmethoden zur Auswahl: "auf der einen Seite ProbB" von Brocade, HP und IBM und auf der anderen Seite "ProbC" von Cisco und weiteren, wobei Letztere 15 Byte in der Paketgröße einspart.
Für die Zugriffskontrolle (ACL) könnten die MAC-Adressen herangezogen werden. Bei lokal zugewiesenen MAC-Adressen ist dies umso leichter und entspräche damit dem Zoning-Konzept von FC.
Netzwerktechnologien im Vergleich
In der folgenden Tabelle finden Sie die Spezifikationen verschiedener Netzwerktechnologien im Vergleich:
Technologie | 10 GE (Ethernet) | FC | FCoE | Infiniband | iSCSI |
Aktuelle Transfergeschwindigkeit | 10 Gbit/s | 8 Gbit/s | 10 Gbit/s | 10 Gbit/s | 1 Gbit/s |
Medium | Kupfer/ Glasfaser | Glasfaser | Kupfer/ Glasfaser | Kupfer/Glasfaser | Kupfer/Glasfaser |
Transport-Layer | Ethernet | FC | Ethernet | - | TCP/IP |
Nutzdaten [Byte] | 1500 | 2121 | wie Ethernet | - | 1500 |
Minimale Frame-Länge [Byte] | 64 | 28 | 64 | - | 64 |
Übertragungsstrecke, P2P | bis 100 m | 100 km | bis 100 m | 15 m Kupfer | - |
Ethertype | - | 0xFC0E | - | - |
Aussicht
In der kurzlebigen Zeit der IT ist Investitionsschutz ein wichtiger Anschaffungsfaktor für neue Hardware. FCoE könnte nicht nur den administrativen Aufwand und doppelte Leitungsführung vermeiden helfen, sondern auch helfen, Kosten zu minimieren.
Einen echten innovativen technologischen Fortschritt bietet FCoE kaum. Im Vergleich mit den reinen Datennetzen iSCSI, FCIP, iFCP und Infiniband könnte sich aber eine integrierte Nutzung von reinen Datennetzen und herkömmlichen Netzwerkverkehr ergeben. Ein umweltfreundlicher Nebeneffekt resultiert in Einsparungen bezüglich Material und Energie, doch dafür braucht es nicht unbedingt FCoE.
100-Gbit/s-Ethernet steht schon vor der Tür und bietet so 10 GFC eine ideale Basis. Mit den Erweiterungen von Ethernet könnte dieses in Zukunft zum universellen Transportmedium avancieren und iSCSI, FCIP, iFCP in FCoE vereinen.
Aber wie sagte schon Prof. Tanenbaum: "Das Gute an Standards ist, dass man zwischen so vielen davon auswählen kann." (TecChannel/haf)