Melden Sie sich hier an, um auf Kommentare und die Whitepaper-Datenbank zugreifen zu können.

Kein Log-In? Dann jetzt kostenlos registrieren.

Falls Sie Ihr Passwort vergessen haben, können Sie es hier per E-Mail anfordern.

Der Zugang zur Reseller Only!-Community ist registrierten Fachhändlern, Systemhäusern und Dienstleistern vorbehalten.

Registrieren Sie sich hier, um Zugang zu diesem Bereich zu beantragen. Die Freigabe Ihres Zugangs erfolgt nach Prüfung Ihrer Anmeldung durch die Redaktion.

45 RISC-Maschinen auf dem Prüfstand

Workstations der IBM liegen laut SPEC-Tests im Spitzenfeld

15.06.1990

FREMONT/MÜNCHEN (jm) - Referenzcharakter scheinen die Benchmark-Tests zu erlangen, mit denen die kalifornische SPEC-Gruppe die Rechner der bekanntesten Workstation-Hersteller auf Herz und Nieren prüft. Erstmals konnten repräsentative Ergebnisse vorgelegt werden.

Hinter der SPEC-Kooperative (Systems Performance Evaluation Cooperative) verbergen sich 19 Herstellern, die im September 1988 mit der Absicht antraten, für jeden Anwender nachvollziehbare und Allgemeingültigkeit beanspruchende Benchmark-Tests zu erarbeiten. Mit von der Partie sind praktisch alle Schlüsselanbieter der RISC-Szene, wie Mips Computer, Silicon Graphics, DEC, HP Apollo, Data General, Control Data, Motorola, Solbourne, Stardent und die IBM.

Erste umfangreiche Testresultate für 45 RISC-basierte Rechnersysteme legten die SPEC-Leute in dem von ihnen veröffentlichten "SPEC Newsletter" jetzt vor. Die Computer mußten auf dem Prüfstand Benchmark-Tests absolvieren, die unter zehn verschiedenen - und wie man bei der SPEC versichert - praxisnahen technischen Applikationen abliefen. Als Referenzmodell zur Ermittlung sowohl der CPU-Leistung als auch des Durchsatzes setzten die Kalifornier Digitals VAX 11/780 an .

Bislang klopfen die SPEC-Leute zwei Leistungskriterien ab: Mit den sogenannten SPEC-Marks wird die reine CPU-Leistung bewertet. Ins Rennen gingen 24 Modelle, die in technisch-wissenschaftlichen Bereichen Anwendung finden, aber auch - wie etwa Big Blues RISC-Maschinen - im kommerziellen Sektor positioniert werden sollen.

Klarer Spitzenreiter in Sachen roher CPU-Leistung ist die Mips-Workstation RC6280 mit 42,2 SPEC-Marks. Baugleich und somit ein identisches Ergebnis lieferte Control Datas 4380-Rechner. Die SPEC-Tester ermitteln den Durchschnittsfaktor für die CPU-Leistung, indem sie die Ergebnisse aus den zehn Einzelaufgaben addieren und aus ihnen das geometrische Mittel errechnen.

So besteht eine der Aufgaben beispielsweise darin, einen auf dem Design-Tool "Espresso" gefahrenen Benchmark abzuarbeiten. Der mit einer R6000-RISC-CPU (Taktrate 60 Megahertz) ausgestattete Mips-Rechner erledigte diese Aufgabe in 51,8 Sekunden gegenüber 2266 Sekunden, die die VAX 11/780 benötigte, was einem Faktor für diese Aufgabe von 43,7 entspricht.

Bemerkenswert schlug sich die IBM: Ihre neuen RISC-Workstations erzielten weit über dem Durchschnitt liegende Ergebnisse. Das Top-Modell 540 konnte mit einem Gesamt-Faktor von 34,7 den zweitbesten CPU-Wert für sich verbuchen. Innerhalb der IBM-Linie waren für die unterschiedlichen Ergebnisse die verschiedenen RISC-CPUs (2032, 2564 und 3064 mit Taktraten von 20 bis 30 Megahertz) verantwortlich.

Allerdings geben die Durchschnittswerte nur bedingt Aufschluß über das Leistungsverhalten bei den einzelnen Anwendungen. Die verschiedenen Rechner erledigten die variierenden Einzelaufgaben teilweise mit erheblichen Leistungsdifferenzen. Während die RC6820 alle zehn Aufgaben auf einem ausgewogenen und ausgeglichen hohen Leistungsniveau abarbeitete, absolvierte etwa Stardents Modell 310 bei 29 SPEC-Marks (Drittbester zusammen mit IBMs Modell 730) sehr unterschiedliche Tests: Manche ihrer Resultate lagen weit über (108,5) dem Referenzfaktor des DEC-Rechners, andere konnten sich nicht signifikant (14,7) davon abheben.

Einer zweiten Bewährungsprobe stellten sich 21 vorwiegend als grafische Workstations und Server eingesetzte Maschinen, bei denen es besonders auf das Datendurchsatz-Verhalten der Computer ankommt. Für die Bemessung des "SPEC-Thruputs" fungierte ebenfalls eine VAX 11/780 als Vergleichsmodell. Wichtig war den Testern hier vor allem der Ansatz, daß jedes System eine festumrissene, "lebensnahe" und meßbare Aufgabenstellung in einer rechenintensiven Umgebung lösen mußte, wobei als Grundregel galt, daß pro CPU-Prozessor zwei Jobs gleichzeitig zu erledigen waren. Somit kann man auch sinnvolle, vergleichbare Resultate für Multiprozessor-Rechner erzielen, um die es sich bei den SPEC-Thruput-Benchmarks fast ausschießlich handelte.

Zudem beachteten die Kalifornier, daß das Ergebnis nicht von der Hardware-Ausrüstung (Peripherie, Caches) und der Betriebssystem-Umgebung beeinflußt wurde. Das Verhalten in verschiedenen Betriebssystem-Kontexten, das Speicherverhalten, Echtzeit-Operationen und Transaktionsprozesse sollten ausdrücklich nicht getestet werden.

Einen eindeutigen Testsieger gab es auch hier: Silicon Graphics' 4D/340S-Workstation erzielte mit vier CPUs einen - wie die SPEC-Leute das Gesamtergebnis eines Mehrprozessorrechners nennen - Aggregats-Durchsatzfaktor von 67,6. HPs Computer aus der Apollo Serie 10 000 mit vier Prozessoren erreichte als Zweitbester ein Ergebnis, das um den Faktor 58,8 besser als das der VAX ist.

Von besonderem Interesse scheint allerdings die Leistung von Stardents Zwei-Prozessor-

Maschine 3020 zu sein: Würde man als Bewertungsgrundlage die Leistung von je einer CPU ansetzen, gebürte die Krone den Herstellern aus Sunnyvale. Der Wert von 25,5 pro CPU bezeichnet bei weitem das beste Ergebnis, bezogen auf die VAX 11/ 780. Das niedrigere Aggregatsergebnis ergibt sich lediglich aus der geringeren Zahl der Zentraleinheiten.

Einzelergebnisse extrem unterschiedlich

Auch bei diesen Tests waren je nach Applikation die Einzelergebnisse extrem unterschiedlich, wie etwa ein direkter Vergleich der 4D/340S-Workstation mit dem Stardent-Rechner zeigt.

Eine Sprecherin von SPEC teilte mit, daß man über die beiden Benchmark-Tests hinaus weitere Aufgabenstellungen entwickeln werde.

Für Anwender sind die Aktivitäten der SPEC-Gruppe aus zweierlei Gründen von Bedeutung: Zum einen veröffentlicht die Kooperative vierteljährlich ein Newsletter mit den Ergebnissen von aktuellen Tests, das zum Preis von 150 Dollar abonniert werden kann. Wer zum anderen seine Hardware selbst auf deren Leistungsvermögen hin überprüfen will, der legt noch einmal 300 Dollar drauf und erhält dafür neben den dreimonatlichen Veröffentlichungen auch ein Band mit den aufgespielten Tests.

Durchblick für Anwender

Mit ihrem Anspruch, verbindliche Leistungsüberprüfungen für Rechner zu entwickeln, haben die SPEC-Leute dem Anwender einen Gefallen getan. Zwar resultieren die jetzt veröffentlichten Ergebnisse auf Tests, die die einzelnen Unternehmen selbst durchführten. Da ihnen jedoch das normierte SPEC-Benchmark-Verfahren vorgegeben ist, mag man den Optimismus der Kalifornier aus Fremont teilen, daß die Resultate auch koscher sind.

Für den Anwender ist der Nutzen offensichtlich: Zum einen scheinen die Benchmark-Läufe eine gewisse herstellerunabhängige, allgemeingültige Aussage zum Leistungsvermögen der am Markt befindlichen Produkte zu gewährleisten. Er gewinnt einen Überblick, welches das potenteste System ist.

Zudem ist es ihm möglich, selbst zu prüfen, welcher Computer für spezielle Anforderungen der richtige ist und welche Software besonders ökonomisch auf einer vorgegebenen Hardware läuft. Die SPEC-Ergebnisse machen nämlich unter anderem auch eines deutlich: Nicht jedes RISC-System ist für jede Anwendung gleich gut geeignet.

jm