Kaum Gründe für On-Device-AI

Es reicht nicht aus, KI-Hardware zu entwerfen, die lokal große Sprachmodelle (LLM), generative KI und Ähnliches unterstützt. Die Hardwarehersteller müssen auch als Vermittler - wenn nicht sogar als Entwickler - von lokal ausführbaren KI-Anwendungen auftreten. Qualcomm hat das einigermaßen erkannt. Auf dem MWC 2024 in Barcelona kündigte das Unternehmen diese Woche den Qualcomm AI Hub an, eine Sammlung von mehr als 75 KI-Modellen, die speziell für Qualcomm- und Snapdragon-Plattformen optimiert wurden.

Laut Qualcomm können Entwickler die Modelle mit nur wenigen Zeilen Code in eine App integrieren und selbst zur Evaluierung auf Cloud-gehosteten Geräten mit Qualcomm-Plattformen ausführen. Die Company zeigte außerdem ein lokales LLM mit sieben Milliarden Parametern, das auf einem Snapdragon X Elite Laptop lief. Schließlich demonstrierte Qualcomm ein weiteres LLM mit sieben Milliarden Parametern, das auf Smartphones mit Snapdragon 8 Gen 3 SoC läuft und Audioeingaben akzeptieren kann.

Das ist alles schön und gut, aber mehr PC- und Chiphersteller müssen KI in der Praxis demonstrieren. Der AI Hub von Qualcomm ist dabei ein guter Anfang, auch wenn es sich "nur" um einen Hub für Entwickler handelt. Aber die einzige Möglichkeit für Chip- und PC-Hersteller, die Anwender davon zu überzeugen, lokale KI zu nutzen, besteht darin, sie einfach, erschwinglich und verfügbar zu machen. Bisher sind nur sehr wenige dazu bereit.

Die PC-Industrie neigt dazu, jeden Trend aufzugreifen, um die zuletzt schwachen Hardware-Verkäufe wieder anzukurbeln. So ist der Verkauf von Laptops während der Pandemie in die Höhe geschnellt, inzwischen aber wieder auf den Boden der Tatsachen zurückgekehrt. Das Argument, man brauche High-End-Hardware, um das nächste große Ding - die KI - lokal auf einem PC auszuführen, treibt der PC-Industrie die Dollarzeichen in die Augen.

Die Tatsache, dass die ersten Beispiele von GenAI in der Cloud liefen, ist nicht gerade förderlich für die Pläne der Branche. Insbesondere Microsoft scheint noch nicht wirklich in On-Device-AI investiert zu haben. Alles, was Microsofts "Copilot" im Namen trägt, läuft in der Cloud und erfordert in der Regel entweder ein Abonnement oder zumindest ein Microsoft-Konto, um genutzt werden zu können.

Hinzu kommt, dass die meisten Menschen wahrscheinlich nicht unbedingt davon überzeugt sind, dass sie KI überhaupt nutzen müssen, schon gar nicht lokal auf ihrem PC. Das ist das Problem, das die Chip- und Hardwarehersteller lösen müssen. Aber die Lösung liegt nicht in der Hardware, sondern in der Software.

Die Lösung: Apps, Apps, Apps

Microsoft hat im vergangenen Jahr einen KI-Hub für die Microsoft-Store-App eingeführt, aber selbst heute wirkt das Ganze noch ein wenig glanzlos. Die meisten der verfügbaren Chatbot-"Apps" laufen in der Cloud und erfordern ein Abonnement. Das ergibt natürlich keinen Sinn, wenn Copilot grundsätzlich kostenlos ist. Gleiches gilt für Apps wie Adobe Lightroom und ACDSee: Auch sie sind abonnementbasiert - was eine lokale App umgehen könnte, indem sie die Leistung des lokalen PCs nutzt.

Lange Rede, kurzer Sinn: Die Hardware-Anbieter müssen die Sache in die Hand nehmen. Und einige haben das bereits getan: MSI zum Beispiel bietet für sein neuestes Gaming-Laptop MSI Raider GE78 eine generative KI-App namens "AI Artist" an. Sie ist zwar etwas klobig und langsam, aber immerhin lässt sie sich mit einem Klick von einem vertrauenswürdigen Anbieter installieren.

Darüber hinaus werben sowohl AMD als auch Intel mit der Leistung ihrer Chips für KI-Sprachmodelle wie Llama 2. Das ergibt Sinn für diejenigen, die bereits KI-Chatbots ausprobiert haben und mit einigen der verschiedenen Modelle und ihrer Funktionsweise vertraut sind. AMD hat zum Beispiel genau definiert, welche Anwendungen die Vorteile ihrer eigenen NPU nutzen, die sie als Ryzen AI bezeichnen, nutzen können.

Aber bei allem Respekt: Insgesamt ist das nur ein Tropfen auf den heißen Stein. Es reicht auch nicht aus, dass Intel im vergangenen Jahr ein "AI PC Acceleration Program" ins Leben gerufen hat. Die Chiphersteller müssen die Anwendungen auch in die Hände der Nutzer bringen.

Aber wie? Ein Weg hat sich bereits bewährt: Probeabos von KI-gestützten Apps wie Adobe Photoshop, BlackMagic's DaVinci Resolve oder Topaz. Kunden mögen traditionell keine Bloatware, aber ich denke, wenn die PC-Industrie KI-PCs auf den Markt bringen will, muss sie sich an einen PC für Kreative wagen, der darauf basiert. Statt mit "Intel Inside" zu werben, sollte man "KI Inside" vermarkten, also die Software und nicht die Hardware in den Vordergrund stellen. So wäre es denkbar, dass Hersteller die Logos der Apps außen auf der Verpackung anbringen. Aber wäre Adobe bereit, sein Logo auf einen "Photoshop-zertifizierten" PC zu setzen? Eine Überlegung wäre es auf jeden Fall wert.

Alternativ schlage ich eine Adaption der besten Ideen von Intel vor: die Rückkehr des Gaming-Bundles. Es stimmt, dass heute sowohl Intel als auch AMD ein Spiel wie "Assassins Creed: Mirage" mit dem Kauf einer zertifizierten CPU oder eines Motherboards verbinden. Vor nicht allzu langer Zeit war es jedoch sogar möglich, verschiedene Spiele kostenlos herunterzuladen, um die Leistung der CPU zu testen (hier ein Beispiel von MSI aus dem Jahr 2018).

KI-Modelle lokal auf dem PC laufen zu lassen, bietet einige überzeugende Vorteile, zum Beispiel in Hinblick auf die Privatsphäre. Aber der Komfortfaktor von Copilot und Bard ist ein starkes Argument dafür, stattdessen diese angepassten Tools zu verwenden. Die Verbraucher sind nicht wählerisch und werden sich auch nicht daran stören - es sei denn, jemand zeigt ihnen, dass es gute Gründe dafür gibt, das zu tun. Wenn AMD, Intel und Qualcomm mit On-Device-AI Erfolg haben wollen, müssen sie diese Option einfach, erschwinglich und leicht verfügbar machen. Und da der KI-Hype bereits in vollem Gange ist, hätten sie dies schon gestern tun sollen. (mb)

Dieser Artikel basiert auf einem Beitrag der US-Schwesterpublikation PC World.