Die dunkle Seite von ChatGPT

KI-unterstützter Cyber-Betrug

Peter Marwan lotet kontinuierlich aus, welche Chancen neue Technologien in den Bereichen IT-Security, Cloud, Netzwerk und Rechenzentren dem ITK-Channel bieten. Themen rund um Einhaltung von Richtlinien und Gesetzen bei der Nutzung der neuen Angebote durch Reseller oder Kunden greift er ebenfalls gerne auf. Da durch die Entwicklung der vergangenen Jahre lukrative Nischen für europäische Anbieter entstanden sind, die im IT-Channel noch wenig bekannt sind, gilt ihnen ein besonderes Augenmerk.
Die lustigen Mails vom Prinzen aus Nigeria und die holperig formulierte Aufforderung der Bank, die Kontodaten zu aktualisieren, sind längst Vergangenheit. Cyberkriminelle sind heute professioneller – und haben KI als Hilfsmittel schon längst entdeckt.
Mikko Hyppönen, Chief Research Officer von WithSecure, griff bei seiner Schilderung der potenziellen Gefahren von KI auch ein aktuelles Beispiel eines bei Twitter kursierenden Bildes einer vermeintlichen Explosion beim Pentagon auf.
Mikko Hyppönen, Chief Research Officer von WithSecure, griff bei seiner Schilderung der potenziellen Gefahren von KI auch ein aktuelles Beispiel eines bei Twitter kursierenden Bildes einer vermeintlichen Explosion beim Pentagon auf.
Foto: F-Secure

Auf der WithSecure-Veranstaltung Sphere2023 diese Woche in Helsinki waren die Möglichkeiten, die KI Cyberkriminellen bieten, das dominierende Thema. Mehrere Referenten zeigten an fiktiven Beispielen, was heute im Bereich Deepfakes schon möglich ist. Vom vermeintlichen Anruf der Fluggesellschaft, die sich die Kreditkartendaten bestätigen lassen will, bis zum, romantischen Videobotschaften, die der vermeintliche Absender aber so nie gesagt hat. Sie lösten damit beim Publikum eine Mischung aus Belustigung und Beängstigung aus.

Ein ganz konkretes, aktuelles Beispiel zeigte Mikko Hyppönen, Chief Research Officer von WithSecure. Er griff das bei Twitter kursierende Bild einer großen, schwarzen Rauchwolke nach einer Explosion in der Nähe des Pentagons auf. Das bei Twitter geteilte Bild wurde direkt von einem vermeintlichen Account der Nachrichtenagentur Bloomberg geteilt - mit dem inzwischen völlig wertlosen "blauen Haken" zur Untermauerung der Glaubwürdigkeit. Die russische Nachrichtenseite RT und einige andere pro-russische Accounts griffen das Bild sofort auf. Dadurch erhielt es rasch große Verbreitung.

Das Bild wurde nahezu ebenso schnell als Fälschung enttarnt, wie der vermeintliche Bloomberg-Account als unseriös. Für die Hintermänner könnte sich so eine Aktion dennoch lohnen. Denn wie Hyppönen erklärte, wird heute der Großteil der Börsentransaktionen nicht mehr von Menschen, sondern von Maschinen getätigt. Die wiederum werden durch Regeln und Algorithmen gesteuert, die auf Input von Nachrichtenseiten, Börsentickern aber auch Seiten wie Twitter zurückgreifen.

"Es ist für einen Bot nicht schwer zu erkennen, dass eine Explosion in der Nähe des Pentagons keine gute Nachricht ist", sagte Hyppönen. Es sei auch kein Wunder, dass so ein Bild zunächst häufig geteilt werde - möglicherweise sogar unterstützt durch weitere Bot-Accounts mit KI-unterstütztem Input.

Die Folge: Der Index S&P 500 brach im Vergleich zum Schlusskurs am Freitag kurzzeitig um bis zu 0,29 Prozent ein, bevor er sich sehr schnell wieder erholte. Also nur ein schlechter Scherz und letztlich nichts passiert? Hyppönen sieht das anders: "Wenn Sie die einzige Person auf der Welt sind, die weiß, wann diese Nachricht publiziert wird und dass sie falsch ist, können Sie mit diesem Wissen und den richtigen Transaktionen zur richtigen Zeit durchaus sehr viel Geld verdienen."

Die WithSecure-Securityforscher Andrew Patel und Jason Sattler haben in ihrem Bericht "Creatively malicious prompt engineering" Sieben Methoden zur Nutzung von ChatGPT für unseriöse Zwecke untersucht und fanden das Angebot dafür erschreckend geeignet und hilfreich.
Die WithSecure-Securityforscher Andrew Patel und Jason Sattler haben in ihrem Bericht "Creatively malicious prompt engineering" Sieben Methoden zur Nutzung von ChatGPT für unseriöse Zwecke untersucht und fanden das Angebot dafür erschreckend geeignet und hilfreich.
Foto: WithSecure

Dass manche Beobachter die Aktion als das "dümmste Fake-Bild aller Zeiten" bezeichneten, ändert nichts daran, dass es funktioniert hat. Selbst die kurze Zeitspanne von der Verbreitung der Falschnachricht bis zu ihrer Enttarnung könnte ausreichen, mit entsprechenden Börsentransaktionen erhebliche Summen zu erwirtschaften.

Damit ist vielleicht die Fälschung plump, die Hintermänner können aber keineswegs als dumm bezeichnet werden. Und wenn sie es sind, haben sie den Mangel an Intelligenz mit der Nutzung von KI ausgeglichen. Eine umfassende Untersuchung zu den potenziellen Gefahren und Missbrauchsmöglichkeiten von KI im Allgemeinen und speziell ChatGPT haben kürzlich auch die WithSecure-Security-Forscher Andrew Patel und Jason Sattler unter dem Titel "Creatively malicious prompt engineering" vorgelegt. Sie steht kostenlos zum Download bereit.

Mehr zum Thema

Der Westen unterschätzt den Cyber-Krieg

So denken deutsche Unternehmen über ChatGPT

Die Schwachstellen von ChatGPT

Europol warnt vor Deepfake-Nutzung durch organisierte Kriminalität

Zur Startseite