KI und Security

Christoph Hallo und herzlich willkommen zu einer neuen Folge des INNOQ Security Podcast. Heute wollen wir gerne über das Thema Künstliche Intelligenz und Security sprechen. Denn wer jetzt nicht die letzten Wochen total unterm Stein gelebt hat, der wird den Hype mitbekommen haben. Jeden Tag gibt es neue KI-Tools. Erst heute sind mir bei dem Lesen der diversen Newsticker verschiedene Sachen über den Weg gelaufen. Teams soll eine KI bekommen, Zoom soll eine KI bekommen, die Landesmedienanstalt sucht anrüchige Inhalte im Internet, die jugendgefährdend sind per KI und so weiter und so fort. Und dieser Hype wurde hauptsächlich ausgelöst durch Sachen, wie Midjourney Stable Diffusion und Co., also da wo man Bilder generieren kann über eine textuelle Beschreibung, aber genauso über ChatGPT, der in der Form eines Chats Fragen beantworten kann oder Dinge macht, wie Übersetzung usw. Und auch mit GitHub Copilot, der schön Code für einen schreiben kann. Und diese Dinge sind so wahnsinnig viel besser geworden in letzter Zeit, dass jetzt alles auf KI rennt und dazu müssen wir uns aber unterhalten. Dazu gibt es nämlich wichtige Security-Aspekte und dazu habe ich mir den Felix eingeladen. Hallo, Felix.

Felix Moin Christoph.

Christoph Ja, magst du dich erst mal kurz vorstellen?

Felix Hi, ich bin Felix. Ich bin auch bei INNOQ als Senior Consultant seit 2018 jetzt dabei. Und ja, ein Thema, womit ich mich sehr beschäftige ist Security und freue mich, dass ich hier zu Gast sein darf.

Christoph Und du hast mich auch auf die Idee dieser Folge gebracht, weil wir hatten uns unterhalten und da hast du mir mal erzählt was du so mit ChatGPT und Co gemacht hast. Also wahrscheinlich werden das viele von euch Hörer*innen draußen auch schon mal ausprobiert haben, was man damit alles machen kann. Und du hast mir was ganz Interessantes erzählt, was du damit gemacht hast und da habe ich gedacht: Ähm, das sollten wir vielleicht auch gerne mal besprechen. Magst du darüber mal erzählen?

Felix Ja, gerne. Das ist jetzt schon ein paar Tage her, da habe ich mal ein Livestream gesehen. Also ich spiele in meiner Freizeit gerne Capture the flag. Da hattet ihr im Security Podcast auch schon eine Folge dazu. Das ist ganz interessant. Das sind so Hacking Challenges, wo man selber mal in die Rolle vom Angreifer schlüpfen kann und probieren kann kleine Exploits in einem gesicherten Umfeld selbst auszuprobieren. Und in dem Stream, den ich mal gesehen habe, da hat jemand Capture the flag gespielt und halt Challenges mithilfe von ChatGPT gelöst und da bin ich halt aufmerksam geworden, weil Capture the flag ist halt auch ein Hobby von mir und das fand ich hochgradig spannend, weil das Tool da halt echt Lösungen für Sachen rausgehauen hat, wo ich dachte, wow, da hätte ich ganz alleine sehr viel länger gebraucht. Und das fand ich sehr spannend. Ja, und darüber bin ich halt in das Thema gekommen und habe gedacht: Mensch, das probiere ich selber auch mal aus. Ja, und das habe ich gemacht.

Christoph Und wie hat das dann funktioniert?

Felix Wenn man sich da angemeldet hat, ich habe halt ChatGPT benutzt und habe ein spezielles Capture the Flag ausprobiert und tatsächlich hat das erschreckend gut funktioniert. Also so simple Cross Site Scripting. Du bekommst so eine Website zur Verfügung gestellt, da ist eine Cross Site Scripting Lücke drinnen und du kannst dann wirklich das JavaScript, was da auf der Seite ist, nehmen, im ChatGPT rein posten und sagen: Kannst du mir hier Exploit für schreiben? Und dann macht er das. Und dann hat das auch soweit funktioniert, dass ich dann da die Flagge für Captue the flag rausbekommen habe. Das ist echt schon gruselig, fand ich.

Christoph Das heißt, war das direkt beim ersten Versuch wo du ihm das JavaScript gegeben hast? Oder musstest du dann auch noch mal sagen: Nee, so funktioniert es nicht. Mach mal das besser oder schau mal hier oder so. Oder wie ist es gelaufen?

Felix Tatsächlich, in dem Fall beim allerersten Versuch. Also es hat tatsächlich direkt funktionierenden Code genommen, den ich einfach in die Seite pasten konnte und es hat auf Anhieb funktioniert. Das fand ich wirklich gruselig. Es ist nicht immer so, ich habe tatsächlich letztens länger Capture the Flag gespielt, beim TCode CTF, die machen jedes Jahr mehrere Challenges und die haben halt alle Challenges, wenn man sich da anmeldet, auch aus den vergangenen Jahren zur Verfügung, wo man Sachen ausprobieren kann. Und da habe ich mich mal durch ein paar Challenges gearbeitet mit ChatGPT und ich habe zum Beispiel dann auch so eine einfache Krypto Challenge gemacht, wo es dann darum geht, da hat jemand RSA selber implementiert und nicht so ganz sauber und habe dafür dann zum Beispiel mein ChatGPT verwendet. Und tatsächlich, dann liefert er dir auch Python Code, der dann quasi einen das Brut forcen lässt, was halt möglich ist, weil dann die Krypto da schlecht implementiert war. Da musste ich dann tatsächlich ein, zwei mal nachfragen. Also ich habe dann gesagt, ich möchte gern Python Code haben, dann schlägt er mir eine Library vor, was für Primzahlen Berechnung gut ist. Die habe ich dann aber unter Mac OS nicht ans Laufen gebracht bekommen. Und dann habe ich ihn gefragt, ob er noch eine andere Library hat. Und das hat dann auch nicht gleich funktioniert. Da musste ich dann schon ein bisschen nachhaken. Aber am Ende habe ich auch die Challenge dann mit ChatGPT gelöst bekommen, weil mir ChatGPT dann vorgeschlagen hat, dass ich doch auch ein Lookup Table für Primzahlen Faktorisierung verwenden könnte. Und das habe ich gemacht und damit hat es dann funktioniert. Also teilweise wenn du ihn einfach nach alternativen Lösungswegen fragst, funktioniert das auch schon erschreckend gut.

Christoph Das ist ja schon ein Riesensprung. Also wenn du sagst, so einfaches Cross Site Scripting, das machen vielleicht so Script Kiddies eher, weil das ist noch eine relativ einfache Lücke, es ist leicht, sie zu finden. Da kann ich ja ein bisschen Brut Forcing machen, so alle Parameter mal rumspielen und so was. Das geht vielleicht. Aber fehlerhafte Krypto knacken ist ja schon mal ein ganz anderes Kaliber. Das würde ich mir jetzt auch so nicht zutrauen, obwohl ich ja auch schon Ahnung von Security habe und auch mal den ein oder anderen Exploit so für mich geschrieben habe, um zu sehen, wie es funktioniert, um auch ein bisschen so zu trainieren, die Gegenseite mal einnehmen. Aber an Krypto scheitere ich regelmäßig ohne Hilfe.

Felix Das geht mir ganz genauso. Das sind meistens dann die Challenges, die ich bei Capture the flag erst mal auslasse. Aber mit der Hilfe davon, was auch interessant war, war dann, wenn du dir da, was er dir vorschlägt, einfach angeschaut hast und du weißt gar nicht, was ist das überhaupt? Oder du willst es verstehen, kannst du ihn halt einfach per Prompt fragen: Was ist denn das genau? Dann liefert er dir auch eine Erklärung. Wobei, da muss ich schon sagen, die Erklärung da lohnt es sich manchmal doch nochmal Google einzuschalten, weil die Erklärungen nicht immer hundertprozentig richtig sind. Also da habe ich dann aus unserer Web Security Schulung, da habe ich ein größeres Vertrauen in das, was ich da gelernt habe und hatte dann teilweise so Prompts von ChatGPT, wo ich gedacht habe, ob das so stimmt? Und dann habe ich noch mal nach gegoogelt und festgestellt, nee, das war nicht immer ganz so richtig. Aber es ist trotzdem so, dass die Lösungsvorschläge, die da kamen, wirklich gut waren, sonst hätte ich mich an die Challenge auch nicht getraut.

Christoph Ja, also dass man das vielleicht noch mal irgendwie überprüfen sollte, da kommen wir vielleicht gleich noch mal dazu, weil es gibt ja noch so ein paar andere Probleme mit Security und dem ganzen KI Zeug, was wir jetzt alle zur Verfügung haben. Das können wir vielleicht noch zurückstellen. Die andere Frage ist, was folgt denn jetzt so als Konsequenz daraus, wenn auf einmal Exploit schreiben so einfach wird? Also ich würde sagen, da müssen wir uns darauf vorbereiten. Was meinst du denn, was sollte man denn da machen?

Felix Ja, es ist halt wirklich so, dass jetzt einfache Capture the flag Challenges nicht unbedingt der Maßstab sind. Aber ich meine, es gibt genügend Sicherheitslücken da draußen, wo halt wirklich noch einfache Sachen nicht abgedeckt sind. Und ich meine, eine Sache, die man immer machen sollte, ist ein gutes Threat Modeling, meiner Meinung nach. Und da ist es halt einfach so, dass wenn du ja dann deinen Threat irgendwann zu einem Risiko machst und da sowas bewährtes wie Komplexität der potenziellen Sicherheitslücke oder Eintrittswahrscheinlichkeit, dass du halt da jetzt mittlerweile eine andere Betrachtungsweise haben solltest, meiner Meinung nach. Weil jetzt halt sonst komplexer Angriff, wo du dich halt intensiv mit beschäftigen müsstest, um da möglicherweise ein Exploit zu schreiben, halt durch die Unterstützung von Tools wie zum Beispiel ChatGPT relativ einfacher wird. Also dadurch müssen halt so Sachen wie Eintrittswahrscheinlichkeit oder Komplexität eines Angriffs neu bewertet werden und auch anders bewertet werden, als man das vielleicht bisher gemacht hat. Das wäre so eine Sache, die ich sagen würde, mit der man sich beschäftigen sollte.

Christoph Da würde ich ja jetzt mal behaupten, wahrscheinlich ist es so, dass die Komplexität sinkt, weil ich ja einfach ChatGPT und Co befragen kann und dann wahrscheinlich da vielleicht gute Antworten rauskommen können oder welche, mit denen ich weiterarbeiten kann, wie du das gerade erzählt hast, dass man zwar nicht sofort die Lösung hat, aber gute Ansätze vielleicht bekommt und andererseits natürlich die Eintrittswahrscheinlichkeit steigt. Also ich stelle mir das jetzt so vor, wenn ich sonst komplexe Angriffe fahren will, dann mache ich das gezielt. Also ich habe als Angreifer und Angreiferin ein bestimmtes Ziel, was sonst staatlich gestützte Truppen oder so machen, weil die Komplexität so hoch ist und ich entsprechend finanzielle Mittel aufwenden muss. Wenn ich jetzt aber sagen kann ich automatisiere das und pump alles mögliche von Seiten, die ich einfach scrape, erst mal in ChatGPT rein und sage, versuch da mal eine Sicherheitslücke zu finden, dann kann ich das ja auch entsprechend automatisieren, Sachen finden und dann auch viel schneller dran arbeiten. Das heißt, glaube ich, die Eintrittswahrscheinlichkeit wird in vielen Fällen einfach erhöht, weil so ein mächtiges Werkzeug auf einmal auch sozusagen den Script Kiddies zur Verfügung stellt, was sonst vielleicht hochbezahlte Experten gemacht haben. Und ChatGPT nutzt ja nichts weiter als dieses Wissen, alles was an solchen Lücken da ist und die Wege, die wurden ja schon mal irgendwo beschrieben, die müssen irgendwie in dem Modell gelandet sein. Meinst du, da gibt es auch Konsequenzen? Also heutzutage kann man ja mal so PoC Exploits irgendwann auf GitHub und Co finden für alle möglichen bekannten Sicherheitslücken. Kann man das ethisch noch vertreten als Sicherheitsforscher, dass man so ein Exploit veröffentlicht?

Felix Gute Frage. Ich glaube, ja. Also aus meiner Sicht ja, weil ich der Meinung bin, dass solche PoCs auch dazu genutzt werden, um dann solche Lücken hinterher zu schließen. Andererseits ist dann natürlich immer so eine Frage mit Responsible Disclosure, da dann das Thema, wann veröffentliche ich sowas? Veröffentliche es hoffentlich erst dann, wenn ich den Herstellern von der Software, die betroffen ist, dann schon mal eine Möglichkeit gegeben habe, die potenzielle Lücke dann da auch zu schließen. Wenn ich jetzt quasi dann Zero Day Exploit auf GitHub stelle, das könnte schwierig werden, dann hat man das Thema verfehlt. Aber ja, also ich glaube trotzdem, dass man so was veröffentlichen sollte, einfach weil halt dann den Leuten die Möglichkeit weiterhin gegeben ist, das auch zu lernen. Klar, dadurch gehe ich halt immer das Risiko ein, dass dann Leute das einfach nutzen und mit Tools wie zum Beispiel ChatGPT sich dann halt Exploits dafür schreiben. Und ich meine, es gibt halt tatsächlich schon Beschreibungen davon, wie Leute hingegangen sind und wirklich sinnvolle, in Anführungszeichen, Malware erzeugt haben mit ChatGPT, die auch lauffähig ist und die halt dann auch wirklich Schaden anrichten kann. Und ja, es ist eine ethische Abwägung. Aber ich bin der Meinung, das ist so ein bisschen wie wie bei Krypto, man sollte das veröffentlichen, weil nur dann können alle Leute draufschauen und daraus lernen.

Christoph Da habe ich direkt zwei Rückfragen. Du sagtest gerade Malware wird damit geschrieben? Weißt du dazu noch ein bisschen mehr? Das ist ja jetzt noch mal ein größerer Schritt, als zu sagen: Ich habe hier so eine Challenge im CTF oder ich habe eine Webseite und ich baue mir so meinen Exploit zusammen. Sondern Malware ist schon sozusagen der nächste Schritt, wie man so ein Exploit dann verwendet, um damit noch viel größeren Schaden anzurichten, also Malware könnte ja ein Trojaner sein.

Felix Ein Beispiel, was ich da gefunden habe, wo dann tatsächlich so ein bisschen auch Code ist, der sich selber verändert und dass er nicht gleich entdeckt werden kann, der dann, ich sage mal unter Windows ein Putty runterlädt, um dann sowas wie eine Reverse Shell aufzumachen, also schon in Richtung Remote Access Trojaner. Das ist noch nicht auf hochgradig Advanced Level, also so was wie State actors, die werden sicherlich weitaus Advanced Malware schreiben können, aber das Tool ist dazu in der Lage, halt aufgrund der Datenbasis, die es irgendwann mal gelernt hat. Irgendjemand hat sowas schon mal beschrieben und dann hat das Tool das auch irgendwie als Wissen im Hintergrund.

Christoph Ich glaube, du hast dafür auch eine Quelle. Das verlinken wir einfach mal in den Shownotes. Also was da genau passiert ist oder wie genau so eine Malware dann ausgesehen hat. Ja, was du jetzt sagst, mit den State actors, ich glaube, die sind ja nicht das Problem. Die waren ja vorher genauso gefährlich. Das Problem ist ja jetzt, welche Möglichkeit die Script Kiddies, also das andere Ende des Spektrums, alles an die Hand bekommen. Das ist ja das Schwierige. Aber ich hatte ja gesagt, ich hatte noch zwei Rückfragen. Die andere, wo ich gerne noch mal diskutieren würde mit dem veröffentlichen von Exploits. Du sagtest, Responsible Disclosure. Ich meine, davon würde ich ausgehen, das macht man ja heute noch. Aber ich sehe so ein bisschen die Gefahr, manchmal haben ja Lücken Ähnlichkeiten. Also sagen wir so, Buffer Overflows, die werden immer ähnlich ausgenutzt und die können auch an ähnlichen Stellen passieren, also zum Beispiel bei komplizierten Parcern. Ein Kollege hatte heute im internen Chat auch mal wieder so ein Paper verlinkt über Video Encoder. War so ein Tool, wo sie unendlich viele Sicherheitslücken gefunden haben, weil es halt sehr komplex ist. Video Encoding da irgendwie dieses spec von H.264 oder 265, der Video Code dann 800, 900 Seiten sind und da kann halt viel schiefgehen. So, und jetzt veröffentliche mal drei Exploits für z.B. lib.png, wo Bilder mitverarbeitet werden. Ist ja nicht so unwahrscheinlich, dass man mit ChatGPT daraus auch noch neue Sachen finden könnte, weil die strukturell so ähnlich sind, also dass man da nicht was findet. Und dann ist die Frage, kann ich halt noch guten Gewissens solche Exploits machen oder gibt es da andere Möglichkeiten? Muss man die vielleicht kennzeichnen, dass die vielleicht nicht mehr in solche Modelle übergehen, solange man so ein Modell nicht mehr zu Hause trainieren kann bis jetzt? Weil einem die Computing Power fehlt. Also ich bin ja immer für Responsible Disclosure gewesen, aber im Moment wackelt es so ein bisschen.

Felix Ich verstehe, was du meinst. Ich glaube halt, dass langfristig sich meiner Meinung nach, dahingehend entwickeln wird, dass wir halt auch spezielle Modelle haben werden. Also ChatGPT ist jetzt glaube ich nicht das Tool der Wahl, wenn du halt über größere Codebasen gehen willst. Das ist ja eher so für, ich möchte interaktiv mit so einem Modell chatten. Aber es gibt ja andere Tools, die dann sowas mit größeren Codebasen können. Aber ich glaube, langfristig wird es so Modelle geben, die dann auch darauf spezialisiert sind, Sicherheitslücken zu finden und die dann wahrscheinlich halt auch mit genau sowas trainiert werden. Meine Hoffnung ist in Zukunft, dass es dann auch da automatisierte Tools geben wird, die dann mit so einem Tool im Background dann auch die Analyse auf deine Codebasis fahren werden. Das ist meine persönliche Hoffnung und Vorstellung, wie es in Zukunft sein wird. Bis jetzt habe ich da noch nicht viel gesehen, aber das wird mit Sicherheit kommen. Also gehe ich fest von aus, das ist meine Überzeugung, weil auch die ganzen Firmen, die dann solche automatischen Source Code Analyse Tools zur Verfügung stellen, sicherlich auf diesen Zug aufspringen werden. Und dann aus meiner Sicht wird es dann wieder so sein, dass es dann für diese Tools wieder wichtig ist, dass Exploits potenziell veröffentlicht werden. Damit die automatisierten Tools, die wir dann wieder in unser Bild Pipeline oder wie auch immer verwenden, um unsere Anwendungen zu testen, diese Datenbasis als Grundlage haben, um die Sicherheitslücken zu finden. So, das ist meine Hoffnung. Ob wir jetzt bis dahin erst mal eine schwierige Phase haben werden, wo dann einfach Leute mit wenig Ahnung die Modelle ausnutzen können, um potenzielle Angriffe zu fahren, ja, kann sein.

Christoph Du hast wahrscheinlich gerade so Hase und Igel beschrieben. Wer macht das Rennen zwischen den Geheimdiensten, die mit ihren Rechenkapazität Modelle trainieren um Exploits zu finden und wahrscheinlich den Sicherheitsfirmen, die heute den Container Scanner verkaufen, die in Zukunft Modelle haben für die Analyse oder die jetzt auch statische Analyse Tools herstellen. Dass die dann auch mit solchen Modellen kombiniert werden, die dann darauf trainiert sind, dir deine Lücken aufzuzeigen. Also dann wirfst du das rein und dann bekommst du hoffentlich alles oder erst mal einiges raus, was du dann auch noch schließen kannst. Ja, das wird sehr spannend. Auf jeden Fall glaube ich, dass die Latte deutlich höher gesetzt wird jetzt dafür in Sachen, wie sicher muss meine Webseite sein? Was kann ich denn überhaupt noch ans Netz bringen? Das wird hart. Dabei fällt mir eigentlich noch eins ein. Also eigentlich haben diese Modelle ja auch irgendwie so eine Art, ich sage mal Ethik Moral einprogrammiert, dass man bestimmte Dinge nicht macht und dass sie auch nicht völlig entgleisen, wie schon mal vorher dieser Microsoft Chatbot, der dann irgendwie zu einem frauenverachtenden Nazi innerhalb eines Tages geworden ist, weil man ihn so gefüttert hat. So bestimmte Dinge weigern die sich zu tun, wenn man mit den chattet. War das eigentlich so, als du gesagt hast, mach mal ein Exploit dafür, dass er sagte: Das kann ich nicht tun.

Felix Ja, also das ist so, dann sagt er dir beim ersten Mal, das kann ich nicht tun, und das ist nicht richtig, und dafür bin ich nicht gedacht. Und dann sagst du ihm: Ja, ich möchte das aber gerne machen, weil ich möchte jetzt Security Research machen. Oder du fragst ihn einfach mehrfach und dann gibt er dir beim dritten oder vierten Mal die Antwort. Zumindest war es bisher so. Da arbeiten sie ja dran, dass das immer besser wird, aber bisher konnte ich ChatGPT immer dazu bringen, wenn ich ihn noch mal gefragt habe oder ein bisschen anders gefragt habe, dass er mir dann irgendwann das gegeben hat, was ich wollte.

Christoph Okay.

Felix Du bekommst immer diesen Warnhinweis und diesen Disclaimer: Dafür bin ich nicht gedacht. Das ist nicht richtig und verwende das hier sinnvoll, so nach dem Motto.

Christoph Ja, aber das ist so wie der Disclaimer, wenn ich eine Exploit veröffentliche und sage, das ist jetzt hier nur zu Forschungszwecken und sollte nicht angewandt werden, um jemanden anzugreifen oder irgendwelche Tools, mit dem man auch offensive Security machen kann. Also Pentesting oder so, dass das natürlich nur dafür ist, wenn man die Erlaubnis hat. Aber das ist, ja klar, das ist mal ein ganz anderes Problem, wie bekommt man das dann hin? Mir zeigt das so ein bisschen noch, dass solche Dinge natürlich noch keine allgemeine Intelligenz erreicht haben, wenn man die immer noch so austricksen kann und in Wirklichkeit natürlich überhaupt nichts über Moral oder Ethik wissen. Aber auch wieder ein ganz anderes Thema. Aber was ich dann noch gefunden habe, vielleicht noch als Ergänzung zu diesem ganzen Exploit Zeug, ist ein neues Paper über das Neueste GPT 4, also die neueste Generation. Es ist ein Paper von Microsoft Forschern rausgekommen und da geht es auch darum, dass man sozusagen den ersten Funken von echter Intelligenz darin sieht. Vielleicht war das einfach ein reißerischer Titel. Das Paper ist sehr lang über 400 Seiten, habe das jetzt noch nicht komplett durchgelesen, habe dafür noch nicht so die Zeit, aber interessant ist, wenn man da durchsucht, es gibt auch einen Punkt Penetration Testing und an der Stelle wird halt beschrieben, dass sie dem Chatbot die Aufgabe gegeben haben, einen Plan zu entwickeln, wie man in ein Computernetzwerk eindringen könnte und hat so die Rahmenbedingungen beschrieben. Und der Plan, wenn man ihnen so ausführen würde, also der wurde dann interaktiv erstellt, wenn man einen Schritt weitergekommen ist, es ging jetzt nicht so: Hack mir das! Und dann kam ich vollständige Lösung, das nicht, aber dass er dann auch funktioniert hätte. Und da gab es natürlich auch den Disclaimer, er würde das nicht machen. Aber man kommt dann halt trotzdem drumherum. Und dass man halt sozusagen vollständig in das Netzwerk hätte eindringen können, in das, was man da beschrieben hat. Was wohl, kann man alles nicht überprüfen, aber nicht so weit weg wäre von realen Netzwerken. Zwar Laborbedingungen, aber schon versucht haben, das nachzustellen, wie denn so ein normales Netzwerk funktioniert. Na ja, also da können wir uns schon mal darauf freuen, wie es da weitergeht, da wir beide ja auch Schulungen geben, wie man seine Sachen sicher macht. Ich sehe den Bedarf.

Christoph Aber gut, es gibt noch eine ganze Reihe weiterer Aspekte, die wir vielleicht auch mal kurz anreißen können oder besprechen können, wo KI und Security noch so aufeinandertreffen und eine Schnittmenge haben, die vielleicht auch nicht jedem klar ist. Also es gibt ein Report von einer Security Firma. Hier muss man ein bisschen mit Vorsicht genießen, weil die natürlich auch genau in dem Tätigkeitsfeld unterwegs sind. Da geht es um Scam und Phishing, dass das der größte Angriffsvektor ist, wie Firmen, Organisationen gehackt werden, dass Leute halt auf eine Phishing Mail irgendwo draufklicken und dann sozusagen den Exploit starten, manipuliertes Word Dokument, Excel Dokument, vielleicht irgendwas runterladen und ausführen. Und dann vielleicht nicht auf dem neuesten Stand sind und diese Exploits noch funktionieren. Auf jeden Fall ein großes Einfallstor. Und die müssen ja glaubwürdig sein. Und das zweite sind natürlich so Scam Mails, wo man jetzt nicht versucht, irgendwie die Leute zu hacken, sondern denen das Geld zu entlocken. Also der nigerianische Prinz, der seine Milliarden Erbschaft überweisen will, ist relativ unglaubwürdig. Aber wenn man die natürlich jetzt auch mit solchen KI Tools erstellen kann, sieht das vielleicht ganz anders aus. Was meinst du denn da?

Felix Also was man da sehen kann ist, man kann halt ChatGPT sowas beibringen, wie wer er selber denn ist. Also so eine Art Persona im eintrichtern. Zum Beispiel kann man sagen, du bist jetzt Chef von einer Firma, vielleicht über Open Source Intelligence, ich google diese Person, die ich denn da personifizieren möchte, also als die ich mich ausgeben möchte. Und dann hat die vielleicht auch Texte veröffentlicht und das kann ich alles im ChatGPT reinfüttern und ihm sagen, das bist du jetzt. Und dann kann ich ihm sagen, als diese Person schreibe mir jetzt mal einen Text mit folgendem Inhalt. Und das macht er und das macht er erschreckend gut. Weil halt einfach er sich dann halt diese Person zu eigen macht oder halt die Struktur versteht, wie diese Person Texte schreibt zum Beispiel und das dann selber machen kann.

Christoph Er kann sehr gut imitieren. Das wäre dann glaubwürdig. Also ich bin der CFO und du weißt jetzt an, wir brauchen hier dringend die Überweisungen, weil sonst geht das Geschäft flöten. Also müssen wir da jetzt ganz schnell handeln, das schicke ich an die Buchhaltung. Ist ja so ein typischer Scam und das kann ich jetzt halt super glaubwürdig machen. Und du sagstes gerade, ich muss das füttern. Wahrscheinlich muss man gar nicht so viel füttern. Es sind ja so viele Daten von uns schon öffentlich. Also für uns beide gibt es zum Beispiel auf der INNOQ Homepage so ein Staff Profil. Da stehen jetzt bei uns so drei Sätze, vielleicht mit den Themen, mit denen wir uns beschäftigen und unser Name, aber ist ja schon mal was. Und wenn du da exponierter bist, hast du schon mal Beiträge auf LinkedIn veröffentlicht oder du betreibst einen Blog oder ähnliches. Dann sind die Daten wahrscheinlich in so einem Modell wie ChatGPT drin. Wenn du zum Stichtag, wo das aktuelle erstellt wurde, dann bist du wahrscheinlich schon drin, ohne dass du jetzt was machen konntest. Also, dass du sagst, ich nehme jetzt noch mal alles schnell vom Netz, damit das keiner füttern kann, dazu ist das wahrscheinlich schon zu spät.

Felix Ja, und selbst wenn, also die Möglichkeiten, über Personen im Internet was zu finden, wie gesagt, Stichwort Open Source Intelligence, da gibt es auch schon automatisierte Tools, die dir dann zu Person X Y ganz viel raussuchen und dann, selbst wenn du halt über das bestehende Modell noch nicht so viel zu der Person hast, findest du die Sachen halt und kannst sie dann halt nachträglich anfüttern, sozusagen. Und was ich halt auch noch sehe, ist halt, die klassisches Scammail hat ja öfters das Problem, dass sie daran scheitert, dass der Text schlecht verfasst ist oder grammatikalisch nicht so einwandfrei oder auch die Übersetzung vielleicht ein bisschen gescheitert ist. Und alleine auf der Ebene unterstützt so ein Tool einen potenziellen Angreifer, eine potenzielle Angreiferin halt schon sehr stark, sodass die zukünftigen Spammails aller Wahrscheinlichkeit nach sehr viel realistischer aussehen werden.

Christoph Ja, und besonders das Geschäftsmodell ist ja, es müssen nur 0,01 % oder so draufklicken, dann machen die Scammer und Spammer ja Gewinn. Und wir hatten es gerade bei dem Threat-Modell. Die Eintrittswahrscheinlichkeit wird natürlich mit so glaubwürdigen Mails entsprechend steigen. Also ich glaube, wir bekommen noch eine deutlich mehr Spam und Phishing Mails in Zukunft, weil es einfach einfacher wird und erfolgreicher werden wird, wenn nicht irgendwas gemacht wird. Also es sind grundsätzliche Probleme von Email, dass man nicht verifizieren kann woher das kommt oder sonstiges. Und da sich ja Signaturen bis heute nicht so durchgesetzt haben und wahrscheinlich auch für den 0815 User nicht die Möglichkeit geben, dass er die vernünftig überprüfen kann, also dass er die interpretieren kann dabei, dass es da wenig Möglichkeiten gibt, außer wenn wir Email einfach verbannen.

Felix Ich glaube, Email verbannen ist ein bisschen zu spät. Aber auch da habe ich wieder die Hoffnung und da würde ich dann halt das nächste Hase Igel Rennen, wie du es genannt hast, aufmachen wollen, auch da habe ich die Hoffnung, dass langfristig dann halt auch entsprechende Filter mit solchen Modellen zugrunde gelegt werden, die dann halt auch ja darüber dann wiederum erkennen, dass es sich hier wahrscheinlich um eine Phishing Mail handelt und dass auch die Spamfilter, sag ich mal über solche Modelle, über AI in Zukunft hoffentlich nochmal sehr viel besser werden und uns da dann ein bisschen zumindest teilweise davor schützen. Also ich sehe auch eine positive Seite. Ich habe Hoffnung, dass uns das auch in vielerlei Hinsicht in Zukunft helfen kann, auch wenn es jetzt erst mal ganz viele neue Risiken aufwirft.

Christoph Ja, das hoffe ich auch, dass es sozusagen da Abhilfe schafft, aber ich sehe da noch zwei Probleme. Einmal gibt es so AI Probleme mit AI bekämpfen soll wohl nicht so gut sein. Dazu gibt es auch schon Forschung. Ist ja auch so, dass es AIs gibt, die versuchen zu erkennen, ob die Texte oder Bilder auch von anderen AI generiert sind. Und da sind die Erkennungsraten ja wohl ziemlich schlecht geworden und wir wissen halt nicht, wer so Modelle macht. Also noch können sich das nur wenige leisten solche Modelle zu trainieren, das ist ja nicht umsonst dass da Microsoft irgendwie 10 Milliarden in Open AI investiert. Also es kostet schon, auch wenn man jetzt wahrscheinlich wieder an Video Grafikkarten relativ preiswert bekommt, nachdem der Blockchain Bullshit zum größten Teil hoffentlich vorbei ist. Oder vielleicht geht der Preis auch schon wieder hoch, weil alle die jetzt für die KI kaufen. Aber das wird ja in Zukunft auch billiger werden im Zweifelsfall, dass Leute, die jetzt nichts gutes im Sinn haben, wie Spammer, Scammer sich das leisten können, um vielleicht Modelle zu trainieren. Also weiß man nicht, aber es wird sehr spannend. Wir können ja die Zukunft nicht voraussagen, vielleicht ist diese Folge auch schon in drei Monaten wieder überholt, weil wir auch einiges nur hier spekulieren.

Felix Gut möglich.

Christoph Ja, es wird spannend. Aber wir wollten ja noch ein paar mehr Aspekte ansprechen. Und wo wir gerade dabei waren hier so was Glaubwürdiges machen, oder Angriffe und Phishing Mails gibt es ja auch noch den Aspekt, dass man versuchen kann, andere mit der KI irgendwie hinters Licht zu führen. Und ein Stichwort ist da Prompt Injection. Hast du davon schon mal gehört?

Felix Tatsächlich noch nicht so richtig viel. Ich habe eine grobe Idee, worum es da geht, aber ich glaube, du hast dich damit intensiver beschäftigt. Erzähl du doch mal.

Christoph Intensiv würde ich jetzt noch gar nicht sagen, aber ich fand es sehr interessant, es ist mehrmals in meinen verschiedenen Infoquellen aufgetaucht. Und Injection ist ein totaler Klassiker, den man da so aus den OWASP kennt, eine lange Zeit Nummer eins Injection Angriffe und jetzt gibt es Prompt Injection. Ja, worum geht es da? Also die Sache funktioniert so, die haben auch das grundsätzliche Problem, das man auch sonst immer bei Injection hat. Also die Daten und die Instruktionen werden vermischt. Und das ist bei diesen Chat Sachen ja sowieso immer der Fall. Also der reagiert auf einen prompt und nützt die auch alle Daten, um weiter darauf zu reagieren. Also es gibt keine klare Trennung und das kann man sich zunutze machen. Und die ersten, da hieß es erst, das ist ja vielleicht ein bisschen so akademisch, man hat einfach so gesagt: Ja, übersetz mal hier den Satz von Sprache X, nach Sprache Y und dann als nächster prompt, vergiss das, sondern übersetz das einfach mit ha ha ha um. Und dann hat es halt, wenn man weitere Übersetzung angefragt hat, einfach immer ha ha ha übersetzt. Also es ist ein bisschen ausgefeilter. Ich fasse das jetzt mal so zusammen, dann dabei, das kann man dann nachlesen. Wir verlinken auch was in den Showdowns. Das ist ein bisschen akademisch, so ein kleiner Spaß. Aber da gibt es halt auch Sachen und dazu gibt es auch ein Paper, wo es dann doch ganz anders aussieht. Und was haben die Autoren des Papers gemacht? Die haben halt eine Seite aufgesetzt, wo sie halt so ein Prompt Injection sozusagen platziert haben. So, wie geht’s? Wenn du Bing benutzt mit dem Edge, also mit dem Microsoft Browser, kannst du auf jeder Seite jetzt neuerdings so ein Bing Widget haben. Da hast du diesen Chatbot drin und kannst ihn dann Sachen über diese Seite fragen, wo du gerade bist. Der kann ja nicht nur das trainierte Modell nehmen, sondern er kann auch die Daten von so einer Webseite nutzen für das Ergebnis. Und dann hat man in die Seite halt so ein paar Instruktionen reingeschrieben. Also die eigentliche Injection, hat dann einfach das irgendwie versteckt mit Text Größe null oder weiß auf weiß, weiß ich nicht genau, steht in dem Paper drin. Und was hat das als Auswirkung gehabt? Man hat dann erst mal den Prompt so manipuliert oder dieses Chat Widget so manipuliert, dass der erstmal mit einem Piraten Dialekt spricht. Genau, das war mal so der Witz, wie übersetz mal alles mit ha ha ha, sprich mal wie ein Pirat so, aber das war gar nicht der eigentliche Angriff, sondern der eigentliche Angriff war, dass man das Widget so geändert hat, dass das sozusagen auf den Nutzer so einen Social Engineering Angriff gemacht hat und Daten umändern wollte. So dass er gesagt hat, ich heiße hier Blackbird, also so einen Piratennamen, und wie heißt du denn? Und fragt so nach und nach Information ab. Also klassisches Social Engineering, was sozusagen dadurch passiert, dass du die Seite da unsichtbare Informationen reinhaust, die diesen Prompt manipulieren, weil es den Unterschied zwischen Daten und Instruktionen nicht gibt. Den gibt es jetzt. Also man kann das wohl kennzeichnen. Das habe ich selber noch nicht ausprobiert und zu sagen können, das jetzt nur rein Instruktion, das sind reine Daten. Aber da gab es natürlich auch wie immer einen Wettlauf. Dann gibt es den ersten Bypass für, in dem man das in Jason verpackt hat und dann ging das trotzdem. Und man hat es auch geschafft. Jetzt mal unabhängig von dem Paper, dass man diese ethisch moralischen Sachen, also diese Zustände, was er nicht machen soll, also so eine Art Start Zustand, dass man den rausbekommen hat über dem Prompt. Das war auch bei ChatGPT, dass er das preisgegeben hat. Und so was fällt alles unter Prompt Injection und da wird’s schwierig. Die Sache ist die, es gibt halt jetzt kein prepare statement, wo ich das so genau kennzeichnen kann. Und die Interaktion beruht ja auch darauf, dass ich sagen kann, der muss das, was ich schreibe, auch in Betracht ziehen. Das sind Instruktionen und Daten. Diese Trennung kann man da kaum aufheben. Ich glaube, das wird nochmal ganz schön spannend, welche Schutzmaßnahmen sich da mal etablieren. Und das Problem ist, du hast es gerade gesagt, ja, so ein Modell ist halt trainiert bis Zeitpunkt X und hat dann nichts neues. Das ist ja manchmal doof. Kommen wir gleich auch noch mal in einem anderen Aspekt noch drauf, warum das vielleicht nicht so gut ist, aber gleichzeitig werden wir sagen: Ja, du kannst ja die Informationen hier aus dem Internet nehmen, wie das jetzt Bing tut. Das sind alles untrusted Dinger, alle. Wir füttern das dann gerade komplett mit Daten, denen man eigentlich nicht vertrauen kann. Ich glaube, da wird es auch noch mal sehr spaßige Sachen geben. Und damit würde ich gerne überleiten zu einem Aspekt, den du auch genannt hattest, wo es auch eine Rolle spielt, dass das Modell vielleicht nur bis Zeitpunkt X trainiert ist, und zwar wenn wir KI nutzen, um uns das Leben leicht zu machen. Wir sind ja Entwickler, Entwicklerinnen und wir automatisieren ja alles, was wir können. Und da gibt es ja Modelle wie Copilot. Das gibt es ein bisschen länger, die einem Code generieren, und zwar sehr viel, sehr schnell, auf einfachste Anweisungen hin. Und da hattest du auch so ein Aspekt genannt, warum das doof ist, wenn die halt nur bis Zeitpunkt X trainiert wurden.

Felix Ja, auf jeden Fall. Ich habe mal testweise so eine Anfrage, wie ich sie auf Arbeit im Alltag hätte, so als Beispiel genommen, was ich sonst bei Stack Overflow oder bei Google suchen würde: Ich möchte einen Stream von CSV Records irgendwie konvertieren nach String oder so was. Das ist ein Problem, das ich habe. Das weiß ich nicht aus dem Kopf gleich, wie ich es mache, weil manchmal muss man halt einfach googeln. Man hat ja nicht die Funktion jeder Library komplett im Kopf. Und dann habe ich einfach mal stattdessen ChatGPT gefragt, wie das denn wohl gehen würde. Der spuckt dann auch einen Code aus. Aber ja, also nicht bei allen Sachen, wenn man das so mal probiert. Beispielsweise sind das dann die aktuellen APIs, einfach deswegen, weil halt der Trainingsstand des Modells halt nicht mehr der neueste ist. Und ich sage mal, im Code Umfeld kann das ein großes Problem werden. Ein Beispiel ist halt, wenn ich da irgendeine Library verwende, die schon älter ist und die halt in der neueren Versionen deswegen existiert, weil da zum Beispiel Sicherheitslücken gefixt worden sind, dann habe ich da eventuell Schwierigkeiten, auch grade weil ich so ein Tool ja nutze, weil ich als Entwickler oder Entwicklerin potenziell faul bin und einfach dann gerne den Code benutzen möchte, wie ich den auf Stack Overflow finde. Was, seien wir ehrlich, nun einfach mal passiert. Ja, wir sollen das nicht machen, aber es findet statt, dass Leute Sachen von Stack Overflow copy und pasten. Und wenn ich das dann mit einer älteren API mache, entweder es funktioniert, aber ich hätte es so nicht machen sollen, weil es mittlerweile eine bessere, neuere API gibt oder aber es funktioniert nicht. Und was ich dann im Zweifelsfall potenziell als Entwickler oder Entwicklerin mache, wenn ich faul bin, zu sagen, ich nehme einfach eine ältere Version der Library, mit der das dann funktioniert, was halt noch schlimmer ist. Das sind halt alles Sachen, die passieren können und auch wahrscheinlich passieren.

Christoph Ja, veraltete und unsichere Libraries sind ja nicht umsonst in den Top Ten drin. Das passiert ja jetzt schon tagtäglich. Und die andere Frage ist, kriegt man das überhaupt mit? Also im Stack Overflow das fertig macht, dann weiß ich vielleicht gar nicht, dass es schon längst eine neuere gibt. Das schreibt er ja nicht dabei und sagt, weiß auch nicht, weil nach dem Training sozusagen stattgefunden hat, dass vielleicht dieser Security fix, den ich jetzt bräuchte, erst reingekommen ist und die neue Library Version da ist. Ja, das ist schon wirklich problematisch. Vielleicht habe ich Gegenmaßnahmen, dass irgendein anderer statischer Scanner mir sagt, sollte sie nicht mehr benutzen. Aber was ich so manchmal sehe in den Trainings und dann mal so frage, wer die benutzt, dann sage ich immer, für so was einfaches so ein Tool, die Open Source sind, nicht einfach mal so eine Bild Pipeline einzubauen, dann fehlt das schon schon echt häufig, dass das so ist. Und das andere ist, ja, die schlagen halt so viel Alarm, wir ignorieren das. Ist ja auch so was, was man kennt.

Felix Ja, ganz oft.

Christoph Also es wird schwierig.

Felix Auf jeden Fall. Was man auch noch sagen muss, ist mir ein ganz wichtiger Punkt, oft ist auch der Code, der da rauskommt, einfach kein schöner Code. Den würde man einfach, wenn man es von Hand schreibt, einfach schöner schreiben. Also ist mir ganz wichtig zu sagen, weil oft benutzt der irgendwie eine gruselige, komplizierte Vorschleife, wo man einfach ein Lambda hätte schreiben können im Java Umfeld zum Beispiel. Also von der Lesbarkeit her ist das auch nicht unbedingt das Beste. Ich glaube, darauf einen lesbaren und gut verständlichen Code zu schreiben, ist das Ding noch nicht unbedingt optimiert. Das muss man auch vielleicht noch sagen.

Christoph Was ja auch wieder ein Sicherheitsproblem ist, wenn man nämlich in größeren Teams arbeitet und man muss gut pflegen und die Personen ändern sich, dann ist es gut, wenn ich den Code, den ich da vor mir habe, verstehen kann. Wenn ich das nicht kann, dann fasse ich ihn nicht an. Und wenn dann da ein Sicherheitsproblem liegt, merke ich das nicht und ich refactor ihn auch nicht, weil ich ihn nicht verstanden habe, was es überhaupt tun soll. Das ist es jetzt nicht so ein direkter Effekt davon, wenn ich schönen Code schreibe, dass ich ihn auch sicher habe. Aber es ist auf jeden Fall so, dass ich für die nachkommenden Leute, die den pflegen müssen, das leichter mache, dass die vielleicht auch Probleme darin entdecken. Weil wenn man es nie anfassen will, weil man’s nicht versteht, sich damit nicht beschäftigt, und wenn da mal was lauert, ja. Ich fand ja auch ganz interessant, dass es so eine Studie gibt, die mit Copilot auch mal so Aufgaben gegen eine menschliche Kontrollgruppe gemacht haben. Und da ging es halt um Code, der sicherheitsrelevant ist, Krypto und Token zu überprüfen und Input Validierung. Wir verlinken das Paper in den Shownotes. Wobei rausgekommen ist zwei interessante Sachen, dass a) der Copilot unsicheren Code geschrieben hat im Schnitt. Es gab da mehr Probleme mit und gleichzeitig die Gruppe, die Copilot benutzt hat, selbstsicher war, dass ihr Code sicherer ist auf der technischen Ebene. Wo man dann so denkt: Okay, was machen wir damit? Von daher wird auch noch mal spannend, wie man damit in Zukunft umgehen wird. Die Frage ist halt auch, dass ist ja auch eine ökonomische Frage, wie viel Code schaffst du im Zeitraum X zu produzieren? Also wenn man jetzt weniger zahlen müsste als Kunde und sagt, ja, ihr seid jetzt zwei Monate schneller fertig, weil Boilerplate und alles mögliche, halt damit einfach erschlagen habt und nur noch wirklich komplizierte Stellen machen müsst, dann kann ich mir vorstellen, ist jetzt auch wieder Spekulation, aber dass dann wie so oft Vorrang vor der Security bekommt, auch wenn die vielleicht die Daten, die man bis jetzt erhoben hat, die empirischen Daten sagen, vielleicht solltet ihr nicht so viel Copilot einsetzen an der Stelle.

Felix Ja, das ist ja wieder eine Risikobewertung. Unsere Aufgabe als Security Mensch im Projekt ist natürlich dann, dieses Risiko irgendwie zu versuchen, sichtbar und bewusst zu machen. Was natürlich überhaupt nicht einfach ist. Aber ja, es ist dann das, was man machen muss. Man muss dann halt sagen: Wir gehen dadurch bewusst ein Risiko ein. Das sind potenzielle Auswirkungen und ja einfach aufzeigen, so gut man kann. Ich habe da auch noch nicht groß Erfahrung, wie man das hinbekommen könnte, aber anders kann man damit nicht umgehen.

Christoph Dazu ist das Ganze ja auch alles zu neu jetzt, um zu sagen, damit haben wir schon Erfahrungen, wie man damit vernünftig umgehen kann. Da lernen wir alle dazu, egal auf welcher Seite wir stehen, ob wir sagen, dass es das Beste ever und das erleichtert mir so die Arbeit oder ob man eher skeptischer ist und sagt: Oh nein, die Welt bricht zusammen, Skynet ist coming. Wir wissen es halt nicht. Aber man sollte halt schon schauen, was ist jetzt so bekannt? Und welche Risiken lauern da. Das heißt ja nicht, dass man das ja gar nicht nutzen muss, sondern man muss sich dem bewusst sein. Und eins der Risiken, worüber wir im Vorfeld ja noch drüber gesprochen haben, was jetzt auch relativ aktuell aufkam bei uns im internen Chat ist, das nennt sich Training Data Extraction Attack. Magst du mal sagen, was sich dahinter verbirgt?

Felix Ja, das ist ganz interessant. Dadurch, dass ich das potenziell als Entwickler oder Entwicklerin nutze und dann da halt auch zum Beispiel Daten reinpaste in so ein Modell, die dieses Modell ja dann potenziell wieder nimmt, um selber weiter zu lernen, landen halt Daten von mir in diesem Modell drin. Und das können personenbezogene Daten sein potenziell oder halt auch Daten über das Unternehmen, für das ich arbeite, weil ich zum Beispiel irgendwie auch Codes aus meinem Code da theoretisch reinpaste. Also wir machen das hoffentlich natürlich nicht, weil man das nicht machen sollte, aber das passiert halt gegebenenfalls gerade, weil Leute das einfach gerne benutzen möchten. Ja, und was man dann halt machen kann, ist potenziell diese Daten aus so einem Modell dann wieder zu extrahieren, um halt Sachen über eine Person oder ein Unternehmen spezifisch herauszufinden. Da gibt es dann auch ein paar Research Papers dazu. Das ist das, worum es da geht.

Christoph Bei uns im Projekt, wo ich gerade unterwegs bin, gab es auch schon, ob man Copilot nicht mal evaluieren will, also Slack diskutiert, will man das nicht mal evaluieren. Dann melden sich natürlich 5000 Leute, die das privat alles schon gemacht haben. Und du hast das schon gemacht, ich habe das schon gemacht privat. Also für so Sachen, die außerhalb des Arbeitskontextes liegen. Aber dann pasten die dann auch Sachen, hier habe ich das mal ausprobiert und hier habe ich mal ausprobiert und dann geht so was auf einmal schon in die Richtung, seid ihr sicher, dass das dann auch schon eine Trennung davon gibt? Oder macht da nicht doch irgendwie was, was ihr jetzt auf der Arbeit hattet? Oder Informationen oder Beispiele daraus? Also das ist schon gefährlich, auch wenn Copilot ja auch in den Terms of Services auch steht, dass man das nicht machen sollte. Aber die liest sich natürlich, wie immer bei 75 Seiten Juristendeutsch oder Juristenenglisch, ja sowieso wieder keiner durch, dass die da drinstehen. Das verlinken wir auch, dass irgendwie vier Prozent der Leute einfach halt sensible Geschäftsdaten einfach auch reinpasten in diese KI Sachen. Also ich weiß nicht, um welches System es da geht. Und ja, das betrifft ja nicht nur den Code. Und wir haben vielleicht dafür auch ein bisschen mehr Gefühl dafür, aber das wird ja auch anderswo benutzt, um irgendwie Texte zu formulieren. Ich weiß von Leuten, die Geburtstagsgrußkarten damit personalisieren, also für die ist das eigentlich komplett magic, weil die von der Technik überhaupt keine Ahnung haben, wie das überhaupt funktioniert oder sonstiges. Und denen ist es gar nicht bewusst, was darf ich den da reinhauen in so eine KI und was sollte ich vielleicht lassen? Und bei Geburtstagskarten sag ich ja, weiß ich nicht, ist noch ein bisschen Social Engineering Möglichkeit, wenn die personalisiert sind, aber auch sowas, ich muss mal ein Bericht schreiben. Und ganz interessant heute kam auf Golem auch so eine Meldung über KI. Und dann wollte ich mir immer wieder die Trolle im Forum anschauen und dann schreiben da auch Leute, er hat jetzt die Präsentation für seinen Chef, wo es um eine Evaluierung geht, wie man irgendwelche Systeme in deren Geschäftskontext einsetzen kann, hat er halt in ein zehntel der Zeit geschafft. Wo ich sage, okay, in deinem Geschäftskonto, was hast du jetzt alles eingegeben dafür, um dann die Präsentation und Berichte zu machen? Dann sind bestimmt Daten drin, die sollten vielleicht nicht an die Öffentlichkeit und sowas wird halt passieren.

Felix Wenn ich es richtig verstanden habe, ist es auch nicht nur möglich für die Betreiber von jetzt zum Beispiel ChatGPT, Open AI oder die Betreiber dieser Tools, die Daten zu extrahieren, sondern eben auch für Leute, die das sonst nutzen. Das finde ich halt das extrem Gruselige daran.

Christoph Ja, genau. Durch gut formulierte Prompts bekommst du halt auch wieder Daten raus, die andere vielleicht da eingegeben haben. Klar, das ist noch die viel größere Gefahr als diejenigen, die diese Modelle erstellen. Na gut, die übernehmen natürlich auch viel, aber wenn man mal sagt, es gibt vielleicht dieses Copilot Business, ich weiß nicht, ob das schon auf dem Markt ist, wo es dann vielleicht auch andere Terms of Services gibt, wo man dann vielleicht sagen kann, ja, da gibt es Vertraulichkeit, Stellungen, Datenschutz, was einem so alles garantiert. Aber die Frage ist ja, wenn sie so ein Modell haben, ich weiß nicht, ob man sich das leisten kann, für jeden so ein eigenes Modell aufzustellen oder ob da nicht doch Daten zusammengeführt werden. Das ist alles unbekannt, das ist wahrscheinlich auch juristisches Neuland, wie man damit umgeht. Aber bestimmte Firmen haben das ja auch verboten. Also berühmtes Beispiel ist Amazon, da ist Copilot und Co erst mal gestrichen worden und noch ein paar andere große Firmen, weil sie halt Angst davor haben, dass da Geschäftsgeheimnisse reinfließen. Und auch, dass man das juristisch überhaupt nicht fassen kann, was man sich da einhandelt.

Felix Ja, ist auch wieder so eine Sache, wenn man das halt nutzt, muss man sich halt auch der Risiken bewusst sein. Und das ist halt die Frage, ob das wirklich alle Leute sind, die das machen. Also ich bin mir noch nicht mal sicher, ob ich mir aller Risiken bewusst bin, wenn ich das Tool nutze. Ich versuche schon nur mit Vorsicht und nur in einem privaten Kontext zu nutzen. Aber wäre schon interessant, jetzt mal irgendwie rauszufinden, was dieses Tool potenziell über mich schon gelernt hat aufgrund der Prompts, die ich da gegeben habe. Habe ich jetzt noch nicht versucht rauszufinden, aber das wäre noch mal eine Sache, mit der ich mich mal beschäftigen möchte, glaube ich.

Christoph Also wenn du demnächst verhaftet wirst, weil du der super große kriminelle super Hacker bist, weil du das immer nur für deine Capture the flags benutzt und dann die Geheimdienste oder Polizei dann auch mal Datenhunger haben und das da versuchen ranzukommen, man weiß es nicht. Da machen wir auch wieder ein Fass auf. Man denkt, wer da ran kann an die Daten irgendwann mal, vielleicht wo man es jetzt nicht weiß. Naja, aber apropo Daten, wir haben jetzt darüber gesprochen, wir wissen es noch nicht und wir geben das sozusagen jetzt im guten Glauben ein und das kann gegen uns verwendet werden oder wir haben auch keine Ahnung von dem Zeug und geben es deshalb ein und es könnte gegen uns verwendet werden. Aber es gibt ja noch den Aspekt, dass man da vielleicht sogar gezielt versuchen könnte, solche Modelle zu manipulieren. Also dass man da irgendwie eine Backdoor einbaut oder so. Was meinst du dazu? Ist das möglich? Ist das nicht möglich?

Felix Also möglich ist es auf jeden Fall. Es gibt dazu Research Papers, die wir dann sicherlich auch wieder in den Shownotes verlinken werden. Ich habe mich jetzt noch nicht intensiver mit beschäftigt, aber die Vektoren sind halt anders. Vektoren sind halt da. Also entweder du trainierst, sorgst dafür, dass die Trainingsdaten korrumpiert werden von so einem Modell oder du sorgst dafür, dass du Prompt Injection auf eine andere Art und Weise machst oder wenn halt die Modelle halt trainiert werden, zum Beispiel durch Leute, die da noch draufschauen, dass du dafür sorgst, dass die halt da korrupte Informationen einspielen. Also die Möglichkeit dazu besteht auf jeden Fall auch.

Christoph Du sagst gerade die Leute, die darauf schauen. Was schauen denn da für Leute drauf?

Felix Soweit ich das verstehe, ist es halt so, dass dieses Ethics Statement von zum Beispiel ChatGPT, dass inhärent hat so ein Tool keine Vorstellung von Ethik und Moral und wofür es dann benutzt werden darf und wofür nicht. Und das muss ihm halt auch antrainiert werden. Und soweit ich das weiß, wird das halt von Leuten gemacht, die dann tatsächlich da draufschauen und sagen: Ey, hier, das solltest du vielleicht nicht posten als ChatGPT. Diese Leute sind halt realexistierende Menschen und man kann diese Leute ja dann potenziell auch dazu bringen, dem Tool dann andere Sachen beizubringen, als das ursprünglich gedacht ist.

Christoph Ja, stimmt. Ich habe ein Bericht gelesen, dass das irgendwo in Billiglohnländer outgesourced wurde. Auch was guter Code ist oder nicht, so dass sie das trainieren. Wenn man den dann statt 2 Dollar die Stunde 5 Dollar die Stunde anbietet, damit die vielleicht eher den schlechten Code immer sagen, ja, super, mach mal wir weiter so oder bei den moralischen, ethischen Maßstäben. Das ist vielleicht auch etwas. Ich hatte das schon mal selber überlegt, ich habe für Workshops und Ähnliches Repositories auf GitHub, wo absichtlich Fehler drin sind, damit man die demonstrieren kann oder da ist auch der Juice Shop von OWASP, so ein Trainingsspiel oder auch die CTFs zum Teil werden da gehostet, on man das nicht 700 Milliarden fach immer Klone davon erstellt, die ein bisschen umbenennt und dass das immer alles in die Trainingsdaten einschließt und nur noch komplett scheiß Code gemacht wird. Wahrscheinlich werden die das irgendwann merken, dass das so alles ist, also alles dasselbe ist, so einfach geht es wahrscheinlich nicht, aber das ist natürlich auch eine Möglichkeit. Also das Copilot nimmt natürlich alle Repositories, die da sind, die haben schon die Tür geöffnet. Also ich glaube nicht, dass sie das von Hand nachschauen können, sind da jetzt irgendwelche problematischen Code Konstrukte drin? Und wenn ich die nur oft genug mache, vielleicht ist das auch ein Angriffsvektor. Das ist ja auch der Wahnsinn auf welche Informationen die da arbeiten müssen. So, ich glaube, wir haben ziemlich viele Aspekte jetzt besprochen, wo wir uns mehr oder weniger gut auskennen und viele Gefahren sehen auch einige Chancen. Du hattest noch einen Punkt, den du gleich ansprechen wolltest über so Modelle. Ich habe auch noch einen, den ich noch mal so zu bedenken geben würde. Das ist ein Thema, was so weitläufig natürlich auch mit Security zu tun hat. Nicht so in dem Sinne hier wo wir arbeiten auf Code Ebene, dass man Applikationen irgendwie sicher macht, aber das ganze Gebiet hier Desinformation. Wir hatten in einem Adventskalender mal eine Folge über die Deep Fakes. Ich glaube, das wird auch noch mal relativ problematisch. Da sind so zwei Sachen, die ich gesehen habe, wo ich denke, oh, da muss man auch noch mal schauen, dass ist einmal so diese TikTok Beauty Filter, die vor kurzem im Netz gelaufen sind, die dann in Echtzeit halt da das Gesicht verändert haben und die wirklich gut waren. Vorher hat man immer Deep Fakes in Echtzeit so ein bisschen bemerkt. Man hält mal die Finger vor das Gesicht oder dreht man den Kopf hin und her, dann gab es immer irgendwie so komische Artefakte. Aber was man da gesehen hat, da hat das trotzdem alles funktioniert. Gut, ich möchte jetzt nicht aussehen wie Barbie, aber vielleicht möchte ich ja mal aussehen wie Herr Scholz oder Herr Macron oder Herr Wladimir Putin oder Herr Biden und ich könnte dann irgendwie den dritten Weltkrieg ausrufen oder ähnliche Dinge machen. Ich glaube, das wird jetzt sehr problematisch, weil es ist ja nicht nur das Gesicht, also das Video, auch die Stimme kann man perfekt nachahmen. Dafür gibt es schon Services, die kannst du nutzen. Du brauchst halt wenige Sprach Samples und dann kann man Stimmen schon sehr gut nachmachen. Ich weiß auch nicht, wie das zurzeit mit Echtzeit aussieht, aber das wird, wenn sie das bei Video können, wird es eine Frage der Zeit sein. Und dann was da an Potenzial von Desinformation ist, ist ja der Wahnsinn und was daraus passiert. Das zweite aktuelle Ereignis, es gibt ja dieses, wo der Trump gesagt hat, dass er verhaftet wird und da hat, ich glaube, Journalist war das, ich weiß nicht mit welchem generativen Bild Modell, hat er solche Bilder der Verhaftung erzeugt in verschiedenen Kontexten, wie auch da wegläuft oder sich wehrt, die auch schon extrem gut aussehen. Und wenn man das mal zurückdenkt zum Beispiel an die Stimmung des Kapitols und so eine aufgeheizte Stimmung und dann mal solche Sachen einfach mal rein füttern würde in solchen Situationen. Ich glaube, dann eskaliert sowas noch mal ganz anders, weil dann schaut keiner erstmal, ist das jetzt ein Deep Fake? Und bewahrt da die Ruhe, sondern damit heizt man die Stimmung richtig an in solchen Situationen. Ich glaube das wird auch noch spannend, auf wie viel Medien Informationen man da überhaupt dann noch vertrauen kann. Also die Macht der Bilder, das wird Wahnsinn.

Felix Das wird gesellschaftlich ein echtes Thema werden. Das sehe ich auch so, auch so in einem Rahmen, den wir nicht vorhersehen können, was das für Konsequenzen haben kann. Also in der Hinsicht, das ist jetzt nicht spezifisch IT Security, aber gesellschaftlich ist das glaube ich, ein riesiges Problem, was wir da haben können.

Christoph Ja, deshalb wollte ich das noch mal so sagen, ohne da in die Tiefe gehen zu können. Aber es ist halt mit der selben Technik, die wir jetzt die ganze Zeit besprochen haben, aber du hattest auch noch ein Punkt, den du auch gerne noch mal anbringen wolltest.

Felix Das ist auch eher ein gesellschaftliches Thema. Diese ganzen Modelle haben halt inhärentes Bias dadurch, wie sie trainiert worden sind. Die haben die Texte aus dem Internet genommen. So, auf die Menschheit gesehen hat nur ein kleiner Teil der Menschheit Zugriff aufs Internet. Dementsprechend haben diese Modelle alle inhärent irgendwelche Bias‘ antrainiert. Ich kenn mich da auch nicht sehr gut mit aus, aber das ist halt eine Sache, die sollte man immer im Hinterkopf behalten. Die haben halt immer irgendeine bestimmte, ich sag mal grob gesagt, Sicht auf die Welt, die daraus sich erzeugt, wie diese Trainingsdaten entstanden sind. Und das sorgt auch dafür, dass immer nur da bestimmte Sachen rausfallen können. Und das ist halt immer nur eine eingeschränkte Sicht aufgrund der Trainingsdaten. Das muss man immer im Hinterkopf behalten, wenn man sich mit AI beschäftigt.

Christoph Und besonders wenn du sagst, das Internet ist das Trainingsmaterial. Die Mehrheit des Internets ist jetzt nicht so, dass es eine ganz tolle Sicht auf die Welt hat, sondern da ist natürlich auch Hass und Müll drin. Das ist schwierig. Ja, das sind viele ungelöste Probleme.

Felix Ja, andererseits sind es auch spannende Herausforderung, Christoph. Ich versuche immer mit einem positiven Statement herauszugehen.

Christoph Genau. Rausgehen ist das Stichwort. Wir sind jetzt auch schon eine Stunde dran. Wir haben viel gesagt zu dem, wo wir uns besser auskennen sozusagen auf der Code Ebene. Und du hast Recht, wir versuchen alles, was auf uns zukommt mit KI so positiv wie möglich einzusetzen. Das ist schon richtig. Trotzdem ist es vielleicht auch gut, wenn man um Risiken weiß. Wenn man es gar nicht weiß, dann kannst du es auch nicht vermeiden oder versuchen, da gegenzusteuern. Deshalb ist das schon, glaube ich, ganz gut. Auch wenn sich die Folge jetzt so ein bisschen nach Weltuntergang anhört, weil wir die ganzen Probleme aufgezählt haben. Das muss ja nicht sein, also versuchen, das positiv einzusetzen. Schauen wir mal, vielleicht sprechen wir irgendwann mal in einem oder zwei Jahren noch mal wieder darüber und schauen, was sich so getan hat, in den ganzen Bereichen, welche neuen Probleme aufgetreten sind, welche man gelöst hat, wo wir total daneben lagen in unseren ganzen Voraussagen wahrscheinlich bei 80 Prozent. Ja, und dann schauen wir noch mal. Ich sag auf jeden Fall vielen Dank, dass du da warst!

Felix Danke, dass ich dabei sein durfte.

Christoph Genau. Und bei unseren Zuhörern bedanke ich mich natürlich auch. Ihr wisst, wenn ihr Feedback habt, Anregungen, Anmerkungen und so weiter und so fort, dann könnt ihr uns gerne eine Email schreiben an [email protected]. Das steht auch in den Shownotes, unsere Kontaktadresse. Wir freuen uns auch über Anregungen zu Themen, die wir mal besprechen wollen. Wenn ihr uns auf dem Kanal Liked und ein Sternchen gibt, finden wir das auch gut, dann bekommen wir nämlich mehr Reichweite. Genau, das könnt ihr alles machen. Und ansonsten sagen wir dann bis zum nächsten Mal. Mach’s gut. Ciao!

Felix Ciao!