Large Language Models

Stefan Tilkov: Hallo und herzlich willkommen zu einer neuen Episode des INNOQ Podcasts. Heute zum Thema Generative KI oder generative AI oder Large Language Models und ihre Auswirkungen. Das ist unser Themenkreis heute. Und heute ist ungewöhnlich, für diesen Podcast zumindest, dass wir einen externen Gast dabeihaben. Dazu begrüße ich ganz herzlich den Marcel Weiß. Hallo Marcel.

Marcel Weiß: Hallo.

Stefan Tilkov: Magst du dich kurz unseren Hörerinnen und Hörern selbst vorstellen?

Marcel Weiß: Ja, gerne. Ich blogge seit 2006, publiziere seit 2006 auf neunetz.com zu digitalen Tech Entwicklungen in der Wirtschaft, beschäftige mich damit, arbeite als freier Strategy Analyst, Berater, halte Vorträge, habe früher mehr Vorträge gehalten, heute nicht mehr so viel, aus verschiedenen Gründen und bin vor allem publizierend zu den Themen tätig. Schon seit sehr langer Zeit beschäftige ich mich damit auf einer meist höhere DNA, Strategieebene oft auf der Umsetzungsebene auch und mache Podcasts, mache unter anderem mit Jochen Krisch, dem E-Commerce Experten hier in Deutschland den Exchanges Podcast und publiziere an verschiedenen Stellen und mit INNOQ zusammen, und das ist auch der Anlass, warum wir jetzt hier sprechen und warum ich jetzt mal bei euch im Podcast sein darf, haben wir zusammen ein Briefing für Entscheider, für CTOs erstellt. Zu dem Thema was du gerade sagt, worüber wir auch heute hier sprechen wollen: Large Language Models. Was sind die überhaupt? Was kann man damit jetzt auch umsetzen? Was kann man jetzt schon damit alles machen? Und damit haben wir uns da ausführlich beschäftigt.

Stefan Tilkov: Eine schöne Einleitung ins Thema. Genau darum soll es gehen. Für uns war es eine tolle Sache, mit jemanden zusammenzuarbeiten, der eine Brille auf die wirtschaftliche Auswirkung von so was lenken kann. Wir gucken mit der Technikbrille drauf. Die Zusammenarbeit hat sehr viel Spaß gemacht, war sehr schön. Wir glauben, das Briefing ist ganz toll geworden, was dabei rausgekommen ist. Und wollen jetzt zum Anlass, so ein bisschen mal über den Themenbereich zu reden. Wie steigen wir ein, Marcel? Wollen wir erst mal vielleicht definieren, worüber wir hier überhaupt sprechen? Was ist das überhaupt?

Marcel Weiß: Ja, ich glaube, das ist ganz sinnvoll. Es ist ein riesen Hype Thema und ich glaube, dass man das gar nicht so ganz leicht erfasst, was das überhaupt ist und warum das jetzt überhaupt ein Thema ist. Das große Überthema ist Machine Learning. Da macht ihr bei euch ja auch schon ganz lange, ganz viel zu dem Thema. Und das ist natürlich jetzt so OpenAI, GPT-3 und GPT-4 ist dann jetzt in den letzten Monaten, im letzten halben Jahr in den Schlagzeilen gewesen. Und die sind natürlich dann ein Ergebnis dessen gewesen, was unter anderem Google sehr stark an der Stelle geforscht hat. Es betrifft alles NLP, also Natural Language Processing und Google hat, ich habe ich das Jahr gar nicht mehr am Kopf. Ich glaube, 2017, die ein Paper rausgebracht und diese Tension und da haben sie den Transformer Architekturansatz vorgestellt. Und der Ansatz ist dann letzten Endes die Richtung gewesen, über die das jetzt quasi so an Fahrt aufgenommen hat, weil OpenAI das einfach dann in die Tat umgesetzt hat. Mit viel Geld von Microsoft, kann man vielleicht auch nachher noch mal drüber sprechen, weil das zu einer interessanten Konstellation dann auch geführt hat. Und die haben viel Geld investiert, haben ein riesiges Modell trainiert. Und das ist dann letzten Endes das, worüber wir jetzt heute sprechen. Da gibt es verschiedene Abstufungen. Da haben wir dann zum Beispiel diese großen Foundation Models, die auf sehr viel Daten trainiert sind mit diesem Transformeransatz und die sich dann mit Feintuning zu unter anderem anderen Modellen dann quasi fokussieren lassen auf den Einsatzzweck, für den man die dann benutzen möchte. Und das sind dann sozusagen die sehr grobe Hinführung. Ich weiß nicht, ob man das jetzt so kondensiert, so versteht. Ich habe das im Briefing, glaube ich, ein bisschen besser im Text erklärt, als ich das jetzt hier im Podcast gegeben habe.

Stefan Tilkov: Was ich ganz interessant finde ist es, man hat so ein bisschen das Gefühl gehabt, als sei letztes Jahr da ein Schalter umgelegt haben, was tatsächlich gar nicht zur technischen Entwicklung passt. Also technisch ist nichts dramatisch Neues passiert, das muss ich vielleicht einschränken. Was man erklären muss vielleicht, ist dass es nicht so war, dass es im letzten Jahr irgendeinen akademischen magischen Durchbruch gegeben hätte oder irgendwas, was es nicht schon jahrelang vorher auch schon gegeben hätte. Da ist nicht was Revolutionäres passiert im Sinne einer revolutionären neuen Erkenntnis, einer neuen Erfindung. Sondern was passiert ist, ist im Prinzip, dass dieser bereits bestehende Ansatz, den man schon ein paar Jahre kannte und der auch schon ein paar Jahre verfügbar war, aus meiner Sicht zumindest zwei Dinge auf einmal so in die vorderste Front der Wahrnehmung gerückt ist. Das eine ist etwas, das gar nicht so viel mit KI zu tun hat, sondern mit der Art und Weise der Interaktion. Das ist ein User Interface, ein User Experience Thema nach meinem Gefühl zumindest, nämlich die diese Chat-artige Interaktion mit dem System. Das Gefühl, dass man spricht, dass man eine Konversation hat, da können wir gleich darüber sprechen. Aber dieses andere Modell, also nicht mehr nur Texte vervollständigen lassen, sondern das Gefühl zu haben, man interagiert mit einem Ding, das dann von sich selbst so spricht, als hätte es Bewusstsein, was natürlich alles nicht stimmt, aber was einem ein ganz anderes Gefühl gibt von der Interaktion. Das ist der eine Faktor. Und der zweite war, dass zumindest bis zu einem Punkt vor sehr kurzer Zeit, vielleicht auch immer noch, vielleicht auch nicht mehr, man noch dramatische Verbesserungen durch den Einwurf größerer Mengen Geldes erzielen konnte. Also indem man einfach extrem viel Rechenzeit spendiert hat, um Modelle zu trainieren, hat man gefühlt exorbitant überproportional bessere Resultate bekommen als vorher. Und das ist eigentlich eine relativ einfache Sache, mit der man normalerweise nicht rechnen kann. Normalerweise kriegt man nicht einfach, nur weil man mehr Power da reinsteckt, automatisch sehr viel bessere Ergebnisse. Eher flaut es ab. Man kann es bis zu einer gewissen Grenze, aber da geht es irgendwann runter und skaliert eben nicht mehr linear und schon gar nicht überlinear oder exponentiell mit dem Geld, was man einwirft. Und das war hier deutlich anders, weil man auf einmal dieses Gefühl hatte, dieses Ding kann tatsächlich gefühlt mehr als alles, was man vorhergesehen hat. Und es ist auch noch für ganz normal sterbliche Menschen auf einmal zugänglich. Ich weiß nicht, ob du es auch erlebt hast. Ich hatte das erste Mal seit langem das Gefühl, dass ich mit normalen Leuten, nicht mit so IT-Fuzzis, sondern mit ganz normalen Menschen in meinem Bekanntenkreis, in der Familie, sonstwo über so ein Thema rede und alle in höchstem Maße interessiert sind, weil alle gemerkt haben, dass da irgendwas sehr Spannendes passiert.

Marcel Weiß: Ja, absolut. ChatGPT, das war auch das interessant, als das OpenAI das verfügbar gemacht hat. GPT-3, was das Interface angeht, da ist natürlich noch mal ein bisschen was passiert. Sie haben so 3.5, sie haben sie dann gesagt, weil das natürlich dann nicht nur das Interface ist, sondern wie das dann auch noch mal mit Feedback und dann entsprechend noch mal verbessert wurde. Aber das ist es ganz interessant gewesen. Ich weiß nicht, wie das bei euch ist, aber ich bin viel im Onlinehandel unterwegs und da gab es schon mal so um 2016 eine kleine Hype Welle, Conversation Commerce und das war mehr so ein Ding auf dem Papier und das klang ganz gut, konzeptionell ganz interessant, hat aber dann im Alltag, wir kennen das ja alle, diese automatisierten Support Chat Fenster, die eher frustrieren als alles andere. Und so ist es ganz lange gewesen. Selbst wenn man Alexa oder Siri benutzt, was halt nicht das hergibt, was es eigentlich verspricht, wenn man versucht das zu benutzen und das ist dann hier selbst mit dem CPT-3 und ChatGPT Interface schon spürbar, sobald man es benutzt hat, noch mal was ganz anderes vom Qualitätslevel gewesen und natürlich dann auch gleich noch mal, als sie das nächste Modell vorgelegt haben, GPT-4 ist dann auch noch mal, dass man dann an einer Stelle Zugang bekommt, merkt man auch noch mal einen Sprung. Und du hast schon gesagt, dass natürlich jetzt alles auf Masse hin funktioniert, diese Trainingsphase war sehr teuer, auch interessant übrigens, als ich für das Briefing recherchiert habe. Da gehen die Schätzungen für die Trainingskosten von GPT-3 auch stark auseinander. Die einen schätzen 12 Millionen US Dollar und Mosaic geht von 54.000$ aus, was natürlich auch wieder damit zusammenhängt, dass Mosaic Tools bereitstellen für das Training und sagen: Mit unserem Werkzeugkasten könnt ihr das viel günstiger haben. Aber was damit natürlich auch mitschwingt, ist, dass dieser ganze Themenfeld sehr stark auch gerade so im Fluss ist. Was eben noch viel gekostet hat, muss auch genau soviel kosten, weil auch so ein Ökosystem gerade entsteht, was auch spezialisierte AWS-Instanzen und so weiter angeht. Und vielleicht der letzte Punkt noch, weil du das mit der Größe angesprochen hast. Sam Altman, der CEO hat jetzt auch schon gesagt, ass sie nicht die nächsten Schritte erreichen werden, indem sie noch größer werden. Ob das jetzt stimmt oder nicht, sei dahingestellt, aber es gibt durchaus viele Anhaltspunkte, dass man feststellen kann, dass man an Modelle, die Ähnliches leisten können, vielleicht nicht GPT-4, aber zumindest spielt GPT-3 mit sehr viel weniger Parametern, das heißt mit sehr viel weniger Trainingsaufwand und sehr viel weniger Rechenleistung im täglichen Einsatz erreicht werden kann. Also da sehen wir gerade an ganz vielen Stellen so Effizienzdurchbrüche.

Stefan Tilkov: Ja, da kommen wir sicherlich gleich noch mal drauf, auf die Möglichkeiten, wie man das Ganze nutzbar machen kann, wie es sich weiterentwickeln kann, wie man selbst Benefit daraus zieht. Das, was du gerade gesagt hast, habe ich mir auch noch mal durch den Kopf gehen lassen. Es ist tatsächlich auch bei mir, bei uns so eine Erkenntnis, diese letzte Generation dieser Bots, die man so kennt. Da haben wir auch schon mitgebaut auf Webseiten, wo du so ein Bot hast, das ist nahezu erbärmlich, verglichen mit dem, was man heute in diesen Dingern da drin hat. Es ist ein völlig anderes Gefühl. Man weiß hoffentlich immer noch, dass man nicht wirklich mit irgendetwas Intelligentem spricht. Aber es fühlt sich deutlich anders an, als diese sehr schnell an ihre Grenzen stoßende frühere Generation.

Marcel Weiß: Ja, absolut. Und das ist natürlich dann auch der Grund, warum man jetzt auch darüber spricht. Ein Grund ist dieser Qualitätssprung, den das DNA Transformeransatz da ermöglicht hat und der dann jetzt von OpenAI und Antropic und wir haben jetzt hier in Deutschland Alpha und vielleicht demnächst in einem oder zwei Jahren dann auch (11:20), die sich gerade neu gegründet haben und dann an neuen Modellen arbeiten. Wir reden vor allem über OpenAI, weil sie ein sehr gutes Modell da gebaut haben, aber die sind natürlich nicht die einzigen. Und warum überhaupt darüber reden, ist der Qualitätsunterschied, den wir heute feststellen können. Der andere Punkt ist, dass diese relativ leicht integriert werden können. Man kann heute als Unternehmen kann man per API direkt bei OpenAI alles benutzen. Aber wenn man zum Beispiel bei Microsoft (11:512), weil sie mit Microsoft kooperieren, kann man da jetzt über (11:57) das auch relativ leicht integrieren kann, ganz klassisch Cloud Computing, dass man dann einfach das dann noch dazunimmt haben. Google arbeitet auch daran, das anzubieten und Antropic, da sind noch Ex-OpenAI Leute zum Teil, deren Cloud Modell soll demnächst bei AWS verfügbar sein. Die haben das angekündigt, schon vor einer Weile, aber es zieht sich noch ein bisschen hin. Also da sieht man schon, dass es uf der technischen Implementationsebene ist es dann schon bei diesen leicht integrierbaren APIs da. Und der andere Punkt und da habe ich dann auch im Briefing drüber geschrieben ist natürlich, dass es auf der Interface Seite her relativ leicht auch reinzuholen ist. Klar hat man erst mal die ganz normalen Chatbots, die man benutzen kann, aber da hört es nicht auf. Das lässt sich an ganz vielen Stellen in Unternehmen, Interfaces, auch im Backend oder dem Frontend, je nachdem lassen sich da diese Sprachsynthese oder Wissenssynthese dann machen kann im Unternehmen, lassen die sich integrieren und das sind die Punkte, wo ich sehe, dass wir hier eine Technologie haben, die jetzt gefühlt auf der Überholspur in der Wirtschaft gerade ankommt.

Stefan Tilkov: Und weil wir wissen, dass wir Hörerinnen und Hörer haben, die bei der Idee der API, Daten irgendjemandem zu geben, der als verdächtige Krake auf der anderen Seite eines großen Meeres sitzt. Es gibt natürlich auch Bestrebungen, das ganze lokal verfügbar zu machen. Es gibt diverse Open Source Modelle, es gibt diverse Projekte, die zurzeit auch sehr viel experimentieren, die mehr oder weniger hoch qualitativ was erlauben, das ganze lokal zu machen. Es gibt Mischlösungen, Hybridlösungen, was man sich so vorstellen kann. Und das wird sicherlich auch in näherer Zukunft noch eine sehr große Rolle spielen. Diese ganze Thematik, welche Daten gebe ich denn wem, unter welchen Bedingungen, unter welchen Nutzungsbedingungen, mit welchen Sicherheitsaspeken, mit welchen Bedenken? Was damit passiert, ist natürlich ein ganz wesentliches Element, wenn man sich überlegt, was man mit den Modellen anfangen kann. Sollen wir vielleicht mal ein bisschen über über Anwendungsmöglichkeiten sprechen und damit mal starten?

Marcel Weiß: Ja, können wir sehr gerne machen. Ein Punkt noch kurz zu den, wenn man über On Premise spricht, da passiert jetzt gerade sehr viel, auch was Datensätze zum Beispiel angeht. Da braucht man auch immer, dass wenn man zum Beispiel auch was selbst bauen will, da gibt es zum Beispiel auch schon die ersten Open Source Datensätze, wenn man seine eigene Foundation Model bauen will. Aber man muss dabei auch da dazusagen, dass man da hier auch schon genau dann auch hingucken muss, wenn man das umsetzen will, dass man auch dann auch auf die Bausteine setzt, die auch die entsprechenden Lizenzen mitbringen. Es gibt auch einige Open Source Modelle, die dann in Non-Commercial sind, also alles was zum Beispiel von Meta kommt, von der Facebook Mutter, die machen relativ viel. Alle Derivate die davon sind, erben die Lizenz und da muss man immer ein bisschen aufpassen. Aber grundsätzlich passiert an der Open Source Front unglaublich viel und da glaube ich, dass man da wirklich, wenn man da mit Leuten zusammenarbeitet, die da die Expertise dann mitbringen im Feld, da kann man, mittlerweile schon einiges an der Stelle einfach auch sehr datensicher machen, wenn man sagt: Wir brauchen das On Premise, aus welchen Gründen auch immer.

Stefan Tilkov: Ja, ich denke, wir werden die Fragen ganz am Ende noch mal aufnehmen, was die ethischen Aspekte angeht. Auch aus der Sicht ist das Open Source Thema natürlich ein sehr relevant ist. Wenn wir mal das Transparenzthema oder das Offenheitsthema überhaupt zu wissen, was da ins Training eingeflossen ist, ist eine sehr kritische Sache. Und das ist gerade den bei Marktführern und Platzhirschen alles andere als transparent. OpenAI könnte weniger open kaum sein. Das war mal anders gedacht, aber hat sich leider komplett anders entwickelt. Anwendungsmöglichkeiten?

Marcel Weiß: Genau. Wir haben uns verschiedene Dinge im Briefing angeschaut und darüber gesprochen. Ihr habt da auch Expertise dann drin. Larissa von euch hat er da auch einiges, er beschäftigt sich schon lange damit. Es gibt ganz verschiedene Richtungen, die man gehen kann. Ich zähle es mal kurz auf, was Larissa, in welche Richtung, was sie da angesprochen hat. Ich habe mich dann ganz konkret auch noch mit den Branchen beschäftigt, wo man das einsetzen kann. Aber das kann wirklich in die Richtung gehen. Es kann Innovation, Wettbewerbsvorteile geben, das heißt, dass das wirklich ein ganz konkretes, genuines Produktmerkmal ist. Ganz klassisch Effizienz und Kostenvorteile. Da haben wir die Chatbot im Kundendienst, die man da einsetzen kann. Da würde ich an der Stelle immer sagen, dass man da sehr vorsichtig sein muss, wie man das einsetzt, dass man sich da nicht die eigene Marke kaputt macht, wenn man hier die Kosten einspart. Deswegen sage ich an vielen Stellen, dass es sinnvoll ist, vielleicht nicht Large Language Models oder andere Machine Learning Ansätze zu nutzen, um etwas komplett zu automatisieren, sondern vielleicht das, was die Mitarbeiterinnen machen zu argumentieren. Das heißt, dass die dann vielleicht auch noch mal drüber schauen oder dass denen einfach Tools und Werkzeug an die Hand gegeben werden, wo sie ihre Arbeit einfach schneller erledigen können. Das kann auch schon eine massive Effizienz bedeuten und Kostenvorteile bedeuten, ohne dass man da dann am eigenen Brand, an der eigenen Marke dann vielleicht kratzt, weil man da ein bisschen zu viel an einer Stelle eingespart hat. Und es gibt ganz viele Richtungen, neue Einnahmequellen, Skalierbarkeit usw, was da auch Larissa dann im Briefing dann auch geschrieben hat. Das Interessante, was ich an dieser Technologie auch finde ist, dass man auch, selbst wenn man sich intensiv über Monate, Monate ist jetzt keine lange Zeit, aber sich sehr intensiv damit beschäftigt. Man stößt immer wieder auf ganz neue Richtungen, in die man das denken kann, wo man das einsetzen kann, weil es wirklich an das Fundament der menschlichen Zusammenarbeit oder Interaktion geht, also Sprache, Wissen. Und da kannst du an ganz vielen Stellen auch als Unternehmen, da muss man sich erst mal auch die eigenen Prozesse oder das eigene Produkt oder die Merkmale anschauen, was man macht, um herauszufinden und das auch dann vielleicht auch in seine Bestandteile zerlegen um mal sehen zu können, wo man mit dieser Technologie ansetzen kann. Und das ist schon auch intellektuell ganz spannend, sich damit zu beschäftigen.

Stefan Tilkov: Ja, was ich tatsächlich am interessantesten finde, ist die richtigen Grenzen zu finden. Ich denke, da experimentieren wir alle noch im Moment stark mit. Es gibt immer bei so einem Hype natürlich einen enormen Drang. Oder es gibt eine Menge Leute, die erst mal erzählen, das verändert jetzt alles, alles wird anders. Ab sofort gibt es nur noch das. Wir werden alle unsere Jobs los. Oder gerade Knowledge Worker passiert jetzt das, was früher Fabrikarbeitern passiert ist. Und ich finde es immer ganz schwierig, den richtigen Grat zu finden zwischen Begeisterung und Realismus. Weder das eine noch das andere abzudriften, wieder dem Hype zu erliegen und lauter Sachen zu glauben, die einfach totaler Quatsch sind. Und da gibt es sehr viele Dinge, die behauptet werden, die totaler Quatsch sind. Genauso wie das völlig kleinzureden und zu sagen, das ist alles nur nutzloser Mist. Es hat eine bestimmte Menge an Einsatzbereiche und ich glaube, du hast das mehrfach schon erwähnt und das unterschreibe ich zu 100%, das ist eben das Thema Sprache. Natürliche Sprache ist genau dieser Sweet Spot, wo das eine Rolle spielt. Und das tut es eben bei wahnsinnig vielen Dingen. Das ist interessant, es ersetzt viele andere Dinge nicht. An vielen anderen Stellen, an dem ich klassisch Daten faktenbasiert auf Basis klarer Algorithmen auswerte und irgendwas mitmache. Da werde ich einen Teufel tun und so ein LLM einsetzen, es sei denn vielleicht als Interface Schnittstelle um eine natürlich sprachliche Adaption hinzubekommen. Aber ein LLM ist für bestimmte Dinge eben gar nicht geeignet und das muss man genauso berücksichtigen.

Marcel Weiß: Ein schönes Beispiel dafür, was ich vor ein paar Tagen gesehen habe. Der IPCC-Bericht von der UN, der ist sehr faktenbasiert, wo es um die Klimakrise geht und das sind 450 Seiten.

Stefan Tilkov: Das Executive Summary.

Marcel Weiß: Das ist wirklich viel. Und das aber auch zugänglich zu machen für die Öffentlichkeit oder auch für Journalistinnen um das nutzen zu können, das werden wir in die Links packen, das suche ich mal raus. Ich weiß nicht, ob das eine Universität gemacht hat oder wer das gemacht hat. Das wurde einfach ein Modell eingespeist. Und da kann man dann so Fragen stellen und dann und da hat man die Basis, das ist ein faktenbasierter Bericht oder eine Datenmenge und das und Large Language Model gibt dir dann einfach einen neuen Zugang. Der für die Nutzerinnen und dann auch leichter zugänglich dann auch sein kann, weil er noch mal eine ganz andere Art von Zugang dann da bereitstellt.

Stefan Tilkov: Ja, wobei wir wahrscheinlich auch da sagen müssen, wie bei allem anderen. Man sollte den Dingen nicht einfach einfach glauben, was sie sagen, sondern alles was kommt, kritisch lesen und prüfen und schauen, wo das herkommt. Und das kennen wir auch. Wir hatten neulich in der internen Chat Diskussion begriffliche Diskussionen, ob es halluzinieren, fabulieren oder konfabulieren ist. Ich glaube, im Konsens war es konfabulieren, aber dass das der psychologische Begriff ist dafür, wenn man etwas nicht mehr erinnert oder nicht mehr weiß. Die fehlende Erinnerung, die fehlenden Fakten durch das Erfinden von Dingen, die plausibel sind, unbewusst ergänzt. Das ist schon eine ganz gute Beschreibung für das, was die LLMs durchaus auch machen können. Und das hat jeder schon einmal erlebt. Wenn man mit ChatGPT zum Beispiel spricht und das behauptet irgendwas und man sagt: Nein, nein, das stimmt gar nicht, dann ist das auch sehr schnell bereit, darauf einzugehen und zu sagen: Oh, Entschuldigung, du hast völlig recht. Das ist das genaue Gegenteil von dem, was ich gerade gesagt habe. Ich bestreite das nicht, ich glaube, dass es eine große Rolle spielt, was da drin ist. Man muss halt ein bisschen vorsichtig sein, wie man damit umgeht und wofür man es nutzt und wie man es nutzt. Ich glaube, ein enorm interessanter Bereich ist das Vermischen dieser Ansätze, wie immer eigentlich. Und es kommt irgendwas tolles Neues raus. Und dieses tolle Neue ersetzt nicht 100% von dem was da ist, sondern es ergänzt das Bestehende mit neuen Fähigkeiten, mit neuen Dingen, die wir vorher nicht konnten. Und das ist definitiv so. Wir können jetzt Dinge, die wir vorher nicht konnten und mit wir meine ich nicht nur Google, Microsoft, Facebook, wen auch immer, sondern wir Entwicklerinnen, Entwickler, Unternehmen, Wirtschaftsorganisationen können jetzt das nutzen, um bestimmte Dinge zu machen, die man vorher nicht tun konnte. Und das ist genau dann interessant, wenn man kluge Wege zur Kombination findet. Zum Beispiel natürlich sprachliche Dinge mit einer Abfrage in Richtung irgendeiner Datenbank oder irgendeines Backend Systems zu kombinieren. Wir haben diverse Ansätze angeguckt, zum Beispiel das LLM zu benutzen, um eine Abfrage zu formulieren, die man an ein anderes System schickt, das eine Antwort liefert, die man zusammen mit dem Kontext dann benutzt, um die nächste Antwort vom LLM generieren zu lassen. Das ist ein schöner Misch Use Case und Hybrid Use Case, bei dem man eben sehr tolle Ergebnisse produzieren kann.

Marcel Weiß: Ja, absolut. Es ist auch schon wichtig, wenn man sich das anschaut, dass man aufpasst, dass man nicht in dieser Anthropomorphisierung dann auch reinfällt, dass man dem irgendetwas zuspricht, was da in dieser Art von Modellen einfach nicht da sein kann. Und zusätzlich finde ich es auch ganz interessant, dass natürlich auch ganz vieles von diesen Dingen einfach Interface Entscheidungen sind, also nicht zwingend auch an der Technologie hängen. OpenAI hat zum Beispiel die Entscheidung getroffen, nicht auf den Kontext hinzuweisen, aus dem das Modell jetzt seine Antwort generiert. Das kann man dann auch zum Beispiel, wenn man sagt: Das LLM baut man intern oder in welcher Art auch immer für ein Unternehmen, kann man sich auch darüber Gedanken machen in der Umsetzung, wie dann das Ergebnis auch dargestellt wird, wie dann der Nutzer oder die Nutzerin, wie du schon sagst, das auch überprüfen kann. Da kann man auch im Interface dann entsprechend abbilden. Wie Perplexity AI zum Beispiel macht, dass es eine Suchmaschine ist, die auf der einen Seite den Bing Index hat und auf der anderen Seite GPT-3 und GPT-4 verzahnt hat und darüber laufen lässt und das erstellen lässt, um dann das Ergebnis immer mit Fußnoten versetzt. Und wenn man dann seine 5, 6, 7, 8 Links als Fußnoten und man kann dann zu jedem Satz und jeder Aussage dann auch schauen: Da hat das Modell diese Antwort heraus generiert, diese Synthese erzeugt. Und da kann ich jetzt schauen: Stimmt das überhaupt oder hat es das völlig falsch verstanden, was auf dieser Webseite stand? Und das lässt sich auch genauso analog auch intern oder extern für den jeweiligen Einsatz für so ein Modell übersetzen.

Stefan Tilkov: Ja, ich glaube, es war aus vielerlei Hinsicht interessant. Das eine, du hast es schon mit dem Bing Beispiel erwähnt. Das Tolle daran ist, dass es auch tatsächlich URLs sind und nicht nur Dinge, die wie plausible URLs aussehen, wie es bei ChatGPT durchaus passieren kann. Das ist die erste große Sache dabei. Und ich denke, dass diese Transparenz darüber, was da drin ist, ein ganz wesentliches Element ist. Was ich auch sagen sollte, dass man sich auch sehr genau überlegen kann, wer die Zielgruppe ist, die man da bedient. Es wird zum Beispiel sehr unterschiedlich vom Interface her gestaltet werden, wenn man eine interne Anwendung macht, die im Backoffice genutzt wird, um vielleicht kundenbezogene Anfragen zu beantworten, durch einen Menschen, der sich Hilfe holt von so einem Modell versus eine Integration in einen End User System. Zum Beispiel eine Website, ein E-Commerce System, was auch immer das sein soll, das direkt mit dem Endkunden spricht. Ganz andere Herangehensweise und ganz andere Chancen und Risiken, die da drin sind. Und das muss man auch entsprechend unterschiedlich angehen.

Marcel Weiß: Genau. Das hatte ich vorhin schon gesagt, dass haben wir auch im Briefing darübergeschrieben und dass es nicht einfach nur bei diesem einen Satz bleibt. Und da haben wir darüber gesprochen bei Interfaces einfach nur um die Chatbots geht, sondern dass es darüber hinaus geht. Das war ganz interessant, als wir da im Februar angefangen haben, intern darüber zu sprechen. Da hatte ich das angesprochen, dass es nicht einfach über Chatbot da aufhört, sondern dass diese Interaktion mit dieser Technologie an ganz vielen verschiedenen Stellen eingebaut werden kann. Und mittlerweile haben sie das auch herausgebracht. Ein Beispiel, was ich damals hatte, war Adobe Firefly, dass Adobe eine Narrative KI in jedes Kontextmenü als Eingabefeld reingesetzt hat und man dann Dinge erzeugen kann. Und das Interessante, was ich da an der Stelle aber auch finde und das hatte ich dann auch hier im Briefing bei Einsatzmöglichkeiten beim Mittelstand dann auch ein bisschen angedeutet ist, dass es ganz viele Implikationen hat, dass es zum Beispiel, wenn man das schafft, das gut umzusetzen kann, zum Beispiel auch die Software in den Unternehmen benutzt, Alles, was Intranet ist, über generative KI, auch sehr viel nachsichtiger sein, was die Fehler angeht, bzw was das Wissen angeht, wie man wie man das benutzt, sodass zum Beispiel auch Trainingskosten vielleicht auch geringer ausfallen können. Oder dass man das versteckte Vorher-Funktionen, die in einem Sub-Sub-Sub-Menü in der Intranet Software versteckt war, weil sie leichter auffindbar sind. Eine ganz spezielle Funktion. Da gibt es ganz viele Dinge, die Potenziale da die ganz viele verschiedene Richtungen haben.

Stefan Tilkov: Worüber sollen wir noch sprechen? Wir können nicht ich das ganze Briefing vorlesen. Ich packe am Ende ein Link rein. Es ist kostenlos, man kann man sich gerne runterladen, das alles lesen, was da an Ergüssen von dir und mir sind.

Marcel Weiß: Ich rede nur die ganze Zeit darüber, weil ich finde, dass es ganz gut geworden ist.

Stefan Tilkov: Ich finde das auch. Ich bin sehr stolz drauf. Auf alle Beteiligten. Ich habe nur eine Seite beigesteuert. Ich darf extra stolz sein, weil ich es nicht auf mich selbst bin. Man darf auf sich selbst stolz sein, selbstverständlich. Ich finde, es ist echt cool geworden. Es richtet sich so ein bisschen an diese Schnittstelle zwischen Entscheiderin und Technologiin. Eine hält das andere, das passt glaube ich ganz cool. Und dafür ist es glaube ich, eine echt coole Ressource geworden. Vielleicht können wir kurz noch erwähnen, was es noch sonst so alles drinsteht. Ein Punkt, den ich sehr interessant fand, den Larissa beigesteuert hat, wie man die unterschiedlichen Arten der Anpassung, des Customizings der Integration. So ein ChatGPT ist nett als generisches allgemeines Werkzeug um mit so einem Modell und generischen Foundation Model zu interagieren. Aber das ist natürlich nicht das, was man braucht, wenn man als Unternehmen jetzt irgendwas damit spezifisch machen möchte. Dann braucht man irgendwelche Mittel des Finetunings, das ist so ein Thema, was drin ist. Was haben wir noch dabei? Über die verschiedenen Modelle des Hostings, API, On Premise, darüber wird gesprochen. Was ich auch noch interessant finde, ist das gesamte Thema Ethik. Diese ganzen nicht-technischen Aspekte, die da drin sind und die sind immer wichtig, aber hier stoßen sie einem noch einmal mehr auf. Sollen wir darüber noch ein bisschen sprechen, sollen wir da ein bisschen Zeit investieren?

Marcel Weiß: Ja, sollten wir auf jeden Fall. Isabel Bär hat da im Briefing darübergeschrieben. Die hat bei euch schon viele Artikel auch zu dem Thema geschrieben, wo wir auch gut anknüpfen konnten, wo sie das dann noch mal aufnehmen konnte und zum Teil vertiefen konnte. Es gibt verschiedene Themen. Natürlich sind auf der einen Seite ein paar Sachen regulatorisch unklar, was Datenschutz auch hier in Europa angeht, an manchen Stellen je von Modell zu Modell unterschiedlich, wo es auch gerade natürlich auch ein paar Gesetzgebungsverfahren gibt. Auf EU-Ebene mit dem AI Act, der irgendwann kommen wird und noch nicht ganz klar ist, wie der ausgestaltet sein wird. Wobei ich an der Stelle dann auch dazu noch sagen würde, da hat dann auch gleich OpenAI kurz gedroht: Na dann ziehen wir uns aus Europa zurück, was sie dann ein paar Tage wieder zurückgezogen haben, wo ich dann bei mir darübergeschrieben habe, dass ich das für eine vergleichsweise leere Drohung halte. Wenn sich selbst eine OpenAI sich zurückzieht, würde zum Beispiel an der Stelle auch Microsoft, würde die OpenAI, APIs niemals aus Europa rausnehmen, weil das für sie ein Wettbewerbsvorteil gegen AWS darstellt. Und die würden dann einfach alles in Bewegung setzen, um dann entsprechend hierzulande die Regularien dann zu erfüllen. Und zusätzlich kommt auch noch dazu, wenn man On Premise etwas entsprechend umsetzen kann, ist dann auch noch mal entsprechend anders. Aber worüber Isabel auch gesprochen hat, ist natürlich, dass hier noch mal neue Herausforderungen sind, auch was Security angeht, weil diese LLMs natürlich emergente Eigenschaften haben und das sehr viel schwerer dann auch in bestehende Security Paradigmen reinzubringen bzw man sich neue Gedanken machen muss, wie man dem als Unternehmen dann begegnet, wenn man es einsetzt.

Stefan Tilkov: Ja. Und ich denke, dass ist ein. Es gibt das allgemeine, gesellschaftlich, ethisch, moralisch, philosophische Thema. Das finde ich auch überaus interessant, spannend und auch darüber könnte ich ohne Probleme zwei Stunden sprechen. Aber das ist eigentlich eine weltanschauliche Frage. Wenn ich mir jetzt mal sage, dass man sich überlegen will, was könnte ich jetzt relativ konkret damit machen, unter welchen Bedingungen kann ich das tun? Dann ist es aber auch nicht irrelevant, weil es einfach Dinge gibt, die mir ansonsten furchtbar unangenehm einen Tritt in den Allerwertesten verpassen können. Sei es, weil ich gegen Regularien verstoße, sei es, weil ich gegen Datenschutzregeln verstoße, weil irgendjemand mit lizenzrechtlichen Ansprüchen auf einmal angeflogen kommt oder weil ich einen dramatischen Imageschaden habe, weil ich auf einmal mit all den negativ emergenten Eigenschaften assoziiert werde, die aus meinem LLM da ungeplant rausgekommen sind. Es gibt schon sehr gute Gründe, sich damit zu beschäftigen und sich dann sauber zu überlegen, wie man damit gut umgehen kann. Und auch da, ich habe so ein bisschen vielleicht glaube ich zu sehr an das Gute im Menschen, mich würde deine Einschätzung auch interessieren. Aber ich glaube, dass so ein bisschen dieser Effekt dazu führen wird, dass das offenere, transparentere einen Wettbewerbsvorteil haben wird und besser funktionieren wird als die geschlossenen, monopolistischen Ansätze. Es ist ein bisschen eine Hoffnung, das ist der Wunschvater des Gedankens, das kann absolut sein. Aber ein bisschen glaube ich, dass das tatsächlich im Endeffekt ähnlich besser funktionieren wird, wie das auch andere Dinge tun, wie zum Beispiel häufig Open Source Lösungen besser funktionieren als geschlossene kommerzielle Lösungen. Wenn es um Software geht, wird das hier glaube ich ähnlich sein. Teilst du das?

Marcel Weiß: Ich sehe auf jeden Fall sehr viel Potenzial in diesem ganzen Open Source Ökosystem, sehr viel spezialisierter Modelle auch voranzutreiben. Bzw die ganzen Werkzeuge, für die Spezialisierungen auch. Das sieht man jetzt schon, dass da etwas passiert. Gleichzeitig sehe ich schon auch, dass wir da vielleicht auch als Gesellschaft auch einfach die Debatte dann an der Stelle auch vorantreiben müssen. Was Isabel auch anspricht im Briefing, was ein ganz großes Thema ist, du hast diese Trainingsphase für diese Modelle und danach kommt dann die Nutzungsphase. Und wenn du in der Nutzung selbst gar nicht weißt, was auch im Training passiert ist, dann kann es sein, dass du gewisse Ungleichgewichte aus dem Trainingsset mit reinbringst, was Fairness Themen usw angeht. Und das ist natürlich dann sehr problematisch, gerade das, was du schon gesagt hast, so OpenAI, aus Wettbewerbsgründen haben sie entschieden wenig bis nichts zu sagen über das Training von GPT-4, was es für den Rest von uns bedeutet, dass wir da vor einer großen Blackbox sitzen, die viele erstaunlich gute Ergebnisse erzielt. Aber vielleicht im Einsatz, als im Unternehmen dann auch Dinge produziert, die du als Unternehmen so nicht möchtest, weil im Trainingset gewisse Minderheiten zum Beispiel nicht vertreten. Wir reden jetzt auf einem sehr hohen Level auf. Das finde ich immer sehr stark von der ganz konkreten Situation abhängig. Je nachdem, wofür du das einsetzt. Aber das ist auf jeden Fall so ein Thema, wo Offenheit es auf jeden Fall leichter macht, Dinge zu überprüfen oder zu gucken: Was ist denn da überhaupt der ganze Input, der hier eingeflossen ist? Und den analysieren wir noch mal mit dem anderen System und schauen: Haben wir da überhaupt alles drin, was wir drin haben müssen, um dann den Output zu bekommen, wie wir ihn wollen, in der Masse?

Stefan Tilkov: Ja, sehr schön. Ich denke, wir werden diesmal ganz viele Links in unsere Shownotes reinpacken. Zu dir, zu den Materialien, zum Technology Briefing selbst, dass man sich wie gesagt bei uns einfach so runterladen kann. Wir freuen uns über Kommentare. Wir werden ganz sicherlich noch den einen oder anderen Podcast zu diesem Thema oder zu unterschiedlichen Facetten dieses Themas machen. Da bin ich mir ganz sicher. Das passt nicht in eine halbe Stunde vollständig rein und ich fand auf jeden Fall unsere Zusammenarbeit äußerst angenehm und ich denke, dass was Cooles bei rausgekommen. Ich finde das Thema sehr, sehr spannend und ich bin sicher, das wird uns noch eine ganze Weile weiter beschäftigen.

Marcel Weiß: Davon gehe ich auch aus. Und ja, hat mich auch gefreut.

Stefan Tilkov: Dann danke ich dir sehr für deine Zeit, unseren Hörerinnen und Hörern für das Zuhören. Und ich sag bis zum nächsten Mal. Ciao!