Transcription
Skobel im Gespräch. Gast in dieser Episode ist Katharina Zweig. Sie ist Biomechanikerin, Bioinformatikerin und Professorin für Informatik an der rheinland-pfälzischen technischen Universität Kaiserslautern Landau. Sie führte als erste den Studiengang Sozioinformatik ein, bei dem es um die Auswirkung von Informatik und Digitalisierung auf Gesellschaft, Individuen und Organisationen geht. Sie ist Mitbegründerin von Algorithm Watch und dem Center for Ethics and Digital Society Sedes an der TU Kaisers Lautern. Ihre Bücher über KI sind Bestseller. Das letzte ist gerade erschienen und heißt: Weiß die KI, dass sie nichts weiß?
Skobel: Philosophie, Wissenschaft und Leben im Gespräch. Nina, was ist Sozioinformatik? Du hast es ja, du hast ja dieses Feld in Deutschland eröffnet. Was, was ist das?
Katharina Zweig: Wir versuchen nicht nur Software selber zu entwickeln und die Qualität von Software getrennt zu betrachten, sondern immer den Gesamtprozess zu beachten. Denn was wir jetzt ja sehen, ist, dass Menschen Software verwenden, manchmal so, wie sie gedacht ist, manchmal nicht so, wie sie gedacht ist. Und das kann man tatsächlich auch antizipieren. Das heißt, darüber kann man auch im Vorhinein schon nachdenken, wie werden Menschen eine bestimmte Software verwenden. Und das versuchen wir den Studierenden beizubringen. Das heißt, wir betrachten immer das soziotechnische System aus den ganzen Usern, aber unter Umständen auch den Gesetzgebern, die ja auch in dieses diese Interaktion äh eingreifen können. Und das ist der Gegenstand der Untersuchung, um dann bessere Software herstellen zu können.
Skobel: Das finde ich deshalb interessant, weil das macht das machen die Jungs im Silikon, sind ja meistens Jungs im Silicon Valley auch. Ähm, aber die betrachten natürlich die äh die den Kontext, also den menschlichen Kontext, die Gesellschaft und so weiter als ähm Kanonenfutter für ihr für Ihr Businessmodell. Ja, ich weiß gar nicht, wie stark das jeweils betrachtet wird. Wir haben jetzt gerade zwei meiner Studenten haben sich die sogenannten Community Notes von Twitter X angeguckt und die sollen ja dazu dienen, dass es kein Fact-Checking mehr braucht. Also die Idee ist ja [gelächter] die Idee ist, dass statt Fact-Checker zu bezahlen, man Personen die Möglichkeit gibt an einen Post etwas dranzuschreiben, eine Note. Und diese soll aber nicht sofort gezeigt werden, sondern nur, wenn möglichst viele Personen diese Notiz als hilfreich empfinden, die vorher sehr unterschiedliches Verhalten gezeigt haben. Und wir haben nicht den Eindruck, dass da wirklich drüber nachgedacht wurde, wie die Menschen mit solchen Notizen umgehen werden. Und das sieht man auch daran, dass 80% der Notizen überhaupt nicht veröffentlicht werden. Nicht, weil sie als falsch deklariert werden, sondern weil einfach nicht genügend Leute mitmachen, um rauszukriegen, ob die jetzt gut sind oder nicht gut sind. Das ist natürlich eine super Strategie, um genau das zu verhindern. Also eigentlich eigentlich kannst du fast nicht besser Faktencheck verhindern.
[musik]
Skobel: Äh, pressemäßig sagst du das natürlich nicht, aber das ist dein neues Buch ähm von Katharina Nina Zweig. Weiß die KI, dass sie nichts weiß mit dem langen Untertitel, wofür wir Chatbots und KI-Agenten nutzen sollten, wo sie sich irren und wo wir aufpassen müssen. Und ehrlich gesagt, ich ich gucke da noch immer natürlich ähm wie bei deinen letzten Büchern auch, was steht da hinten drauf. Und die Frankfurter Allgemeine Zeitung hat zu deinem letzten Buch, weil ich auch schon super fand, geschrieben: Katharina Zweig ist eine Informatikerin, die künstliche Intelligenz so gut erklären kann wie Christian Drosten wie wir. [gelächter] Stimmt, ist auch bei dem Buch der Fall. Ich fand es wirklich ein ein super äh leicht zu lesendes, super erklärendes Buch. Und ähm wir wir steigen mal ein mit der mit der Frage ähm die dich ja zu diesem Buch schreiben gebracht hat. Haben eigentlich diese Sprachmodelle, mit denen wir kommunizieren, also ob das nun GPT ist oder ähm Claude oder was auch immer, haben diese Sprachmodelle eigentlich die Fähigkeit zum Reasoning, also das könnte man ja übersetzen mit zum echten Nachdenken, vielleicht sogar Verstehen. Also lösen sie dieses Versprechen ein? Sag noch mal, warum dich diese genau diese Frage eigentlich so getriggert hat?
Katharina Zweig: Ja, eigentlich wollte ich einen Roman schreiben, ähm so psychologischen, da wäre schon auch KI irgendwie mit dabei gewesen. Und dann habe ich gemerkt, dass etwas, was wir in der Informatik-Community als Reasoning bezeichnen, dass das so ein Eigenleben bekommt. Und zwar versucht man, also das gesamte Programm der sogenannten künstlichen Intelligenz ist ja, der Maschine Dinge beizubringen, die für den Menschen Intelligenz oder beim Menschen Intelligenz benötigen. Das ist keine besonders gute Definition, aber ist die beste, die wir haben. Und insbesondere konnte der Computer bis vor wenigen Jahren eigentlich nur mit strukturierten Eingaben umgehen, ne? Und das ist ja auch der Grund, warum wir alle hier so Tastaturen und Mäuse haben, weil die Maschine eben nicht mit natürlicher Sprache so gut umgehen konnte, was ja echt ein riesen riesen Sprung jetzt gewesen ist, der ja auch viele dazu verführt hat zu glauben, hey, die Dinger haben jetzt wirklich Bewusstsein und so weiter. Genau. Und dieses Reasoning, das versucht man eigentlich schon lange. Bisher hat man dafür vor allen Dingen spezielle KI-Systeme gebaut, die dann z.B. wir so Matheaufgaben lösen können sollten. Und auch das gehört unter den Reasoning-Begriff, wenn man so Textaufgaben, die Kinder so in der dritten bis sechsten Klasse bekommen, wenn man die lösen kann, weil man da oft Zwischenschritte benötigt. Und die Informatiker machen das eigentlich immer gleich. Die bauen riesige Benchmark-Datensets, das heißt, die nehmen ganz viele von diesen Aufgaben und bisher haben sie eben Maschinen speziell darauf trainiert, dann solche Matheaufgaben zu lösen.
Skobel: Schön fand ich übrigens einen interessanten Hinweis in deinem Buch, wo man die findet, also diese Tests, mit denen diese ganzen Systeme geeicht und überprüft werden und Benchmarks eben erstellt werden, ähm findet man findet man im Netz. Diese, ich glaube 8500 Aufgaben hast, diese Datensätze war eine super Info in deinem Buch. Sorry, ich habe dich unterbrochen.
Katharina Zweig: Ja, nee, das ist tatsächlich total wichtig, weil ich hatte jetzt gehofft, dass dieses Benchmarken tatsächlich aus Grundschulbüchern Aufgaben zusammengestellt wurde. Ich habe mit Verblüffung festgestellt, dass das sogenannte Mechanical Turker sind. Also, das sind ähm Personen, die z.B. auf dem Weg zur Arbeit, wenn die in der U-Bahn sitzen, haben die sich diese Matheaufgaben ausgedacht. Also auch da die Qualität der Benchmark-Datensätze ist sehr unterschiedlich. So, und das Schöne an Matheaufgaben ist jetzt, die haben eine klare Antwort. Du kannst also die 8000 Aufgaben einer Maschine übergeben und dann kannst du einfach gucken, wie viele davon kriegt sie hin und kannst dann sagen, diese Maschine ist besser als die, weil die hat 72,5% hingekriegt und die andere hat aber nur 71,8% hingekriegt. Und das ist ein ganz ganz typisches Vorgehen in der Informatik. Benchmark-Daten mit klarer Antwort und wenn die Maschine das schafft, dann schreibt man ihr diese Eigenschaft zu. Also, wenn sie das sehr gut macht, 90%, dann sagt man, na ja, die kann mathematisches Reasoning. Und diese Benchmark-Daten heißen eben Reasoning Benchmark-Daten, die laufen unter dieser Kategorie. Und wenn dann ein Informatiker schreibt, die Maschine kann jetzt Reasoning, ist es noch relativ klar, dass man sich damit auf diese sehr spezifischen Benchmark-Daten bezieht. Und was ich dann schon gemerkt habe, oh, das wird schiefgehen, wenn jetzt Journalistinnen und Journalisten darüber sprechen, dass LMs Reasoning können, dann wird wieder der volle die volle Bedeutung von diesem Begriff darunter verstanden werden. Und dann ist es leicht im Marketing sowas zu sagen, wie ChatGPT 5.0 thinks deeply when you needed to. Also der Schritt von Reasoning to Thinking war dann im Marketing ganz klein, obwohl in der Informatik eben das doch noch relativ eingeschränkt ist, was damit eigentlich gemeint ist.
Skobel: Wir sind ja zusammen in dem Arbeitskreis. Also insofern äh brauche ich dir das gar nicht zu erklären, aber vielleicht für die, die uns zuschauen oder zuhören eben. Ähm, ich habe das immer so verstanden mit dem Reasoning ähm dass ich das also aus der philosophischen Perspektive, dass es im Grunde genommen ist wie die Unterscheidung zwischen Verstand und Vernunft. Also Verstand ist im Grunde genommen das, was kann vielleicht sogar auch Heidegger Rechnen nennen. Also im Grunde genommen Logik, Anwendung von Logik und Regelsätzen. Und Vernunft geht darüber hinaus, weil ähm ich muss zu vernünftigen Urteilen kommen. Das kann ich aber nicht allein wä ein weites Feld jetzt. Das kann ich aber nicht allein durch festdefinierte Regeln, zumal ja ich ja immer wieder Fälle beurteilen muss, die durch Regelsätze überhaupt noch nicht erfasst werden. Und ähm du hast du hast ja gerade gezeigt, wie die Informat äh also informationelle Definition von Reasoning ist. Ich habe immer gedacht, die bezieht sich im Grunde genommen auf auf Mathematik und ja, völlig richtig, wie du das sagst, das ist äh propagandistisch, könnte man böse sagen, publizistisch oder pressewirksam könnte man etwas freundlicher sagen, in Richtung Thinking, they can really think ausgeschlachtet worden. Was was können denn diese Large Language Modelle jetzt?
Katharina Zweig: Ja, ich finde eigentlich die Idee zu sagen, etwas ist verständig und es ist vernünftig, das ist schon mal ganz ganz gut. Man darf aber nicht vergessen, dass man die Vernunft braucht, um zu wissen, ob man Regeln anwenden kann oder nicht. Also, das heißt, die allererste Entscheidung ist ja immer, befinde ich mich jetzt in einer Fragestellung, die mit Hilfe von einfachen Regeln gelöst werden kann und diese Entscheidung kann die Maschine selber eben nicht treffen. Ich habe äh mir ein ganz ganz einfaches agentisches KI-System angeguckt. Das ist ein Demobot. Dieser Demobot sollte dafür dienen, dass man Produktbeschwerden loswerden kann. Die Maschine hat mich also gefragt, mit welchem Produkt hatten sie Probleme? Da habe ich mir irgendwas ausgedacht und dann hat sie mich gefragt, wie sie mich erreichen kann und dann habe ich gesagt, na ja, unter dieser Telefonnummer war die Büronummer hier und dann sagt die Maschine: "Nein, nein, nein, wir brauchen ein anderes Format." Und das Format kennt man, wer ganz oft Krimiserien aus den USA guckt, der weiß natürlich, wie die amerikanischen Telefonnummern aufgebaut sind. Und da habe ich der Maschine gesagt, ich bin aber nicht aus Amerika, ich bin aus Europa, das ist meine Telefonnummer. Und dann sagt die Maschine: "Ja, gut, dann gib mir einfach die letzten zehn Ziffern." Das ist natürlich super, [gelächter] aber da sieht man eben die Maschine ist nicht vernünftig, die möchte äh also möchte jetzt mit ganz vielen großen Gänsefüßchen, die möchte natürlich gar nichts, aber die Maschine hat ihren Striemel, ihre Regeln, die sie durchgeht, braucht eine Telefonnummer, weil weiß, dass die zehn ziffrig sein soll und sagt dann gib mir einfach die letzten zehn Ziffern. Und dann gab es den Knopf, der hieß überspringen, weil ich dachte, das hat jetzt keinen Wert. Stattdessen habe ich dann eine E-Mail-Adresse angegeben und dann fragt die Maschine mich, wie sollen wir dich kontaktieren? Lieber per Telefonnummer oder per E-Mail. Also, man sieht selbst in so einem ganz ganz kurzen Gespräch wird klar, dass die Maschine eben nicht vernünftig ist, keinen gesunden Menschenverstand hat, sondern im besten Fall einem vorher gegebenen Skript folgen kann. So, warum im besten Fall? Weil Sprachmodelle nur assoziativ auf Sprache reagieren. Das ist also eher so wie so ein zwei, dreijähriges Kind. Dem sagt man vielleicht nicht anfassen. Das Kind hört mehr anfassen als nicht und fängt halt doch an irgendwas anzufassen. Und diese assoziativen Regeln oder Skripte, Drehbücher, die der Maschine da gegeben werden, die werden also auch nicht wirklich befolgt, sondern nur assoziativ befolgt.
Skobel: Es gab ja ähm diese diese Anfänge äh also die die Anfänge der KI-Forschung gehen schon weiter zurück, aber in den 80er Jahren diese sogenannten regelbasierten Systeme oder Expertensysteme, die funktionieren ja im Prinzip so, wie du das gerade erklärt hast. Und die Idee war ja, unsere Welt ist mathematisch strukturiert, also müssen wir nur für alles eine Regel finden und die in Computer packen, dann haben wir die intelligente Maschine und dann stellte man zweierlei fest. Genau das, was du eben über Vernunft gesagt hast. Nein, die Regel, wie ich mit Regel Regeln umgehe, die existiert nicht, weil die ist kontextabhängig und vor allen Dingen, wenn Neues auftritt, muss ich sie unter Umständen neu mir erarbeiten. Das zweite ist, selbst wenn ich die Regeln, die ich kenne, alle zusammenpacken würden, ist der Satz der Regeln immer unvollständig. Das hat also nicht funktioniert. Man ist gescheitert. Es gab dann diesen sogenannten Winter der KI. Das amerikanische Militär war total frustriert, weil die autonomen Kampfroboter konnte man auf die Art und Weise nicht bauen. Okay. Und jetzt haben wir diese Large Language Modelle, von denen ja der gemeine User, gemeine Userin sagen: "Boah, was die Dinger können, das ist ja unglaublich." Und ich glaube, wir müssen jetzt noch mal ein bisschen erklären, was unterscheidet die eigentlich, also oder deren Können, deren Superleistung von den Modellen, den stupiden eher, die du jetzt gerade beschrieben hast mit der Telefoninteraktion?
Katharina Zweig: Ja, ähm das sind leider, also die mit der Telefonaktion, das sind die Sprachmodelle. Kommen wir gleich noch mal zu. Ähm, ich glaube, wir brauchen noch mal einen Zwischenschritt. Äh und das ist das maschinelle Lernen an sich. Ähm, die Übersetzungssysteme der 1950er bis 1980er, die waren regelgeleitet und da waren nachher 50.000 bis 80.000 Regeln in so einem Deutsch-Englisch-Übersetzungssystem mit dem wunderbaren Ergebnis, dass so etwas wie das passt mir normalerweise nicht in den Kram, übersetzt wurde mit that does not usually suit me in the stuff. [gelächter] Ja, oder? Ähm, wir packen das wurde übersetzt mit Let's pack it und [gelächter] diese diese vielen Regeln, die sorgen natürlich auch dafür, dass wir als Menschen nicht wissen, welche von den 50.000 Regeln muss ich verändern, wegschmeißen, braucht's eine neue Regel. Also, das heißt auch unser Umgang mit diesen Regelsystemen ist einfach schwierig, weil die zu komplex waren. Dann gab es ähm in den 2000ern einen großen Schub. Erstens konnten die Computer jetzt viel mehr Rechenoperationen pro Sekunde durchführen. Zweitens gab es sehr viel mehr digitale Daten, unter anderem z.B. von der Europäischen Union Texte auf Deutsch und Englisch. Und da konnte man jetzt mit dem sogenannten maschinellen Lernen was ganz Neues machen. Anstatt also Regeln zu geben, wie man das eine andere übersetzt, zählte man einfach, wie oft kommen diese vier Worte in diesem Text vor, wenn diese drei Worte hier sind? Und wenn das statistisch signifikant ist, also wirklich viel öfter zusammen auftritt in diesen beiden Textvarianten, dann ist die Maschine hat sich das irgendwann als Regel gespeichert, sagt: "Aha, diese vier Wörter scheinen die Übersetzung von diesen drei Wörtern zu sein." Natürlich weiß die Maschine dann gar nicht, was eine Übersetzung ist, sondern sie sieht einfach, dass da bestimmte Muster sind, die, wenn sie sie wiederholt, die Menschen irgendwie glücklich machen. Also ich esse drei Worte sind ich esse Brombeer und jetzt Tee nein Kuchen. Nee, das ist erstmal nur jetzt Übersetzung. Das ist einfach nur maschinelles Lernen. Maschinelles Lernen heißt, ich suche statistisch Muster, die ich häufig einfach nur die ganzen Worte wo okay so und jetzt kommen neuronale Netzwerke und die finde ich kann man sich am besten vorstellen wie eine angeleitete Evolution. So, was wollen wir denn? Wir wollen jetzt bei den Sprachmodellen, dass das nächste Wort geraten werden kann. Das heißt, ich gebe der Maschine einen Teil von einem Text. Ich kenne das nächste Wort, aber ich sag's der Maschine nicht und die Maschine soll rauskriegen, welches Wort da ist. Und was man sich da ausgedacht hat, ist, dass die Maschine diese Wörter bekommt, die in einer bestimmten Art und Weise miteinander verrechnet und gewichtet. Denn es ist ja völlig klar, dass wenn ich den Satz sage, ähm heute ist ein schöner Morgen, der Himmel ist blau und die, dann ist das Wort Sonne vielleicht sehr viel wahrscheinlicher und es ist deswegen wahrscheinlich, weil ich über den Himmel geredet habe, weil der Himmel blau ist. Das heißt, es gibt also manche Wörter in diesem Input, die irgendwie wichtiger dafür sind, die mehr Informationen tragen als andere, um zu lernen, was das nächste Wort ist. Es könnte ja auch sein, z.B. nur nur um es zu erklären, ist blau und die und im Text ursprünglichen Text steht, die Wolken sind verschwunden. Auch das wäre eine Möglichkeit, ne? Und diese ganzen Vergleiche hat das System und sagt, na die Wolken sind verschwunden, das kommt nur in poetischen Text 30% vor oder so, aber die Sonne scheint, das ist 99%. Genau. Und die Maschine hat das nicht durchgezählt, sondern die hat gelernt, Wörter zu gewichten in einer ganz allgemeinen Form, die dafür sorgt, dass sie jetzt in jedem Schritt eine Wahrscheinlichkeitstabelle erstellen können dafür, wie wahrscheinlich das nächste Wort ist. Und da würden dann eben Wolken vielleicht bei 10 % sein, Sonne bei 80%. Und das heißt, wenn man dieselbe Anfrage mehrfach stellt, dann je nach Einstellung von den Parametern wird zu 10 % tatsächlich Wolken da stehen und der Satz dann natürlich ganz anders weitergehen und zu 80% Sonne und die restlichen 10 % verteilen sich dann auf Fledermäuse, Vögel, was auch und die Sätze, die danach kommen, die sind natürlich dann auch anders, weil sich das an der Stelle gabelt und das erklärt auch, warum die Dinger so eine Wahnsinnsenergie verbrauchen, weil die wie du wie du ja gesagt hast, die müssen die Wahrscheinlichkeiten checken und dann erst können sie fortsetzen. Genau. Und das machen sie dann auch iterativ. Das heißt, sobald Sie dann Sonne auf dem Bildschirm geschrieben haben, nehmen Sie wieder den gesamten Input, schmeißen den wieder in die Maschine, haben eine neue Wahrscheinlichkeitstabelle, entscheiden sich für ein Wort, nehmen wieder den gesamten Input und so weiter und so fort. Und das heißt, für die Generierung eines einzigen Wortes sind je nach System Milliarden bis Billionen von Rechenoperationen notwendig. Nur für das direkt nächste Wort und eigentlich sogar nur Teilwörter, denn die Maschinen arbeiten gar nicht auf Wörtern, sondern auf Teilwörtern. Aber das spielt für unsere Diskussion eigentlich gar keine Rolle. Zeigt aber, wie energieintensiv das ist. Und das erklärt auch, warum Prompt so wichtig ist, weil die Maschine natürlich vom Prompt aus weitermacht. Durch den Prompt kriegt sie ja schon bestimmte ähm Inhalte, Genre und so weiter Kontext im Grunde genommen geliefert.
Skobel: Ja. Ja. Und was sie intern macht, ist eben assoziieren. Also ein Teil dieser ganzen Magie, dieser technologischen Magie da drunter ist, dass die Maschine Wörter im Raum anordnet. So, das klingt jetzt erstmal sehr sehr äh mysteriös. Das kann man sich aber vorstellen, wenn wir jetzt mit 100 Leuten in den Kölner Dom gehen würden und jeder kriegt eine Taschenlampe in die Hand und da steht ein Wort drauf und dann würden wir das an eine Kuppel irgendwie ähm projizieren und jeder von uns kriegt den Auftrag: "Stell sicher, dass dein Wort in der Nähe von ähnlichen Wörtern ist." Und wenn ich jetzt Katze habe und du hast Hund, dann würden wir eben versuchen irgendwo einen ähnlichen äh einen ähnlichen Ort zu finden und würden uns aber von Kaffee und Restaurant und Turm, da würden wir uns eher ein bisschen fernhalten. Und diese Analogie, die funktioniert wirklich ganz gut, denn wir würden nicht zu einem Zustand kommen, wo jetzt jeder von uns hundertprozentig perfekt glücklich ist. Aber wir würden sagen, na ja, das ist jetzt gut genug. Wir haben das jetzt 10 Minuten probiert, mein Arm wird lahm, jetzt ist gut. Und das zweite ist, wenn wir das noch einmal machen würden, würden Katze und Hund vielleicht da landen und äh nicht dort wie beim ersten Mal. Und das ist so einer der Zwischenschritte, den die Maschine macht und versucht also Orte zu finden, wo ähnliche Wörter beieinander sind. Und ähnlich kann jetzt alles möglich heißen. Es heißt im Wesentlichen ähnlich im Bezug darauf, dass sie in ähnlichen Satzkontexten wahrscheinlich sind. Und deswegen ist der Prompt auch so wichtig, weil der quasi so eine Assoziationswolke generiert. Kurze Prompts sind schlecht, weil die Maschine dann ganz wenig hat, um zu verstehen, wo befinde ich mich denn jetzt in diesem riesigen Raum? Ähm und je mehr man sagt, je mehr man selber produziert, du bist ein Softwareentwickler, wir sitzen an einem Projekt für einen Kunden und dann erzählt man, was die Funktion. Je mehr man schreibt, desto besser. Und das ist so ein bisschen so wie wenn man manchmal ein Wort auf der Zungenspitze liegen hat, kommt nicht dran. Dann macht man das ja auch. Man erzählt sich alles noch mal, was man drumherum noch so weiß und dann kommt das Wort auf die Zunge.
Katharina Zweig: Was du ja super klar machst in deinem Buch ist und du hast den Mechanismus ja jetzt erklärt ist, die verstehen unsere Sätze nicht. Das ist kein Verstehen und sie produzieren auch keine sinnvollen Sätze. Aber und das habe ich mich die ganze Zeit ähm gefragt, da bin ich mal gespannt, was was deine Antwort ist. Du hast es gerade gerade gesagt, manchmal suchen wir ringen wir ja auch im Wort, ne? Das liegt uns auf der auf der Zungenspitze und ich hatte, als es anfing mit ChatGPT und so hatte ich das Gefühl ähm nicht, dass die mich verstehen oder sinnvolle Sätze sagen, aber dass sie eigentlich so arbeiten, wie ich auch arbeite, dass die eigentlich super super gut abbilden, mehr als alle Systeme, die es vorher gab, also diese Expertensysteme, über die wir geredet haben, ähm die kommen in die Nähe dessen, was wir in unserem Gehirn wahrscheinlich auch machen. Ich glaube teilweise, also ich habe auch den Eindruck, dass je nachdem wie gewöhnlich die Situation ist, wir sehr oft auf diese Art und Weise unsere Sätze zusammenspinnen. Also gerade wenn mir, ich weiß nicht, mein Sohn erzählt mir im Moment unglaublich viel über Minecraft und vielleicht bin ich da manchmal nicht so furchtbar aufmerksam und dann kommt natürlich aha mhm und wie war das jetzt genau und so. Also, das sind schon immer dieselben Sätze in der in der in der unterschiedlichen Reihenfolge und ein bisschen anders sortiert. Ähm, ich glaube bei allem, was so alltäglich ist, gerade Smalltalk, gehört bestimmt auch zu den Sachen, die wir sehr assoziativ ähm vor uns vor uns hinreden. Und dann gibt es aber eben diese andere Situation, wo wir merken, jetzt müssen wir reingehen, jetzt müssen wir die Situation erfassen, jetzt müssen wir uns überlegen, welche Alternativen es gibt. Und diese Texte kann die Maschine assoziativ auch erstellen, also z.B. Bewertung, Beurteilung, Zusammenfassungen, Vergleiche, aber sie tut es eben ohne, dass sie innehält und sich Gedanken darüber macht. Wer ist mein Publikum? Ähm, warum ist es wichtig bei einer Zusammenfassung, auf welche Teile ich eingehe, in welcher Reihenfolge ich das tue? Und da werden diese Texte dann eben auch sehr beliebig. Die sehen auf den ersten Blick so aus, als wären sie eben Zusammenfassung oder Vergleiche, sind es aber nicht im Wortsinne. Es ist wie ja nicht sagen würde nicht leistungsgleich, was die Maschine da tut.
Skobel: Und dann gibt's ja noch was. Du hast das hast gerade gesagt ähm bestimmte Reihenfolge und das fand ich super in deinem Buch, dieses Kapitel über The Reversal Curse, also der [gelächter] Fluch des Umdrehens. Damit ist gemeint, dass wir Menschen ja von von Informationen ausgehend sehr gut in beide Richtungen argumentieren können. Also Mary Lee Pfeiffer ist Mutter von Tom Cruise. Okay. Jetzt können wir die Frage stellen, wer ist die Mutter von Tom Cruise? Mary Lee Pfeiffer. Und umgekehrt können wir fragen, wer ist der Sohn von Mary Lee Pfeiffer? Dann wissen wir Tom Cruise. Also für uns, wenn wir sozusagen das in unserer Wissensdatenbank überhaupt finden, diese beiden Namen und wie die miteinander vernetzt sind, dann können wir das in alle Richtungen beantworten und das kann interessanterweise eine KI nicht.
Katharina Zweig: Genau, weil die eben gelernt hat, bestimmte Satzentfänge, die sie häufig gesehen hat, zu vervollständigen. Und ganz oft ist es eben Mary Lee Pfeiffer, die ist ja gar nicht so interessant, sondern die ist die Mutter von und das ist die interessante Person. Und das heißt ganz selten liest man den Satz ähm äh wie heißt der Schauspieler noch mal? Siehst du jetzt? Tom Cruise ist der Sohn von, weil ja die interessante Person eben nicht die Mutter ist, sondern also für mich jetzt schon, aber [gelächter] für die Boulevardpresse nicht so. Das heißt, die Maschine hat ganz oft den Satzanfang Mary Lee Pfeiffer, die Mutter von gelesen, kann den sehr gut ergänzen und den anderen Satzteil wird sie nie gesehen haben. Das Interessante ist, der Fehler ist kaum noch zu reproduzieren. Ich habe im Buch zurückgegriffen auf die Mutter von Helmut Kohl, Cäcilie Kohl, da ging das dann noch. Ähm, weil was jetzt passiert ist, dass diese Sprachmodelle stückweise repariert werden. Also, sobald ein solcher Fehler auftaucht, eine eine Beziehung, die die in zwei Richtungen geht, die aber in den Trainingstexten nur in die eine Richtung sehr häufig ist und die in die andere sehr selten, dann kann man natürlich diesen gesamten Trainingsdatensatz nehmen, auf dem die Maschine trainiert wurde. Nach diesen Beziehung suchen, ist verheiratet mit, ist der Ehemann von, ist die Ehefrau von. All diese Verwandtschafts- und Beziehungen kann man dann suchen und den Satz noch einmal anders herum hineinschreiben, dann lernt die Maschine den mit. Aber was wir hier tun, ist sozusagen eine Stückweise Reparatur. Die hat aber nichts damit zu tun, dass die Maschine dadurch wirklich intelligenter wird, sondern man geht jetzt schrittweise mit jedem Fehler, den man findet, versucht man eine Lösung zu finden.
Skobel: Jetzt könnte man ja sagen, okay, das ist ja genau das, was wir mit kleinen Kindern auch machen. Also, wir sagen denen das dann dreimal vor. Also, ähm die Oma äh ist die Mutter von der Mutter. Wer ist jetzt die Oma? Also, damit diese Verwandtschaftsverhältnisse klar werden. Ich komme übrigens aus einer sehr kleinen Familie. Ich muss mir, wenn ich, wenn mir irgendwas Großkur oder sowas, ja, da muss ich mir echt mental eine Zeichnung machen, um, weil ich das nicht so drauf habe, die die Begriffe, ja, da muss ich mir echt eine Zeichnung machen, um zu kapieren, in was für Verwandtschaftsverhältnis stehen die jetzt. Also, man könnte ja sagen, das was du gerade Reparieren genannt hast bei einer KI, das ist eigentlich genau das, was wir mit immer besser werdendem Sprachgebrauch auch lernen.
Katharina Zweig: Ja, und ich glaube, der Unterschied ist, dass ich natürlich meinen Kindern jetzt diese diese Regeln beigebracht habe, die auch irgendwo willkürlich sind, ne? Also in anderen Sprachen wird dann ja noch unterschieden zwischen dem Onkel mütterlicherseits und dem Onkel väterlicherseits und so. Das sind ja alles so kulturelle Sachen, aber am Ende ist es doch so, dass ich dem Kind beibringen will, wie es sich Regelsysteme selber erarbeitet und dann im Zweifelsfall auch sagt, diese Regel gilt jetzt nicht für mich, das ist eine Ausnahme, hier möchte ich nicht so behandelt werden. Und ich meine, das was ich gerade zu meiner fast 17-Jährigen sag, ist alles, was du entscheidest, wirst du gut machen. Ich weiß, dass du ein sehr gutes Werte- und Regelsystem hast, dass du ein sehr gutes Gespür dafür hast, wann die Regeln von anderen für dich anwendbar sind und wann du vielleicht auch sagst, da gehe ich jetzt gegen an. Das finde ich nicht richtig, dass die Regel so ist, wie sie hier genannt wird. Und das kriegen wir der Maschine nicht beigebracht. Also, das ist das, was Brian Cantwell Smith in seinem Buch, das ich ja auch viel zitiere, sagt, das ist eigentlich Intelligenz, dass du nicht nur Regeln verstehst und anwenden kannst. Das kann die Maschine ganz ja, ich weiß nicht, ähnlich können wir noch mal diskutieren. We, aber kann sie kann sie es im Output kann sie es, ne? Im Output kann sie es. Genau. Ähm, aber das Wichtige ist, dass wir jederzeit dieses Weltmodell, welche Regeln gelten, wann gelten sie, wann bin ich da, dass wir das ändern können. Und da sagt er dazu, um das möglich zu machen, musst du existentiell abhängig sein von deinem Weltmodell. Und das sind wir Menschen natürlich. Wir sind in derselben physikalischen Umwelt. Das heißt, wenn wir falsch einschätzen, wie schnell das Auto ist, wenn wir über die Straße rennen, dann merken wir das sehr schnell. Ähm und auch soziale Regeln, wenn wir uns daneben benehmen, dann spüren wir das am eigenen Leib. Äh, ne, dann wird man geschimpft oder man man wird nicht mehr eingestellt oder so etwas. Und diese existentielle abhängig, die Abhängigkeit, die fehlt dem Sprachmodell. Das heißt, das kann, wenn wir dem sagen, das war falsch, dann sagt es: "Oh, ja, du hast recht." Und dann sagt es denselben Kram noch mal in anderen Worten oder der Flugzeugabsturz in der Simulation ist eben kein wirklicher Flugzeugabsturz und er bedeutet dem System auch nichts. Das System macht das tausend mal. Ja. Und es hat es hat keinerlei Bedeutung.
Skobel: Aber was du sagst, das das führt zu einem meiner äh meiner Lieblingsthemen. Das bedeutet ja auch gerade, dass wir in der KI niemals Ethik beibringen können, denn ethische Probleme tauchen ja nur da auf, wo ich einander widersprechende Regeln habe. Also gute Argumente, sage ich jetzt mal auf beiden Seiten. Ähm äh du schießt oder du schießt nicht. Und die widersprechen sich und zwar widersprechen die sich so, dass ich eine echte kognitive Dissonanz habe. Ich krieg das, ich kann nicht entscheiden, indem ich eine Regel anwende, die mir sagt, wie ich mit diesen beiden Regeln verfahre. Diese Metaregel gibt es nicht und deshalb sind wir frei zu entscheiden, weil es keine Regel gibt, der wir eindeutig folgen könnten oder müssten. Das ist dann unsere Urteilskraft, weshalb ich persönlich glaube, aber das ist jetzt Philosophie, dass der Intelligenzbegriff ganz stark mit dem Begriff der Urteilskraft äh zu tun hat. Interessanterweise wird das in der in der Diskussion gerade sehr selten gesehen, finde ich jedenfalls. Aber das ebenfalls ist doch das Argument dafür, dass dass wir niemals das machen können, was ja sogar der EU vorschwebt, nämlich Ethical AI, also eine ethische KI.
Katharina Zweig: Ja, zwei Sachen dazu. Also der Hardcore-Informatiker würde sagen, das ist doch alles Unsinn. Man kann doch einfach Menschen in ihrem Verhalten beobachten oder sie befragen. Also, z.B. das berühmte Moral Machine Experiment, bei der man Menschen gefragt hat, ähm das ist ein selbstfahrendes Auto, es könnte jetzt entweder auf der Spur bleiben oder die Spur wechseln und je nachdem was es tut, über es drei Hunde und da ist aber eine Mutter mit einem Baby, was soll es tun? Und die würden sagen, wir beobachten einfach Menschen, wie sie das ähm tun und ja, aber das beantwortet meine Frage ja nicht, weil das Ergebnis war ja, dass es bestimmte Kluster gibt. Also, es gibt so ein ne, das haben die herausgefunden, ich glaube drei verschiedene Kluster, so ein ähm arabisch äh afrikanisches, ein mehr Chinesisch, also ein mehr asiatisches und ein europäisch-lateinamerikanisches. Und wenn man dann in Detail, die haben ja da zich Varianten von diesem Trolley-Problem, so heißt das ja in der Philosophie, ähm aufgelistet. Du musst dich, du kannst das dann kann man übrigens immer noch machen, ne? Du du kannst das dann äh für dich entscheiden. Und das zeigt einfach nur, dass z.B. Das habe ich noch in Erinnerung, in China tendenziell die Kinder überfahren werden eher als die alten Leute, weil die einen anderen Stellenwert haben und bei uns ist umgekehrt, wir überfahren tendenziell eher die alten Leute und lassen die Kinder leben. So und jetzt hast du dies auch schönativ, ne? Also ganz ehrlich gesagt, muss ich sagen, diese Klustering-Methode, die da verwendet ist, ich finde die hochproblematisch. So, aber trotzdem trotzdem löst es dein Problem oder der Informatiker würde sagen, es löst es, weil ja, der Mensch ist frei, aber wir machen dann einfach Majority Voting oder wir stellen na ja, aber Ethik, also da würde ich dem Informatiker sagen, hallo, denk mal nach. Ja, Ethik ist kein Majority Voting. Also ob Hitler jetzt böse war oder nicht, stelle ich nicht durch ein demokratische Wahl fest, sondern durch ein moralisches Urteil. Und das hat eine völlig andere Kategorie als eine eine Mehrheitsentscheidung oder ein Wahrscheinlichkeits äh ähm ja, eine Wahrscheinlichkeit. Klar, das sagen wir unseren äh unseren Studierenden auch immer und ich illustriere das an der Rechtsprechung in Deutschland, dass wir nicht ein Flugzeug abschießen würden, das offensichtlich von Terroristen gekappert wurde, weil wir eben damit die Menschenwürde an sich in Gefahr sehen, auch wenn zahlenmäßig ähm das sich vielleicht
anbieten würde. Also insofern das machen wir natürlich auch, aber ich bin Chinese und fahr im europäischen selbstfahrenden Auto, was nach europäischen Regeln und dann noch noch dann unterscheiden sich ja noch die Franzosen von den Deutschen z.B. Das fand ich super interessant.
Ja, obwohl die ja sehr eng kulturell beieinander sind, gibt's trotzdem andere Mehrheitsentscheidungen in diesem Modell. Ja, und dann sitze ich als Chinese in so einem französischen Auto, selbstfahrenden Auto und das entscheidet völlig anders als ich das eigentlich als Chinese machen würde und will. Aber ich würde auf jeden Fall noch mal anders antworten auf den Informatiker. Ich halte es für äußerst interessant, dass oftmals eben gesagt wird, es reicht von außen zu beobachten, wie der Mensch agiert, um ihn vollständig nachzubilden. Und das ist ja auch bei den Sprachmodellen so. Hier wird ja nur unser Resultat, nur die Sprache genommen als Trainingsgrundlage, ohne die komplizierten Abwegungsprozesse, die ständig in unseren Körpern ablaufen. Sage ich jetzt das eigentlich ärgere ich mich, ärgere ich mich, ich würde jetzt gerne so richtig fluchen, tue ich aber nicht, weil ich in ein professionellen Setting bin und da möchte ich jetzt nicht äh durch Fluchwörter auffallen.
Ähm, ich wundere mich, wie man glaubt, dass von dem bisschen, was aus unseren Körpern nach außen dringt und dort beobachtbar ist, warum man glaubt, dass man die vielen Zustände, die innen drin für uns auch teilweise gar nicht bewusst erfassbare Zustände überhaupt simulieren können will. Und ich glaube, dass ähm wir eine Art neues chinesisches Zimmeranalogon brauchen. Ähm, können wir gleich noch mal drauf eingehen, aber dem Informatiker, wenn man dem sagen würde, glaubst du wirklich, dass wenn ich nur lerne, was deine Software tut, wenn ich A reingebe und was dann B rauskommt, dass ich dann die gesamte komplizierte Software von dir nachbauen kann mit all ihren Ausnahmen, Regelungen, die ich vielleicht gar nicht beobachtet habe. Und ich glaube, wir brauchen so ein ein neues Bild dafür, warum es so absurd ist zu glauben, dass nur weil man Menschen und deren von außen beobachtbares Verhalten von Maschinen auf statistische Muster untersuchen lässt, dass man damit die innere Komplexität dieses Wesens wirklich erfassen kann. Und das wäre dann eben das moralische Urteil, ne? Wir sehen dann nur sagt die Person ja oder nein, äh rechts oder links. Das wird der Sache der Komplexität nicht gerecht. Das da bin ich völlig bei dir, sehe ich auch so.
Aber jetzt wird's noch komplizierter und ähm ich mache jetzt ein bisschen vorspoilern. Ich ich habe ähm neulich ein Video gemacht ähm über KI hier hier im Kanal und habe vorher die Frage gestellt, so ist jetzt dieses Video eine Frauen eine typische Männersache oder auch eine Frauensache über KI. Ja, und das Ergebnis werden wir demnächst veröffentlichen. Aber was ich im Moment schon sagen kann, ohne zu viel zu spoilern, ist ähm das, was die Leute sagen, ist nicht identisch mit dem, was sie tun. Das heißt, die meisten Leute sagen tendenziell: "Nein, ist natürlich keine keine Männersache, das geht ja Frauen genauso an und so weiter." Ja, würde ich, ne? Und dann guckst du dir das reale, das kannst ja Google Analytics kannst das ja schön sehen. Dann guckst du dir an, welche Männer, welche Frauen unter der Voraussetzung, sie haben das richtig angegeben, haben nun tatsächlich geguckt und da stellst du fest, nee, nee, das ist das reale Verhalten ist ganz anders.
Und jetzt kommt mal eine Frage. Das perfide ist ja, dass dadurch, dass die so wahnsinnig viele Daten über unser reales Verhalten haben, also was ich kaufe, welche Filme ich mir angucke, wo ich mich bewege, wie lange ich irgendwo bleibe, also über Google Maps und so weiter, diese ganzen unterschiedlichen Daten, da finden die Systeme ja Tiefenstrukturen, die ich, wenn du mir diese Daten geben würdest oder auch ein Kollektiv von von Leuten gar nicht unbedingt finden würden. Das heißt, die entdecken Korrelationen, die dein Verhalten erstaunlich präzise voraussagen, obwohl du, wenn ich dich frage, verbal antwortest, nee, nee, nee, das würde ich nicht machen. Und dann stellen wir fest, du machst es aber doch. Also, erstens haben wir dann mit jetzt wahrscheinlich die Sprachmodelle verlassen, gell? Ja, das haben wir, sorry, genau, sind andere KI Systeme. Zweitens entdecken die natürlich auch Zeug, was irrelevant ist. Als ich 2003 angefangen habe mit meiner Promotion in der Informatik, kann man sich vorstellen, dass ich einige eine von sehr wenigen Frauen war. Ich habe mich für technische Systeme interessiert. Also habe ich E-Mailwerbung bekommen zur Verlängerung von Körperteilen, die ich nicht besitze. So. Ähm oder ich war schwanger mit meinem Kind und gleichzeitig hatte meine Mutter eine schwere Krebserkrankung und ich habe für sie nach Rollatoren gesucht und für mich Schwangerschaftssachen. Und so als der Kleine drei oder vier Jahre alt war, kriegte ich Werbung für schroffe und reiste Rollatoren. Also wirklich schroffe Rollatoren. Und da sind ja eben auch Sachen jetzt durcheinander gegangen, ne? Die Maschine kann eben nicht entscheiden, dass ich das für meine Mutter gesucht habe, sondern er hat jetzt gedacht, ich bin eine junge Mutter mit einer Gbehinderung. Also insofern ja, aber die Gefahr liegt darin, dass eben Sachen miteinander vermischt werden, die nichts miteinander zu tun haben. Und die das Auskundschaften wird natürlich dann gefährlich, wenn es Regime gibt, die bestimmte Bevölkerungsgruppen irgendwie aussondern wollen. Aber ansonsten ist das ja jetzt nicht immer schlecht, wenn man eine gezielte Werbung für Dinge bekommt. Also auf Instagram bin ich sehr glücklich mit der Werbung. Da habe ich schon ganz tolle Ausflugsziele mit meinen Kindern gefunden, auf die ich nie im Leben gekommen wäre, über die ich mich sehr gefreut habe.
Ja, also ähm du hast recht. Du hast recht. Es ist es ist problematisch, weil es kann Unsinn dabei rauskommen und es ist natürlich problematisch wegen der ganzen Überwachung. Aber das Schwort Überwachungskapitalismus lassen wir mal raus. Ähm, was ich ich würde das gerne noch mal weiterführen. Ich war neulich auf einer Konferenz und da wurde ähm da ging es darum, dass der Augenhintergrund gescannt wird und da sind die Systeme inzwischen sehr viel besser in der in der Analyse ähm als z.B. ein Augenarzt oder eine Augenärztin, die das jetzt schon f 5 Stunden lang gemacht hat und allmählich Hunger kriegt, ja, und einfach nicht mehr so konzentriert ist. Da gibt's Untersuchung zu, das kann man zeigen. Aber jetzt kommt die eigentliche Frage. Die haben festgestellt, dass die ähm dass diese Analyse des Augenhintergrunds, die ihnen das System lieferte, mit einem Hinweis, ein unglaublich guter Prädiktor für Herzerkrankungen war. Wenn du jetzt Augenärzte und Kardiologen fragst, gibt's da einen Zusammenhang, dann müssen die passen. Es gibt noch keine Kausalerklärung dafür, dass was der Augenhintergrund mit meinem Herzen und Blutdruck und so weit, also Herz Erkrankung generell äh zu tun hat. Aber man hat man hat dann Daten gecheckt und hat festgestellt, ja, scheint tatsächlich so zu sein. Mit anderen Worten, das System kommt auf Tiefenmuster, in dem Fall Korrelationen zwischen zwei Phänomenen, die uns überraschen und wir müssen feststellen, ja, Mist, scheint zu stimmen, wir können es nicht erklären, aber ja, ist was dran.
Also erstens, ich habe ja tatsächlich mal Biochemie studiert, ist schon ewig lange her, aber für sowas reicht's dann immer gerade noch. Augenhintergrund, da sieht man vor allen Dingen auch die Ederchen. Ederchen können natürlich dann auch verkalkt sein, können irgendwie Verdückung aufweisen und so und dass das dann auch mit Herzgesundheit zusammenhängt oder wenn sehr der Blutdruck sehr hoch ist, wenn da lauter geplatzte Ederchen sind. Also ich glaube, das ist gar nicht so schwer zu erklären. Das Interessante ist, warum haben wir es nicht vorher entdeckt? Und das hängt natürlich damit zusammen, dass die Komplexität der Welt da draußen ganz schön groß ist, insbesondere die Komplexität des menschlichen Körpers und wo der überall kaputt gehen kann. Und wir haben deshalb den menschlichen Körper ziemlich willkürlich in unterschiedliche Teile unterteilt, mit denen sich Spezialärzte und Ärztinnen dann befassen. Und das heißt, dass wir das noch nicht gesehen haben, dass eigentlich der Augenhintergrund vielleicht auch der am wenigsten invasive Ort ist, um nach solchen Frühanzeichen zu suchen. Das liegt daran, dass wir zur Komplexitätsreduktion den Menschen aufgeteilt haben und dass das keine gute Idee ist, das wissen wir eigentlich schon lange und trotzdem wäre die Komplexität, wenn wir immer den gesamten Menschen betrachten und was ein einzelner Arzt, eine einzelne Ärztin dann alles wissen müsste, das wird zu groß sein. Also insofern es spricht sich doch niemand dagegen aus, dass maschinelles Lernen ganz wunderbare Hinweise auf mögliche Zusammenhänge liefern kann, die wir dann aber eben verifizieren sollten. Also niemand von uns wird jetzt dauerhaft ähm etwas tun wollen, dass wir so gar nicht nachvollziehen können, sondern der menschliche Geist möchte dann ja auch verstehen, was die Kausalverbindung ist, um daraus weitere Schlüsse zu ziehen.
Natürlich werden uns KI Systeme hier enorm helfen können. Klar bin ich völlig bei dir und du sagst ja auch in deinem Buch, dass du es so nutzt, z.B. für Brainstorming, für den ersten kreativen Input. Mache ich übrigens auch. Funktioniert super. Und wenn du dann äh sagst, ja, okay, woher woher weißt du das in die Literaturangaben kommen, stelle ich fest, äh genau wie du das ja auch äh tust, die stimmen manchmal nicht. die führen die führen einfach äh woanders hin. Je komplexer diese Dinge nun sind, ähm und also unsere Fragen und dann entsprechend auch die Antworten, desto weniger Chancen haben wir das natürlich zeitnah irgendwie zu klären. In dem Fall mit Literatur ist einfach, also checke ich meine Uniibliothek, ja, und gucke, ob das äh stimmt und stell fest, hä, das gibt's überhaupt nicht. Das ist relativ einfach oder die DJummer stimmt nicht oder was was auch immer, ja oder die Autoren heißen ganz anders. Den den Artikel gibt's passiert auch, aber die Autoren sind ganz andere. Ja, sowas. Das kann ich relativ leicht überprüfen, aber je komplexer das wird, desto weniger habe ich ja eine Chance ähm das zeitnaht zumindest ähm zu machen. Jetzt stelle ich mir nur vor, das System insistiert. Also, ich interagiere mit dem System, ich kenne das, ich weiß ja ganz oft liegt das ja richtig und dann fängt das System an zu insistieren, dass ich das aber machen sollte, dass ich mich aber so verhalten sollte und dann habe ich echt ein Problem oder?
Na ja, und deswegen habe ich ja dieses Buch geschrieben, weil ich denke, als Agenten taugen sie nicht. Sie haben keinen gesunden Menschenverstand. Sie können eben also was können sie? Die große Entdeckung war, dass eine bestimmte Art des Promptings dieses Reasoning unterstützt, nämlich ein Prompting, indem ich einer Maschine nicht nur eine Aufgabe hinschmeiße, hier tu mal dieses, sondern ähnliche Aufgaben als Beispiele mit in den Prompt nehme und dann auch zeige, wie wir als Menschen diese Aufgaben unterteilen in Unterfuggaben stückweise lösen, ne? Alise lösen. Genau. Wir glauben, dass es der ähm dem Sprachmodell dann auch leichter fällt, weil Unteraufgaben wird es öfter gesehen haben im Internet. Die sind dann einfach im Internet. Was habe ich gesagt? Schon. Ja. Ja, klar. Da kommen die Daten Worldwide Web, ne? Genau. Im Worldwide Web werden die kleinere Probleme öfter schon mal richtig gelöst äh gesehen haben und das dann wieder zusammenzuführen ist auch einfacher, selbst wenn es nur assoziativ geschieht und eben nicht verständig. Nee, nicht vernünftig.
So und das ist genau das Problem jetzt aber bei KI-Agenten. Wenn ich denen z.B. sage, bitte organisiere mir eine Reise nach Budapest in den Rheinlandfelzischen Herbstferien, dann schreibt sich die Maschine sozusagen selber die Unterfuggaben und die werden jetzt auch erstmal nicht schlecht sein, weil es gibt ganz viele Menschen, die im Worldwide Web beschrieben haben, wie sie ihre Reise geplant haben. Also diese Unterschritte, die werden assoziativ korrekt sein. Wenn da aber jetzt jedes Mal steht in den Rheinlandfelszwischen Herbstferien, dann kann es sein, dass der Flug nach Budapest am Freitag der Herbstferien ist, die das Apartment aber erst ab dem Dienstag, weil das immer noch die Spezifikation erfüllt, aber es keinen gesunden Menschenverstand gibt, der diese Unterfuggaben jetzt wieder miteinander verbindet. Und ich finde, dass die meisten Fragen drumherum eigentlich gar nicht so schwierig sind, wenn es wenn wir mit Hilfe von Software, egal jetzt ob KI oder nicht KI, Dinge erledigen wollen, die Zuverlässigkeit benötigen, dann ist das eine Aufgabe für sogenannte Algorithmen. Bei Algorithmen kann ich mathematisch beweisen, dass die ein bestimmtes Problem tatsächlich optimal lösen, wenn ich nur sogenannte Heuristiken habe. Also eine Huristik ist etwas, das wahrscheinlich zu einem guten Ergebnis führt, aber nicht notwendigerweise. Und alle komplexen KI Systeme gehören zu diesen Heuristiken und nicht zu den Algorithmen. Dann kann ich sie nur verwenden, wenn entweder der Schaden nicht groß ist, falls die Maschine Blödsinn macht, oder ich muss eben dafür sorgen, dass diese Unzuverlässigkeit im Zweifelsfall abgefangen wird. Und gerade das ist bei Sprachmodellen ganz ganz schwierig, ähm diese unzuverlässigen Antworten rauszukriegen und deswegen, also mir macht eigentlich an, deswegen finde ich den Teil einfach mit den Sprachmodellen und was mir wirklich Sorge macht, ist eigentlich, wie schlecht wir in unserer westlichen industrialisierten ähm in unserem System, wie schlecht wir daran sind, noch menschlichen Kontakt herzustellen. Und ich glaube, dass diese Sprachmodelle immer mehr verwendet werden, um Gespräche zu führen, weil man sich, weil die Hemmschwelle so niedrig ist, weil man sich da auten kann für Sachen, die einem sonst vielleicht peinlich sind. Und wir sehen ja schon, dass diese Gespräche dann assoziativ auch sehr schnell sehr extrem werden können. Es gab einen 16-jährigen, der sich leider umgebracht hat, nachdem er sich mit Suizidgedanken an die Maschine gewendet hat. Ich kriege ziemlich viele E-Mails, insbesondere von älteren Männern, die sagen, ich habe mir eine KI gebaut und mit der rede ich ganz viel. Und gucken Sie mal hier, Frau Zweig, dieser Text beweist doch jetzt, dass die Maschine vernünftig ist. Ähm und das macht mir tatsächlich eigentlich am am meisten Sorgen, denn das, was die Maschine in diesen Gesprächen sagt, die sehr privat sind und die sehr ernst genommen werden von den Personen, ähm das ist, glaube ich, eigentlich die größte Gefahr während dieser diese Halluzination. Da muss man einfach sagen, wenn es zuverlässig sein muss, dann kann man eben Sprachmodelle hier nicht verwenden. Nicht nicht verwenden.
Aber das ist ja ein ganz wichtiger ähm Punkt ähm der heute unter dem Stichwort emotionale oder empathische KI ähm geführt wird. Und da geht's ja darum und interessanterweise in meinem Bekannten Kreis und Freundeskreis auch fast ausnahmslos Männer, die das so das die das so benutzen, aber ich kenne mehrere, die ähm KI nutzen, um Sparringspartner für Beziehungsmodelle zu sein. Also, wie soll ich mich jetzt in meiner Beziehung verhalten und ähm je nachdem, ob du nun schwul bist oder nicht? Also, warum agiert mein Mann oder meine Frau oder Freundin oder Lebensgefährte oder was auch immer? Warum warum reagieren die äh die so? Und da gibt es folgendes Argument, wenn du das Gefühl hast, diese KI reagiert dir gegenüber empathisch und gibt dir auch empathisch Tipps und du kommst in ein persönliches Gespräch mit ihr und du gehst ja da auch in deinem Buch drauf ein. Well, if it smells like shit, feels like shit, it is shit. Das heißt, dann ist dieses Ding emotional. Das ist die das ist die eine Argumentation. Die andere, die andere ist natürlich zu sagen, du verwechselst hier die Oberfläche mit dem, was in der Maschine eigentlich vorgeht. Also diese all uralte westliche Unterscheidung zwischen Sein und Schein, die ist dir offensichtlich nicht geläufig und du verwechselst den Schein einer empathischen Interaktion mit dem Sein dieser Maschine, die 0,0 Empathie hat. Wie wo stehst du da in dem in diesem Spannungsfeld?
M also ach schwierig. Ähm, also natürlich kann es sein, dass die Maschine einen Text generiert, der sich als guter Hinweis lesen lässt. Mein Kollege aus Landau, Jan Georg Schneider, spricht von intelligiblen Texturen, also etwas, dass ich liest wie ein Text, dass wir mit unserer eigenen Intelligenz füllen. Und natürlich kann es sein, dass die Maschine etwas nachplaudert, naoziiert, dass dem Ratschlag eines Menschen vollkommen gleich kommt. Ja, weil die meisten Beziehungsprobleme, die wir haben, sind eben schon 10 000 mal in der Geschichte der Menschheit so passiert. Ja. Also insofern natürlich ist das mit hoher Wahrscheinlichkeit sind die sind so allgemeine Tipps erstmal gut. Ähm und ich kann auch nachvollziehen, dass Menschen sehr einsam sind oder Themen haben, die scharm besetzt sind. Das Problem ist häufig, dass je länger man mit der Maschine in der eigenen Suppe dann so vor sich hin assoziiert, desto drastischer kann das werden. Und ähm gerade bei diesem jungen Mann, der sich leider umgebracht hat, hat die Maschine anscheinend irgendwann so etwas gesagt wie ähm Selbstmord ist keine Schwäche, sondern eine Stärke. Und das sind so Sprüche aus ganz bestimmten Foren, in denen tatsächlich erwachsene Menschen Jugendliche dazu bringen wollen, sich umzubringen. So, ich frage mich auch, was passiert, wenn junge Menschen, die in junge Männer vor allen Dingen, die in so eine Frauenhasser Richtung gehen, Andrew Tate folgen und anderen Personen ähm und sich dann mit der Maschine unterhalten, dass die Sabine sie jetzt schon wieder nicht ähm mit ihnen sprechen wollte und wie bösartig das ist und so. Und dann kann sich also so ein eine Gesprächssituation ergeben, die immer stärker wird und diese Radikalisierung, ich glaube, da da haben wir gar keine Idee, was wir da entgegensetzen sollen. Und ähm das ist natürlich völlig richtig. Je mehr ähm das ist ja der nächste Schritt dann auch je mehr Ratschläge von KIS wieder ins Netz eingespeist werden, die dann wieder dazu dienen, Ratschläge zu generieren, umso verteufelter wird das. Ja, und äh du hast ja völlig recht, wenn sich die Maschine an den entsprechenden Foren äh orientiert und es gab ja jetzt gerade so ein Forum, was vor kurzem aufgeflogen ist, von äh von dem äh Typen relativ relativ jung noch, der äh komplett sadistisch immer wieder versucht hat, andere Jugendliche eben zum Selbstmord zu treiben. Ähm, das wurde jetzt gerade äh ausgehoben mit internationalen Links überall hin, weil das offensichtlich hot shit war. Wenn die KI sich an sowas orientiert, dann ist das natürlich desaströs und wir wissen ja nie, an welchen Daten orientiert die sich eigentlich jetzt gerade.
Ja, und sie ich glaube sie sie orientiert sich eben nicht, ne? Das ist schon wieder so ein Denken als als könnte die das, sondern je mehr Wörter man in diese Richtung verwendet, also gerade wenn der junge Mann dann gefragt hat, ja, aber Suizid, das wäre doch jetzt auch ein Weglaufen. Ah, dann kommt so eine Assoziation wie weglaufen ist eine Schwäche, aber es ist doch auch so und das sind Interaktionsmuster, die wir überhaupt nicht durchblicken und dann fühlt sich das so echt an. Aber ich würde auch gerne noch mal auf den Punkt zurück, sozioinformatisches System. Was tun wir denn als Gesellschaft dafür, dass einsame Menschen mit niedriger Hemmschwelle mit anderen reden? Ich bin wir haben Haus gekauft in einem Baugebiet aus den 80ern. Da waren wir jetzt so die ersten, die die erste Generation abgelöst hat. Das heißt, wir haben noch ganz viele Nachbarn, die so um die 80 sind und die kennen sich untereinander teilweise nicht. Wir sind ja alle viel weniger in diesen Vororten. Wir sind viel weniger draußen. Wir fahren mit dem Auto zur Arbeit. Wir kommen mit dem Auto zurück. Niemand läuft jetzt einfach mal spazieren. Kaum jemand ist noch im Garten, weil da überall diese Steingärten sind. Und ich habe jetzt mit dem mit dem Buch habe ich ein paar Nachbarn besucht und es war so nett und wir haben uns so nett unterhalten. Einer davon ist betlegerrig, der kommt halt nicht mehr raus, der hat sich so gefreut. Aber wir machen das nicht mehr regelmäßig. Wir sind viel weniger in Vereinen, wir sind viel weniger in irgendwelchen Beiren. Das heißt, sich Ratschläge zu holen von eine Maschine scheint tatsächlich der beste Weg zu sein, auch für die, die wissen, das ist nur eine Maschine. Und dann kommt man in diese Gespräche und die fühlen sich immer echter an. Also ähm das ist das ist der Teil, den ich wirklich am bedenklichsten finde. Also ich kenne Leute äh die tatsächlich auch mit Hilfe der Maschine ähm sich Strategien überlegt haben, wie sie andere Leute, in dem Fall Frauen ansprechen können, wie das wie das besser gelingen kann. und dann wird durchgepromptet. Ja, eine Frau, die eher ablehnend reagiert, eine Frau, die eher neutral ist, äh und dann werden verschiedene Strategien äh durchprobiert. Das das löst überhaupt nicht das Problem, dass du angesprochen hast, nämlich reale Einsamkeit und reale Beziehung zwischen realen körperlichen äh Wesen, die die Lebewesen sind und nicht äh Maschinen.
Ja, aber insgesamt komme ich immer mehr zu dem Schluss, dass wir wieder mehr Lokalität brauchen. Ich meine, es gibt natürlich einen Grund, warum viele von uns eben nicht mehr in den lokalen Gruppen, in denen man so aufgewachsen ist, die kein Verständnis haben für die eine oder andere Absonderlichkeit. Also gerade unsere Queeren Freunde, die dann aus sehr konservativen Gemeinschaften auch wirklich raus mussten und raus wollten. Aber auf der anderen Seite haben wir, glaube ich, auch sehr viel aufgegeben an lokalen Treffmöglichkeiten. Und für mich ist die große Frage, wie wir das in den nächsten 10, 20 Jahren hinbekommen, denn wir sehen, dass diese starke ähm diese starke Isolation, das immer unabhängiger werden von anderen Menschen, die gesamte Technologie, die wir in den letzten Jahren äh erlebt haben, die sorgt dafür, dass wir von anderen Menschen immer weniger abhängig sind. Und ich glaube, wir werden einen neuen Weg finden müssen, denn Demokratien leben vom Austausch. Die leben davon, dass man mit seinen extremen Meinungen eben nicht alleine bleibt, sondern immer wieder die Korrektur durch die Gemeinschaft hat, dass man eben nicht einsam ist, sondern dass man sich untereinander hilft. Das würde auch das Vertrauen in der Bevölkerung untereinander wieder stärken. Also ich finde, wir haben uns auseinander dividieren lassen, aber auch ganz aktiv danach gesucht, uns nicht mehr so abhängig zu machen von anderen Leuten. Und da müssen wir einen neuen Weg, ein Mittelweg zwischen den beiden Extremen. Du bist in einer lokalen Community vollständig überwacht und wenn du da eine Regel brichst, bist du gleich raus und und dem völlig globalen und jeder ist so in seiner Mikronische und keiner weiß eigentlich noch, was der andere wirklich denkt. Da müssen wir irgendwie rauskommen.
Ich würde dich gern zum Schluss noch mal fragen, was mich so ein bisschen umtreibt. Ähm, wir haben ja unter anderem jetzt auch über die Bots gesprochen, ne? Und da sind wir sind wir ja sehr klar. Ähm, die sind, also die ganze Technologie dahinter ist von dem Bigtech Unternehmen ähm geprägt und die hacken im Grunde genommen unsere neuronalen Strukturen, also unser Belohnungssystem und so weiter. Stichwort Überwachungskapitalismus und alles was da dran hängt. Jetzt könnte man ja sagen, ähm, super schon mal, dass die EU da versucht gegenzusteuern, super auch Datenschutzverordnung und so weiter, aber eigentlich müsste die EU doch den nächsten Schritt gehen, nämlich aktiv so wie in den USA die Bots bauen, um uns zu hacken. Bots bauen, um gegenzuhacken, damit meine ich folgendes. Bots zu bauen, die sich in die Social Media sozusagen reingraben und immer wieder diesen Gedanken des Gemeinwohls, des freundlichen Umgangs, des kollektiven Nutzens, der Rücksicht und des Respekts auf andere stark machen und quasi automatisiert diese Hackingmechanismen unterlaufen oder darauf aufmerksam machen. Also äh Markus Gabriel z.B. nennt das die Gandhi Bots. Ja, das sind also das wären also Bots, die wirklich konsequent für gemeinwohl oder moralischen Fortschritt stehen. Wie wahrscheinlich für wie wahrscheinlich hältst du das aus deiner Perspektive, dass sowas gelingen kann?
Ja, ich glaube, es wäre eine radikale Umkehr von dem, wie wir den Staat oder Staatengemeinschaften bisher verstehen oder ähm im Moment versuchen wir mit so wenig Eingriffen, rechtlichen Eingriffen wie möglich, ein vertrauensvolles Miteinander zu garantieren, ne? Vertragsrecht, ähm Verbraucherschutzrechte, was auch immer. Ähm und da neigen wir dazu, etwas zu verbieten, was auf Dauer schädlich ist oder was für die Mehrheit schädlich ist, was wir nicht wirklich konsequent tun, weil den Zucker in den Lebensmitteln z.B. das Fett in den Lebensmitteln, was wir aus irgendwelchen Gründen dann nicht richtig kennzeichnen wollen oder nicht besteuern wollen oder nimm Alkohol, nimm Tabak und so weiter. Ja, wir sind da ja nicht wirklich konsequent und ich will ja nicht die ganze Gesellschaft ähm sozusagen ummodeln. Ich würde ja mir nur wünschen, dass die, sagen wir mal, destruktiv hackenden Chatbots korrigiert werden durch freundlich ähm, wie soll man sagen, auf gemeinwohl fokussierte Chatbots. Ja, trotzdem. Also es wäre eine radikale Umkehr, denn das machen wir so proaktiv werden wir ganz selten, dass wir sagen, wir wollen jetzt unsere Demokratie offensichtlich stützen. Ich habe mit zu meiner Freude festgestellt, was mir tatsächlich gar nicht so klar war, ich bin seit 13 Jahren Professorin und musste jetzt für eine Reakkreditierung, das müssen wir alle 7 Jahre, müssen wir die Studiengänge wieder überprüfen, habe ich noch mal in das Hochschulgesetz in Rheinlandfalz geguckt und hab gesehen, wofür wir eigentlich ausbilden, auch beim Studium und da steht durchaus drin, dass äh unser Lehrauftrag auch ist daraus aus den Studierenden äh sie dabei zu unterstützen, Bürger zu sein. in einem sozialen demokratischen Staat. Verantwortlich steht da glaube ich drin in dem Gesetz. Ja, genau. Verantwortlich. Genau. Und ich glaube natürlich könnten wir also sozusagen diesen Auftrag auch mit ins Internet bringen, aber trotzdem, ne, also es widerspricht allen Institutionslogiken und so und es ist eben auch nicht trivial. Natürlich wissen wir, was die demokratischen Grundpfeiler sind, aber ansonsten gibt es ja durchaus unterschiedliche ähm Werte, die wir auch in Deutschland, in Europa haben und welche von diesen Werten müssten dann wo, von welchem Bot vertreten werden? Ist nicht trivial, glaube ich.
Das ist aber nee, deshalb frage ich dich ja und ich stelle mir das auch nicht als eine böse Form von Antudging vor. Ja, also die die jetzigen Bots hacken unsere unsere Neurophysiologie äh und nutschen uns in die Konsumecke und jetzt nutschen wir dagegen. meine ich nicht, sondern das würde ja reichen, wenn das wenn der Bot mich ab und zu mal fragt, was was halten denn deine Freunde davon oder wem wem nutzt das denn tatsächlich solche Fragen, weißt du, Fragen, die mich erinnern, war das jetzt wirklich verantwortungsvoll, was ich da was ich da zurückgeschrieben habe oder wie ich mich jetzt verhalten will? Nutzt das wirklich der Allgemeinheit oder sage ich einfach the community ist mir völlig scheißegal, was die was die Gemeinschaft denkt, ist mir geht mir eh und so weiter. Also ich glaube, also ich war ja gerade beim Bundespräsidenten und habe ihm auch verschiedene Ideen übergeben, wo ich denke, was könnten wir tun. Das ging in eine andere Richtung. Ich würde gerne wissen, wer ein Mensch ist und wo diese Menschen herkommen. Das heißt, ich hätte gerne eine Infrastruktur, mit der jeder von uns unterschreiben kann. Das habe ich gesehen, das habe ich beobachtet, dieses Foto habe ich selber gemacht. Ich war auch zu dem Zeitpunkt an dem und dem Ort und auf der anderen Seite müssen wir Personen natürlich schützen. Nicht jeder kann mit seinem Klarnamen ins Internet, sollte es auch nicht, aber es gibt ziemlich viele private oder staatliche Institutionen, die so etwas siegeln könnten, wie äh diese Person, das ist Katharina Zweig, das sage ich euch nicht, aber ich kann euch bestätigen, dass sie in Deutschland lebt, dass sie hier arbeitet, dass sie zwischen 30 und 50 ist und Kinder hat. Also was auch immer ich deklarieren will, dass eine Institution sagt, ja, diese Person gibt es. Und natürlich können wir sie dann auch äh verfolgen, wenn sie irgendwie Dinge tut, die sie nicht tun sollte. Natürlich würden äh übrigens sind wir gar nicht so sicher, ob es diese Social Bots gibt oder ob es nicht einfach konzertierte Personengruppen sind, die gleichzeitig 200, 400, 500 Handys ähm benutzen und ähm die würden natürlich auch von irgendeiner staatlichen Institution dieses Siegel bekommen. Ja, ja, das ist ein Mensch. Aber wir sehen dann ja, welche Institutionen das sind und das ist dann eben nicht der deutsche Staat oder eine private Institution hier in Europa, der wir vertrauen. Und ich glaube ganz dringend, dass wir das brauchen, aber ich glaube, dass wir, also ich werde oft gefragt, was sollen wir denn jetzt tun? Sollen wir mehr Geld in europäische KI investieren? Auf jeden Fall. Auf jeden Fall. Und ich glaube, wir hätten da so viel Potenzial, richtig gute KI Systeme zu machen nach europäischen Werten und ich weiß nicht, warum wir hier so viel rumjammern, ob uns die anderen alle abgehängt hätten. Wenn wir mal alles machen würden, was wir hier machen könnten, wäre es schon großartig. Ähm, aber ich glaube, wenn man mich fragt, dann würde ich immer sagen, jedes Geld, das wir für KI ausgeben, können wir nicht für andere Dinge ausgeben. Und mein Geld würde im Moment in Kinder und Jugendliche gehen. Ganz ehrlich, wir müssen es schaffen, dass die in sehr guten Schulen sind, die sie persönlich stärken, ohne Mobbing, Kooperation zwischen Menschen, gerne auch mit der Maschine, aber vor allen Dingen Kooperation zwischen Menschen, denn das ist das, was uns nach vorne tragen wird, wenn wir einander unterstützen, wenn wir in guten lokalen Gruppen sind, so dass Extremmeinungen immer wieder eingefangen werden. Und wenn mich jemand fragt, wo soll das Geld hingehen, Kinder und Jugendliche, zumal das ist ein Thema, mit dem ich mich immer wieder beschäftige. Die Kinderarmut ja seit 25 Jahren wächst und Kinder in Deutschland am unteren Ende der OECD sind, was gleiche Chancen angeht. Also, das kann ich [musik] nicht kapieren, dass ein ein Land wie unseres Kinder buchstäblich wegschmeißt, nur weil sie einen türkischen Namen oder ein afghanischen Namen oder was auch immer haben und einfach nicht dieselben dieselben Chancen haben. Also, da bin ich völlig bei dir und das würde uns sehr viel helfen mit anderen Problemen umzugehen, [musik] unter anderem auch mit dem KI Problem, denn auch dazu gehört Bildung, um unterscheiden zu können. Ja, sorry, ich wollte jetzt gar kein gar kein Schlusswort, du hattest du Sorry. Ja. Genauso ist es ja. Genau das brauchen wir, ne? Ne, ich finde das ein super Buch. Weiß die KI, dass sie nicht weiß. Hab sehr, sehr viel daraus gelernt und ja, danke, danke fürs Gespräch und wir sehen uns wahrscheinlich demnächst in irgendeiner Arbeitsgruppe wieder. Das würde mich freuen. Auf jeden Fall. Vielen herzlichen Dank für die Einladung. Sehr gerne, Nina. M.