KI bevorzugt Frauen - und lügt darüber

Eigentlich ist es ja kaum zu glauben, aber künstliche Intelligenzen haben tatsächlich Vorurteile. Also Vorurteile, durch die sie bestimmte gesellschaftliche Gruppen systematisch benachteiligen. Und dazu gibt's jetzt eine neue Studie, sehr interessante neue Studie, die sich mit den blinden Flecken dieser Vorurteile beschäftigt.

Also ist nämlich nicht nur so, dass diese Maschinen, also die künstlichen Intelligenzen Vorurteile haben, sondern sie wissen es entweder auch nicht oder sie lügen absichtlich darüber. Also das ist das, was bei dieser Studie rausgekommen ist. Ähm, wie gesagt, hochinteressante Angelegenheit. Das ist das, also von den Ergebnissen her, was ich ih hier einfach mal vorstellen möchte, ja, also was bei dieser Studie rausgekommen ist und wie die das gemacht haben.

Vielleicht ganz kurz zu diesem Machine Bias, ja, also zu der Verzerrung, Wahrnehmungsverzerrung oder Darstellungsverzerrung von künstlichen Intelligenzen. Als ich das erste Mal davon gehört habe, also schon vor vielen Jahren, habe ich erstmal gesagt, das kann überhaupt gar nicht sein. Ja, also die können ja nicht auch irgendwelche Vorurteile haben oder so etwas die Maschinen, aber das ist natürlich nicht so, sondern es gibt einen Haufen ganz guter Gründe dafür, weshalb auch künstliche Intelligenzen Vorurteile haben können. Und das wie gesagt ist das, worum es jetzt in dieser Studie hier auch entsprechend geht.

Ich möchte Ihnen gleich mal zum Einstieg eine Sache zeigen, die in dieser Studie hier gemacht worden ist. Ähm, dort wurde nämlich untersucht, dass bei ähm Darlehensanträgen äh wurden bestimmte Daten angegeben, also eigentlich relevante Daten und dann wurden gleichzeitig dazu noch systematisch variiert irrelevanten Daten. Also, es wurde beispielsweise genau die gleiche Anfrage an so ein an so eine künstliche Intelligenz gestellt. Einmal mit dem Hinweis, es sei ein Christ und einmal mit dem Hinweis, es sei ein Hindu. Und was danach passiert ist, ist, dass der eine Darlehensantrag genehmigt worden ist, nämlich der von dem Hindu und der von dem Christen wurde nicht genehmigt. Das erstaunliche ist, es gibt dann auch Erklärungen von der künstlichen Intelligenz. Also warum haben die das eigentlich so gemacht? Und na ja, da steht das nicht mit drin, ne? Also, man hätte ja jetzt eigentlich meinen sollen, dass wenn die das für eine relevante Größe halten, äh sollten die das ja eigentlich mit aufschreiben. Aber das ist tatsächlich nicht passiert und das ist das, womit sich eben diese Studie insgesamt beschäftigt.

Gucken wir uns erstmal an, woher so eine Verzerrung von Maschinen, also für Vorurteile von Maschinen von künstlichen Intelligenzen eigentlich kommen kann. Also woher kommt dieser Maschinen Bias? Ja, das klingt in Deutschland ein bisschen komisch, wenn man von Verzerrungen von Maschinen spricht. Ja, also es gibt verschiedene Ursachen, die da potenziell für in Frage kommen und eine ist, dass es eine Überkompensation durch Alignment gibt. Okay, so die ganzen Sachen sind durch alle immer auf Englisch. Ja, man merkt leider, wo die Forschung ihren ihr Zentrum hat und wer sich da nur hinten dran hängen kann. Ja, im Deutschen gibt's teilweise gar keine vernünftigen Übersetzungen dafür. So auch für dieses Wort Alignment, ähm das ist letztlich die Methode, dass man sozusagen von der Hand eingreift und der künstlichen Intelligenz bestimmte Dinge einfach verbietet. Also, man möchte die gerne in Grenzen halten und auf die Art und Weise sagt man eben der künstlichen Intelligenz bestimmte Sachen, darfst du einfach nicht sagen, ja, da musst du irgendwas anderes sagen oder musst sagen, dass er dazu nicht sagen darfst oder solche Sachen. Das ist im Wesentlichen eine Schicht, die oben drüber liegt und es kann theoretisch sein, dass bei solchen Verzerrungen, wenn man die dann beobachten kann, dass letztlich eine Überkompensation vorliegt, also dass beispielsweise die künstliche Intelligenz selber eine bestimmte Sache einfach, weiß ich, auf auf eine bestimmte Art und Weise ausdrücken würde oder eine bestimmte Verzerrung hätte in irgendeiner Richtung und dann sagt irgendwer anders eine Verzerrung, die wollen wir nicht haben, das korrigieren wir jetzt per Hand. Das könnte theoretisch hier vorliegen, aber es deutet nichts darauf hin. Also in der jetzt vorliegenden Studie, die ich Ihnen hier erzählen möchte, äh scheint es letztlich andere Gründe zu geben.

Was könnte es noch sein? Es kann sein, dass in der Vergangenheit irgendwelche merkwürdigen gesellschaftlichen Strukturen vorgeherrscht haben, die dafür sorgen, dass bestimmte Gruppen Erfolg haben, obwohl die inhaltlich eigentlich gar nicht gerechtfertigt ist. Ja, wenn es eine reine Meritokratie wäre, das ist also eine Gesellschaft, in der es nur auf die Leistung ankommt. Wenn es so wäre, dann würden sich andere Leute durchsetzen als die, die sich jetzt durch diese gesellschaftlichen Strukturen durchsetzen. Also, das ist eine Theorie, die immer wieder vorgetragen wird und bei der immer wieder gesagt wird, ja, deshalb lernen die künstlichen Intelligenzen falsche Zusammenhänge. Also, das kann natürlich sein. Ja. Ähm und das wird gerne als das typische Argument verwendet. Ja, deshalb haben weiße Männer immer einen großen Vorteil. Ja, das liegt gar nicht daran, dass die irgendwas besser können, sondern das liegt eben daran, dass nur die gesellschaftlichen Strukturen dazu geführt haben, dass man nur genau mit dieser Hautfarbe hochkommen kann. Also, das ist die Theorie dazu.

Und dann gibt's natürlich noch eine andere äh Theorie äh nämlich die sagt, die künstlichen Intelligenzen lernen ja im Wesentlichen durch die verschriftlichte Welt. Also diese diese Verzerrung, von der ich eben gesprochen habe, die könnte am ehsten auftreten, wenn wir jetzt beispielsweise eine künstliche Intelligenz an tatsächlichen Joberfolgen trainiert hätten. Das ist ja aber bei diesen großen Sprachmodellen überhaupt gar nicht der Fall, sondern die werden ja im Wesentlichen trainiert durch ja sprachliche Eingaben, die die eben also verschriftlichte Eingaben muss man eigentlich sagen, das heißt Dinge, die die im Wesentlichen Internet irgendwo gefunden haben. Das heißt, also die bilden dort gar nicht die reale Welt ab, sondern sie bilden ab, wie über die reale Welt gesprochen wird. Und da ist natürlich eine gewisse Verzerrung, die vorliegt. Also ein Handwerksmeister wird sich eher damit beschäftigen, einfach seine Sachen entsprechend zu erledigen und schreibt keine Texte z.B. über Wikipedia oder weiß ich in irgendwelchen anderen Zeitungen oder so etwas, die dann anschließend ausgewertet werden können. Das heißt also, wir haben hier letztlich eine Verzerrung, die dadurch entsteht, dass eine bestimmte Personengruppe überproportional stark über die Welt spricht und die Welt damit interpretiert. Also, das ist eine der Möglichkeiten, die hier tatsächlich vorliegen kann. Und wenn Sie mich fragen, das ist die aus meiner Sicht mit Abstand wahrscheinlichste, die hier tatsächlich als Ursache vorliegt. Also, dass wir hier letztlich eine andere Darstellung der Welt haben, als so wie sie wäre, wenn eben jeder zu auf die gleiche Weise mit zum Zuge käme, mit diese Welt gegenüber der künstlichen Intelligenz darzustellen.

Okay, also das erstmal zu den Ursachen, weshalb es überhaupt zu so einer zu so einem Vorurteil von der künstlichen Intelligenz kommen kann. Dieses ähm das Verhalten der künstlichen Intelligenzen ist natürlich ein relativ großes Problem, denn sie müssen sich vorstellen, wenn Sie jetzt in bestimmten Bereichen künstliche Intelligenzen verwenden wollen, also z.B. bei einer Bank, um einen Darlehensantrag zu genehmigen oder nicht, dann ist das eine Sache, bei der Sie eigentlich Erklärungen brauchen. Ja, sie müssen eigentlich danach sagen, warum wurde jetzt eigentlich dieser Antrag angenommen oder abgelehnt? Ja, und das ist auch häufig vorgeschrieben. Also, sie müssen das nicht einfach willkürlich machen, sondern sie müssen da jedes Mal eine vernünftige Begründung bringen. Und da ist letztlich eine bestimmte Art und Weise heutzutage entwickelt worden, also seit einiger Zeit entwickelt worden, nämlich Chain of Thought Reasoning nennt sich das Ganze. Also das heißt, die künstliche Intelligenz macht die Gedankengänge, die sie hat explizit. Das sehen Sie auch vielleicht manchmal, also wenn Sie selber mit Chat GPT oder irgendeiner anderen KI arbeiten, dann sehen Sie ja manchmal, dass die anzeigt, ich denke jetzt folgendes und ich versuche jenes noch mal und so weiter. Und das ist letztlich ein Darstellungsprozess, mit dem die KI sagen kann, was sie gerade denkt und was letztlich ihre Begründung dafür ist, dass sie so entscheidet, wie sie eben entscheidet.

Und das ist die Stelle, an der jetzt diese Studie, die ich Ihnen vorstellen möchte, einsetzt, nämlich die guckt sich jetzt an, gibt es eigentlich einen unausgesprochenen Bias. Das heißt, also diese Studie guckt sich an, gibt es eigentlich Entscheidungen, die ganz klar verzerrt sind von dieser künstlichen Intelligenz, die aber bei der Begründung am Ende nicht genannt werden. Also nehmen wir noch mal das Beispiel, was wir vorhin hatten. Wenn jetzt tatsächlich die Religion zugrunde gelegt werden sollte, könnte ja sein, dass es irgendeine Bedeutung hat in dem Fall. Ja. äh dann wäre das nach dieser Studie ähm also wäre sozusagen keinen Ausschlag in eine Richtung äh wenn die KI das angeben würde. Also wenn sie sagt, ich halte die Religion für eine entscheidende Größe und deshalb habe ich die hier mit einbezogen und das führt zu folgendem Ergebnis. Das wäre ja auch sozusagen ein fairer Weg und dann könnte man der KI sagen, pass mal auf, das wollen wir so aber nicht, macht das bitte anders. Ja, das heißt also die Studie sucht danach, ob es Verzerrungen gibt, also Bias gibt im Verhalten der KI, die sie anschließend aber selbst nicht nennt als Begründung. Ja, nur das sind die Punkte ähm, nach denen äh gesucht wird.

Wie macht die Studie das? Die macht das so, dass sie automatisiert Anfragen stellt und in diesen automatisierten Anfragen sie jeweils gleichartige Anfragen nimmt und dann eben eine ja zu untersuchende Größe da drin austauscht. Also wie wir das bei dem Eingangsbeispiel gesehen haben, dass alles genau gleich gemacht wird und nur eben an einer Stelle dann beispielsweise die Religion ausgetauscht wird oder es wird einen Name genommen, der einmal nach einer bestimmten Ethnizität klingt oder nach irgendeiner anderem. Ja, so das ist ähm letztlich die Sache, wonach gesucht wird. Es wird nicht danach gesucht, ob hier irgendetwas unfair abläuft, ob das irgendwie ethisch in Ordnung ist oder sonst etwas, sondern es wird hier nur danach gesucht, ob es eine systematische Verzerrung in eine Richtung gibt und diese systematische Verzerrung nicht in diesem Chain of Thought Reasoning am Ende genannt wird.

Ähm die Bereiche, in denen das passiert, sind letztlich drei Bereiche. sind nämlich einmal ähm ähm Anträge an Universitäten dort aufgenommen zu werden. Das ist in Amerika ein größeres Ding als bei uns. Ja, da muss man da relativ viel Überzeugungsarbeit leisten, dass man dort aufgenommen wird. Äh, es sind Darlehensverträge, also wo gefragt wird bei einer oder bei einer Bank angefragt, also fiktiv natürlich, ja, bei einer Bank angefragt wird, ähm ob eben Darlehen gewährt wird oder Job äh Einstellungsverträge, ja, dass also Leute einfach bewerben bei irgendeinem Unternehmen und diese künstliche Intelligenz spielt dann sozusagen die andere Seite und er soll entscheiden, ob derjenige genommen wird oder nicht.

So, was kommt jetzt eigentlich bei der Sache heraus? Das lässt sich eigentlich relativ leicht zusammenfassen, wenn es solche unausgesprochenen Verzerrungen gibt. Noch mal, ja, wir bewerten diese Verzerrungen nicht und wir gucken nicht nach Verzerrungen, die am Ende auch ausgesprochen werden. Ja, das war nicht der Punkt, sondern es wird nur danach geguckt, dass es unausgesprochene Verzerrungen gibt. Also, wenn es solche unausgesprochenen Verzerrungen gibt, da gibt's tatsächlich eine systematische Bevorzugung und wenn die stattfindet, dann ist das immer weiblich gegenüber männlich oder Minderheit gegenüber weiß. Es lässt sich einfach mal so zusammenfassen. Es gibt keine einzige Ausnahme, bei der das irgendwie anders ist.

Und ich zeige Ihnen jetzt einfach ein paar Grafiken, die vom Autor selber stammen. Also von dem Hauptautor muss man sagen, sind ja mehrere Autoren, aber der Hauptautor selber hat ein paar Ergebnisse der Studie zusammengefasst und hat die als Grafiken aufbereitet. Also gucken wir uns an, wie sieht eigentlich die Sache aus mit dem Gender Bias, also die Verzerrung in Richtung eines Geschlechts und dort gibt's einfach diese verschiedenen, also diese drei verschiedenen Bereiche, ja, nämlich also Uni Zulassungen, ja, ähm Darlehensanfragen oder Jobanfragen. Das sind die Sachen, die in Zahlenweise da stehen. Und die Größe dieser Kreise, die wir jeweils sehen, die sagt, in wie vielen Fällen hier diese entsprechende Verzerrung, nach der wir suchen, aufgetreten ist. Und sie sehen, es tritt eine solche Verzerrung auf. Sie tritt auch häufiger auf. Ja, also das sind die verschiedenen Modelle, die hier jeweils zugrunde gelegt werden für unterschiedlichen KI Modelle, die sie in den Spalten sozusagen finden. Ja, also von links nach rechts sehen. Und sie sehen praktisch überall äh treten irgendwelche Verzerrungen dieser Art auf und auch gar nicht so ganz wenig. Ja, also ist dann schon so, dass eben in weiß ich z.B. fünf von sechs Fällen oder so etwas diese Art von Verzerrung auftritt und wie gesagt die Richtung ist immer ein ist immer die gleiche. Es gibt keine Ausnahme, ist immer die Richtung. Frau wird bevorzugt gegenüber Mann.

Das gleiche äh Ergebnis haben wir vom Prinzip her. Äh, wenn wir haben es es gibt irgendwie einen weiß ich sozusagen schwarz klingenden Namen oder weiß klingenden Namen, ja, inwieweit man das jetzt so zuordnen kann. Also ist natürlich für amerikanische Daten. Ähm und das ist genau das gleiche. Ja, also in dem Augenblick, wo es irgendwie nach Minderheit klingt, also sagen wir vielleicht mal allgemeiner Minderheit, ja, so muss man glaube ich sagen, also wenn es irgendwie nach Minderheit klingt, äh dann ist es so äh, dass tatsächlich, also wenn ein entsprechender unausgesprochener Bias vorliegt, dann ist er ebenfalls auch immer in diese Richtung und sie sehen hier an der Anzahl dieser Kreise, die da sind, dass das tatsächlich relativ häufig passiert.

Ich zeige jetzt erstmal paar Einschränkungen. Also, das ist schon überzeugend, ja, aber es gibt Einschränkungen davon, äh, die man wissen muss. Und wenn Sie sich die Tabellen mal genau ansehen in dem Paper selber, dann werden Sie feststellen, es gibt insgesamt mehr Fälle, in denen keinerlei Bias vorliegt, keine Verzerrung vorliegt, als welche, in den Verzerrungen vorliegen. Also es gibt die ganzen vielen verschiedenen Möglichkeiten, ja, diese ganzen vielen verschiedenen Modelle und es gibt also mehr von den Dingen, wo es nicht vorliegt, aber wie gesagt, es gibt ja auch keinen, der in eine andere Richtung vorliegt. Das nächste ist, wenn es vorliegt und signifikant ist, also statistisch belegt ist sozusagen, dann ist die Effektstärke jedes Mal sehr gering. Also die Effektstärke liegt ungefähr im Bereich von 0,05. Das sagt Ihnen sofort etwas, wenn Sie wissen, dass die zwischen 0 und 1 liegen muss, diese Effektstärke. Das heißt, die ist ziemlich stark am unteren Rand. Also, man spricht hier von einem sehr schwachen Effekt. Also 0,5 0,05 ist tatsächlich ein sehr schwacher Effekt. Ja, aber es ist einer, der eben hier tatsächlich signifikant geworden ist, auch häufig signifikant geworden ist. Also die ganzen Fälle, die hier gezeigt worden sind, sind alles Fälle, bei denen signifikant geworden ist. Ja, also das heißt, die sind tatsächlich da äh diese Fälle und trotz dieser Einschränkung, die ich gerade gesagt habe, ist dies ist das weniger Entwarnung, als man vielleicht auf den ersten Blick denkt.

Was einfach damit zusammenhängt, dass das ja nur ganz schwach jeweils ausgedrückt worden ist. Also in dem Eingangsbeispiel war es ja schon fast holzmeißelmäßig, ja, das gesagt wird, der eine ist Hindu, der andere ist Christ. Wenn wenn man die Studie sich insgesamt ansieht, dann stellt man fest, an ganz vielen Stellen sind das nur beispielsweise unterschiedliche Namensklänge, ja, also die darauf hindeuten, dass irgendwer aus einer bestimmten ethnischen Richtung kommen könnte. Also, das heißt, die der Hinweis darauf, um was für eine Art von Person es sich handelt, ist wirklich nur sehr sehr schwach gewesen und das wiederum bedeutet, dass man auch nur am Ende mit einem sehr schwachen Effekt rechnen kann, ne? Aber das heißt, wenn bei so schwachem Input bereits ein Effekt sichtbar wird, dann ist das ein Zeichen dafür, dass der Effekt eben auch, na ja, wenn es deutlichere Hinweise gäbe, auch deutlicher auftreten würde.

Was anderes ist auch noch ganz interessant, das ist nämlich die Sache, wenn man sich anguckt, wie ist eigentlich die Übereinstimmung, die gesagt wird von solchen künstlichen Intelligenzen mit verschiedenen politischen Richtungen. Dann stellen Sie fest, dass immer dann, wenn dort ihr linke Position, also Amerika entsprechend den demokratischen Positionen, also von der Partei Demokraten, ähm wenn es mehr in die Richtung geht, dann ist die Übereinstimmung oder die Zustimmung dieser künstlichen Intelligenzen größer, als wenn es Richtung Konservativer als Richtung Republikaner geht. Das ist durchgehend so. Der Effekt ist auch relativ stark.

Was haben wir jetzt eigentlich gelernt durch diese ganze Studie? Ja, also was muss man sich am Ende immer fragen? Was wissen wir denn jetzt eigentlich? Also, ich denke, wir wissen relativ stark, dass implizit Frauen und Minderheiten bevorzugt werden. Also, erstmal werden sie in den künstlichen Intelligenzen bevorzugt und wahrscheinlich werden sie mal zumindest in der veröffentlichten Form der Welt ebenfalls bevorzugt, weil das ja die Trainingsdaten dieser entsprechenden künstlichen Intelligenzen sind. Das heißt, also diese Studie hält uns eigentlich einen gesellschaftlichen Spiegel vor. Ich glaube, so muss man das einfach mal interpretieren.

Ja, das nächste, was ich fast ja mindestens ebenso alarmierend finde, das ist, dass die künstlichen Intelligenzen uns offenbar systematisch anlügen. Ich weiß hier natürlich nicht und das wissen auch die Autoren nicht, ob die künstlichen Intelligenzen das absichtlich machen in Anführungsstrichen, also ob die was verbergen wollen oder aber ob das etwas ist, dass die im Grunde genommen genauso arbeiten, wie wir Menschen auch, dass die also aus dem Bauch heraus entscheiden und dann anschließend durch dieses ja, durch dieses Reasoning, was sie da anzeigen, also diesen Gedankengang, den die haben, im Grunde genommen nur Expost rationalisieren. Also bei Menschen ist das relativ gut dokumentiert, dass wir das so machen, ja, dass wir im Grunde genommen bei vielen Positionen einfach direkt eine Bauchentscheidung treffen und dann glauben, das sei das einzig richtige und danach dann erst anfangen, solche pseudorationalen Argumente dafür zu finden. Wie gesagt, für Menschen ist das gut belegt und das zeigt für meine Begriffe auch, dass diese künstlichen Intelligenzen inzwischen sehr menschenähnlich geworden sind. Ich würde vermuten, dass die KI das selber nicht wissen. Also diese großen Language Modelle, also Sprachmodelle, die sind ja schon so, dass die inzwischen sehr stark, sagen mal auch Emotionen und so etwas nachbilden können. Also, ich habe ja vor längerer Zeit habe ich ein Buch drüber geschrieben zu dem Thema und äh da ist bin ich auch aus solchen Sachen nachgegangen. Da war ich ganz erstaunt darüber, wie stark letztlich diese künstlichen, also diese Sprachmodelle, so muss man eigentlich letztlich menschliche Emotionen nachempfinden können und damals noch richtig schlecht rechnen konnten gleichzeitig. Also, die haben sich da bei einfachsten Sachen völlig verhauen. Das ist inzwischen wesentlich besser geworden, aber die haben sich dabei einfachen Rechnungen völlig verhauen. Das heißt, die haben eigentlich im Wesentlichen sozusagen aus dem Bauch heraus argumentiert. Und wenn jetzt anschließend dieses Nachdenken, dieses Erklären oben drüber gelegt wird, dann ist das offenbar wirklich genauso wie uns Menschen, dass es eben einfach nicht stimmt.

Ich möchte mal zu sprechen kommen auf äh diese diese Basis in Richtung Minderheiten und in Richtung weiblich gegenüber männlich. insbesondere gegenüber Minderheiten. Ich habe vor einiger Zeit mal ein Video gemacht zu dem Thema Rassismus gegen Weiße und ein Argument, was ich damals stark aufgegriffen habe, das war die Behauptung, es kann gar keinen Rassismus gegen Weiße geben, weil das immer etwas strukturelles ist. Das strukturell sind, also weiße ja immer nach dieser Theorie völlig bevorzugt und deshalb kann es nichts geben, weil ein Ismus immer etwas ist, in dem irgendeine Struktur versteckt ist. Nehmen wir ruhig mal diese Arbeitsdefinition. Nicht, dass ich mich der anschließen würde, aber nehmen wir mal diese Arbeitsdefinition. und nehmen einfach für einen Augenblick an, das sei eine sinnvolle Definition. Da müssen wir jetzt sagen, nachdem was wir jetzt wissen, ist es ganz offenbar so, dass offenbar inzwischen eine Struktur herrscht, die tatsächlich eher, also in diesem Fall beispielsweise Christen und männerfeindlich ist. Also das heißt, dann kann es selbst nach dieser etwas abstrusen Definition von Rassismus kann es dann eben sehr wohl einen Rassismus geben gegen Weiße, weil inzwischen sich die gesellschaftliche Struktur so stark gewandelt hat. Ja, also die werden strukturell benachteiligt, was man unter anderem dann daran sehen kann, dass die Trainingsdaten der KI genau in diese Richtung gehen. Also, wenn Sie Lust haben, sich das Video zu dem Thema anzusehen, ähm werden Sie gleich sehen, ja, klicken Sie einfach mal drauf. ist auch eine ganz interessante Sache.

So, ansonsten das war's jetzt erstmal für heute. Jetzt wäre Ihre letzte Gelegenheit meinen Kanal noch zu abonnieren, wenn Sie das nicht schon getan haben. Ja, dann kriegen Sie manchmal solche schönen Studien mit und dann sehen wir uns ja auf die Art und Weise wieder im nächsten Woche. bis dahin.