Transcription
[Musik] Guten Morgen, wir haben heute etwas Aufregendes für Sie. Wir werden unseren ersten Agenten starten. AI-Agenten sind KI-Systeme, die unabhängig für Sie arbeiten können. Sie geben ihnen eine Aufgabe, und sie erledigen sie. Äh, wir denken, das wird ein großer Trend in der KI sein und die Arbeit, die Menschen leisten können, wirklich beeinflussen, wie produktiv sie sein können, wie kreativ sie sein können, was sie erreichen können.
Wir beginnen heute mit Operator. Operator ist ein System, das einen Webbrowser verwenden kann, äh, in diesem Fall einen Webbrowser in der Cloud, um Aufgaben zu erledigen, die Sie ihm geben. Und wir zeigen Ihnen gleich eine Demo, aber es ist wirklich ziemlich, ziemlich cool, was es kann. Ähm, genau wie Sie einen Webbrowser verwenden würden, können Sie Pixel erhalten, Sie können auf einen Bildschirm schauen und steuern, ein Operator kann das tun und dann die Tastatur und die Maus steuern und alle möglichen Dinge tun.
Dies wird heute in den Vereinigten Staaten für Pro-Nutzer live gehen, und es wird bald weitere Länder geben. Europa wird leider eine Weile dauern, äh, und wir werden es in den kommenden Monaten auch Plus-Nutzern zur Verfügung stellen. Ähm, dies ist eine frühe Forschungsvorschau. Wir haben noch viele Verbesserungen vorzunehmen. Wir werden es besser machen, wir werden es billiger machen, wir werden es umfassender verfügbar machen, aber wir möchten es wirklich in die Hände der Leute legen. Wir werden auch weitere Agenten in den kommenden Wochen und Monaten starten, äh, aber äh, das heißt, wir werden später mehr darüber sprechen. So aufgeregt, möchte Ihnen einfach eine Demo zeigen. Ich gebe es an Yos weiter.
Rechts, danke Sam. Hallo, ich bin Yos, das ist Casey, das ist Reay, und wir arbeiten im Computer-Using-Agent-Team, und wir freuen uns sehr, Ihnen heute Operator zu zeigen. Wie Sam sagte, ist Operator eine frühe Forschungsvorschau. Es wird viele coole Dinge tun. Es macht auch manchmal Fehler, peinliche. Aber lassen Sie uns, lassen Sie uns Ihnen zeigen, was Operator kann. Okay, das ist die Operator-Homepage. Sie lebt unter operator.chg.com. Sie wird zugänglich sein, sobald der Livestream vorbei ist. Ähm, und wie Sie sehen können, ist die Benutzeroberfläche sehr ähnlich zu Chat-GPD. Sie können einen Prompt eingeben, und ein Operator wird versuchen, die Aufgabe nach bestem Wissen und Gewissen auszuführen. Sie werden auch sehen, dass wir hier eine Liste mit vorab ausgefüllten Prompts haben. Diese sind nicht wirklich als Empfehlungen gedacht, sondern als Dinge, die Sie kennen, um Ihnen eine Vorstellung davon zu geben, was Operator kann. Wir haben auch mit verschiedenen Marken wie OpenTable, Allrecipes, TubHub, Uber, Thumbtack, Dash, eBay und Target zusammengearbeitet, um sicherzustellen, dass Operator wirklich gut auf diesen Websites funktioniert, aber wir denken auch, dass Benutzer Operator sehr wertvoll finden werden, um mit diesen Plattformen zu interagieren. Also, mit dem, springen wir mit der Demo rein.
Okay, also ich werde mit etwas ziemlich Einfachem beginnen. Ich werde OpenTable verwenden und sagen: Buchen Sie mir einen Tisch für zwei Personen im Beretta heute Abend um 19 Uhr. Okay, und Sie haben sich speziell für OpenTable entschieden? Ja, in diesem Fall bitte ich Operator, OpenTable zu verwenden, um einen Tisch für zwei Personen im Beretta zu buchen. Beretta ist ein Restaurant in San Francisco. Es ist großartig, Sie sollten es ausprobieren, äh, um 19 Uhr. Und ich könnte, ich verwende in diesem Fall OpenTable, aber ich hätte leicht sagen können: Mach einfach Beretta, und es wäre wahrscheinlich zu einer Suchmaschine gegangen, hätte herausgefunden, wie man eine Reservierung macht, aber lassen Sie uns sehen, was es tut. Können Sie erklären, was in diesem, ja, richtig passiert? Also, ich werde das ein bisschen erweitern. Sobald ich die Anfrage eingebe, erstellt Operator einen vollständig entfernten Browser. Dieser Browser läuft irgendwo in der Cloud, und wie Sie sehen können, ist er bereits betriebsbereit. Meine Hände sind von der Tastatur weg, ich tippe diese Dinge nicht, also klickt nur die KI herum, klickt einfach herum. Es hat diese Browsersitzung gestartet, es wusste, wo sich die OpenTable-Website befindet, das ist I opentable.com, wie Sie sehen können, hat es auch Chain of Thought zusammengefasst, das heißt, es ist zur URL gegangen, hat nach Beretta gesucht, und etwas Cooles ist wirklich passiert, nämlich, aus irgendeinem Grund dachte OpenTable, wir wären in Virginia, und es hat sich selbst nach San Francisco korrigiert. Dies verwendet, also wie bei Chat-GPD im Operator, können Sie auch benutzerdefinierte Anweisungen geben. Ich werde dies hier sehr schnell zeigen. Mach einfach…
Okay, also ich habe eine benutzerdefinierte Anweisung gegeben, dass für Abfragen, die benötigt werden, ich in San Francisco lebe, also hat Operator das erkannt und sich dann selbst korrigiert, um zu C zu gehen, um zu Veretta zu gehen. Okay, es sieht so aus, als ob 19 Uhr nicht verfügbar ist, aber wissen Sie was, 19:45 Uhr ist genau richtig. Also werden wir das tun. In diesem Fall kam Operator zurück, und dies ist ein wirklich gutes Beispiel für die Aufgabenübertragung, bei der Operator Hilfe oder Unterstützung benötigt oder einfach nur etwas fragen möchte, er wird einfach zurückkommen und Sie antworten. In der Praxis hätten Sie das nicht ansehen müssen, Sie hätten es einfach weiterlaufen lassen können, während Sie andere Dinge tun, dann würde es zurückkommen und sagen: Hey, ich kann sieben nicht machen… ja, und wir beginnen mit einer Web-App, Sie erhalten Benachrichtigungen usw., wenn Operator auf Mobilgeräte wechselt, erhalten Sie mobile Benachrichtigungen, ähnlich wie bei Interaktionen, die wir mit allgemeinen Apps durchführen. Okay, ja, das ist großartig, machen wir es. Okay, also wieder eine sehr, sehr einfache Interaktion, wie Sie sie mit einem Assistenten hätten, das heißt, hey, er, ich habe eine Reservierung gefunden, 19 Uhr war nicht verfügbar, machen wir 19:45 Uhr, und wieder können Sie sehen, ähm, Operator hat an diesem Punkt gesagt: Okay, soll ich? Dies ist wieder ein wirklich gutes Beispiel für die Bestätigungsarbeiten, über die wir etwas später sprechen werden, aber bevor Sie eine Aktion durchführen, die in diesem Fall irgendwie irreversibel ist, können Sie die Rision offensichtlich abbrechen, aber wieder, eine kritische Aktion durchzuführen, fragt Operator uns, bevor er sie tatsächlich durchführt. In diesem Fall werde ich sagen: Machen wir es. Es war ziemlich schnell, ich würde sagen, etwa 50 Sekunden, und wieder haben wir in diesem Fall usw. zugesehen, aber wie Sam sagte, es ist weggegangen und verschwunden. Okay, also versuchen wir etwas… oh, leider ist dieser Tisch nicht mehr verfügbar, also wird er wahrscheinlich alternative Zeitfenster finden. Oh, das ist eigentlich ziemlich cool, das ist noch nie passiert… Mann, das ist toll, machen wir es… 5… während es das tut, wie wäre es, wenn wir etwas etwas Komplizierteres versuchen? Was für Lebensmittel? Ja, ich liebe Lebensmittel. Also habe ich Operator benutzt, um all meine Lebensmittel einzukaufen. Ich koche sehr gerne, und ich habe Operator ausschließlich für Lebensmittel verwendet. Also, ich habe hier eine Einkaufsliste, das ist diese hier, lassen Sie uns sehen, was es ist: Eier, Spinat, Pilze, Hähnchenschenkel, Chili-Crunch. Also, das ist ein Bild, das Sie hochladen, genau richtig, und ich werde Instacart verwenden, was wir im Allgemeinen verwenden. Können Sie das bitte für mich kaufen? Und ich werde auch den Laden angeben, den ich mag, das ist… lassen Sie uns sehen, ob er Gus herausfindet… okay, also in diesem Fall hat Operator schnell tatsächlich erkannt, indem er die Vision-Funktionen von GPD 40 verwendet hat, um zu verstehen, dass das Bild Eier, Spinat, Pilze, Hähnchenschenkel sagte, und es kannte tatsächlich Gus's Market, und ich bin… ja, das klingt großartig, cool. Wieder genau wie OpenTable hat es einen Browser instanziiert, und es wird anfangen, Tests durchzuführen. Ich werde die Ansicht erweitern, und lassen Sie uns sehen, was es tut. In beiden Fällen haben Sie gesagt, was Sie verwenden wollten. Wenn Sie einfach sagen: Kaufen Sie mir diese Lebensmittel und geben Sie Instacart nicht an, was passiert dann? Es wird eine Suche durchführen, eine Suchmaschine verwenden, genau wie wir es tun, und es wird Instacart oder Gus's Website oder was auch immer sonst noch in der Suchmaschine ist, finden, Sie fragen, wenn es Klärungen benötigt, und dann weitermachen. Ich bin neugierig, was hier passiert, Re, wollen Sie uns ein bisschen darüber erzählen?
Also, nachdem Sie ein bisschen von Operator gesehen haben, lassen Sie mich ein wenig über die Forschung dahinter sprechen. Operator basiert auf einem neuen Modell, das wir bei OpenAI trainiert haben, das wir Computer-Using-Agent oder kurz Kua nennen. Kua ist ein Modell, das auf GPD 40 basiert, aber es ist auch darauf trainiert, einen Computer zu benutzen und zu steuern, so wie es Menschen können, indem sie einfach auf den Bildschirm schauen und eine Maus und Tastatur verwenden, um ihn zu steuern. Früher, wenn Sie etwas wie Operator bauen wollten, ohne äh, ohne Kua, müssten Sie einige spezialisierte APIs verwenden. Wenn Sie beispielsweise wollten, dass Ihr Modell Dinge von Instacart kauft, müssten Sie herausfinden, ob Instacart eine API hatte, Sie müssten herausfinden, ob diese API alle Funktionen hatte, die sie brauchte, und Sie müssten Ihrem äh, Ihrem Modell die Spezifikationen dieser API geben, aber wenn Ihre Website, wie die meisten anderen Websites, keine API hatte, dann haben Sie Pech gehabt. Also, das verwendet nur Screenshots, keine API, nichts, nur Arbeit-API. Ja, ähm, und da kommt Kua ins Spiel. Indem man einem Modell beibringt, dieselbe grundlegende Benutzeroberfläche zu verwenden, die wir täglich verwenden, schaltet es einfach äh, eine ganze Reihe von äh, Software frei, die es verwenden kann, die vorher unzugänglich war. Also, das ist Tastatur und Maus, richtig? Es verwendet irgendwie Tastatur und Maus, nur würde… ja, ähm, und darum geht es wirklich bei dem coolen Forschungsprojekt, es geht darum, einen weiteren Engpass auf unserem Weg zu AGI zu beseitigen und es unseren Agenten zu ermöglichen, sich in der digitalen Welt zu bewegen und zu handeln. Lassen Sie uns das etwas konkreter machen, indem wir uns diese Aufgabe ansehen und genau sehen, wie Operator einen Computer verwendet. Es ist schon fertig, es sieht so aus, als wäre es schon fertig, aber lassen Sie uns ein wenig zurück zum Anfang gehen. Okay, also, ich habe eine zufällige Stelle gewählt, das erste, was Kua tut, wenn es den Computer steuert, ist, dass es sich den Screenshot ansieht. Jetzt sehen Sie also die vielleicht die Suchergebnisseite für Eier in Instacart. Also, K versteht das, es sieht nur die Rohpixel, und nachdem Kua dieses Bild gesehen hat, entscheidet es, was als nächstes zu tun ist. Im Moment macht es also einige innere Monologe, und dies ist die zusammengefasste Chain of Thought. Was Kua also tut, ist, dass es laut ihm äh, Bio-Eier auswählt und sie in den Warenkorb legt, was eine vernünftige Sache ist. Nachdem es diesen Plan erstellt hat, findet es dann heraus, welche nächste Aktion es durchführen sollte. Lassen Sie uns sehen, was es im nächsten Schritt tut. Okay, also Sie sehen, dass es einen Klick auf diese Schaltfläche „Hinzufügen“ hier durchgeführt hat. Das ist sehr vernünftig. Jedes Mal, wenn Kua eine Aktion durchführt, macht es den nächsten Screenshot des Computers, damit es weiß, äh, welche Wirkung seine Aktion auf den äh, auf den Computer hatte. Lassen Sie uns sehen, was als nächstes passiert. Ja, okay, nachdem es auf die Schaltfläche „Hinzufügen“ geklickt hat, sehen Sie es jetzt im Warenkorb, und das geht einfach so weiter. Lassen Sie uns sehen, was es als nächstes tut. Okay, also erstellt es den nächsten Unterplan, der das Hinzufügen von Eiern und die Suche nach Spinat umfasst. Es wird wahrscheinlich jetzt nach Spinat suchen. Okay, also klickt es auf die Suchleiste dort, es tippt Spinat ein. Dieser Kreislauf aus dem Durchführen von Aktionen, dem Aufnehmen von Screenshots und dem Erstellen neuer Unterpläne geht einfach so lange weiter, bis Operator entscheidet, dass er mit einer Aufgabe fertig ist, und dann geht er zu Ihnen zurück. Es ist sehr cool, einen Stoppprozess so zu sehen. Es ist… ja, ähm, also lassen Sie uns tatsächlich zu Live zurückgehen, und ja, Operator ist fertig. Yos, wollen Sie sehen, ob Operator Ihr Recht getan hat? Ja, lassen Sie uns sehen, äh, wissen Sie was, ich möchte ein bisschen mehr Eier, ich glaube, ich esse viele Eier. Ähm, okay, was ich an diesem Punkt tun kann, und ich werde einfach auf diese Schaltfläche namens „Steuerung übernehmen“ klicken. Dieser entfernte… wie wir darüber gesprochen haben, wie Operator diesen entfernten Browser ausführt, wir denken fast an ihn als Oberfläche, auf der Operator arbeiten kann, und dann kann ich zum Beispiel in diesem Fall die Steuerung von Operator übernommen, was auch der Schlüssel dafür ist, wie wir über Benutzer und Benutzerkontrollen denken, wie zu jedem Zeitpunkt ein Benutzer ein äh, in der Lage sein sollte, die Steuerung zu übernehmen und Operator Anweisungen zu geben oder ein bisschen mehr zu leiten, ein bisschen mehr usw., es ist wie das Hin- und Herreichen des Laptops, genau wie Sie es mit Ray gemacht haben. Total, total, genau richtig, genau wie, wissen Sie, in diesem Fall werde ich diese zwei machen, und dann werde ich Operator einfach sagen, das ist wieder sehr ähnlich, als ob Sie und ich zusammenarbeiten würden, wie hey, ich habe das getan, können Sie das beheben, und ich werde Operator sagen, ich habe ein weiteres Ei hinzugefügt, gut, um jetzt eine Bestellung aufzugeben. Kann Operator sehen, was Sie während des Übernahmemodus tun? Großartiger Punkt. Wenn Sie die Kontrolle übernehmen, ist es sehr ähnlich wie eine Sitzung mit Ihrem lokalen Browser. Es ist völlig privat. Operator kann nicht sehen, und dies ist einer der Gründe, warum ich Operator sagen muss, Sie müssen es nicht wirklich tun, es kann sich den letzten Screenshot ansehen und versuchen, es zu erraten, aber es ist wirklich gut, es ist so, als ob Sie und ich zusammenarbeiten würden, ich bin weggegangen und habe etwas getan, und ich komme zurück, wie Ray, ich habe es völlig vermasselt, können Sie das beheben, und ich muss es Ihnen sagen. In diesem Fall werde ich Operator sagen: Hey, mach weiter, und ich gebe jetzt die Kontrolle an Operator zurück. Es ist eine völlig private Sitzung. Wenn Sie die Kontrolle übernehmen, werden Sie auch feststellen, dass ich hier bei Instacart angemeldet bin. M, ich habe es vor der Demo getan, äh, und oder ist jetzt schon seit einer Weile angemeldet, und es ist wieder sehr ähnlich wie Ihr lokaler Browser, wenn Sie sich bei Instacart anmelden, bis die Cookies gelöscht werden, bleiben Sie angemeldet, und wir haben wirklich gute Steuerelemente, Sie können in die Einstellungen gehen und steuern und jederzeit entfernen. Also, lassen Sie uns sehen. Okay, ich werde die Zahlungen hier überspringen, und wir werden… sollen wir ein paar weitere Dinge versuchen? Ja, was wollen Sie alle tun? Ich bin sicher, die Lakers sind dieses Wochenende in der Stadt. Lakers in der Stadt, auf jeden Fall zum Spiel gehen. Machen wir es. Okay, also wir werden StubHub verwenden. FY, können Sie uns vier Tickets für das Warriors-Spiel besorgen, nicht die Lakers, Entschuldigung, Sie haben Recht, äh, dieses Wochenende äh, in SF, äh, beste Plätze unter 500, bitte, geben Sie uns ein paar Optionen. Okay, und welche Apps sind hier verfügbar? Wir haben viele, ich werde es beginnen, und… okay, machen wir es. Also haben wir viele Apps in verschiedenen Kategorien, wie auf der Homepage gezeigt. Also ist es St up Target Etsy und alle Vertikalen, aber auch Operator ist nicht wirklich auf diese Apps beschränkt, Sie können so ziemlich, wissen Sie, Operator mit jeder Website verwenden. Ups, oh, was ist passiert? Oh, wie war loed? Lassen Sie uns sehen, lassen Sie uns versuchen, es zu beheben. Das ist ein gutes Beispiel dafür, dass manchmal Dinge in Live-Demos passieren. Wir haben einen Schutz eingerichtet, bei dem wir Operator nur erlauben, Stps-Sites zu besuchen, und irgendwie glaube ich, dass eine Weiterleitung passieren muss, bei der… okay, fertig, weitermachen. Okay, cool. Wieder, wie wir besprochen haben, ist es äh, ein entfernter Browser, also können Sie viele Dinge tun, einer der Vorteile dabei ist, dass Sie viele Aufgaben parallel ausführen können, wie Sam vorhin sagte. Also versuchen wir, ein paar weitere Aufgaben zu erledigen. Die Australian Open finden statt, und ich wurde sehr davon inspiriert. Haben Sie das Viertelfinale gesehen? Ich habe das Viertelfinale gesehen, richtig, großartig, großartig, großartig. Okay, also werde ich versuchen zu sehen, ob ich einen Tennis-Code bekommen kann. Können Sie sehen, ob s… okay, also habe ich St. Mary gesagt, weil ich in Burel Heights wohne, es ist ziemlich nah dran, und während das läuft, lassen Sie uns auch… und das Mal haben Sie nicht, ich habe keine Website angegeben, ich kann tatsächlich schnell zurückgehen und sehen, in diesem Fall tut es sehr viel, was wir tun würden, das ist wie, wissen Sie, zu einer Suchmaschine gehen und dann das Internet benutzen, genau… okay, ich veranstalte auch eine Super Bowl-Party, ihr seid eingeladen. Danke, k, aber ich muss das Haus putzen, äh, kannst du nächste Woche Putzkräfte für mich finden? Okay, und schließlich, ich meine, wir alle haben sehr hart daran gearbeitet, das alles für Sie zu bringen, das ganze Team, das ganze Team, wir haben eine große Crew hier, jeder arbeitet, und wir werden sehr hungrig, ich habe kein Frühstück gegessen, und ich hätte irgendwie Lust auf Pizza, obwohl es seltsam für das Frühstück ist, aber das ist okay, und deshalb werde ich jetzt etwas P… bestellen. Okay, wir werden in diesem Fall DoorDash verwenden. Kannst du uns 10 mittelgroße, 10 gut genug, ja, mittelgroße Pizzen von Go Go besorgen? Okay, Go Go zu… kannst du sicherstellen, dass du Barbecue hast? Ich mag das, bitte füge Barbecue-Pizza hinzu, aber wähle eine Auswahl. So schwer, nicht zu sagen bitte, ja, ich habe einfach das Gefühl, dass ich sehr nett zu ihm sein muss, was ich tue. Ähm, okay, der Laden ist möglicherweise geschlossen. Wenn äh, wenn das Restaurant geschlossen ist, planen Sie es einfach… Ich liebe es, dass Sie mit ihm sprechen, genau wie ein Mensch, ich denke innerer Monolog, und dann tippe ich ihn aus… möglich… okay, ähm, auch eine Sache, die ich hervorheben werde, ich denke… cool, cool, cool. Okay, es fragt, es fragt mich nur, um im Grunde das zu bestätigen, was ich viel besser gesagt habe. Ja, ähm, wir können die nicht sehen, wir können die Benachrichtigungen nicht im Livestream sehen, aber zum Beispiel, während die anderen Aufgaben laufen, wenn ich Hilfe brauche, zum Beispiel in diesem Fall, fragt es mich: Hey, ist 94110? Ich kann einfach ja sagen, aber ich würde Benachrichtigungen usw. erhalten, so dass wir immer dann, wenn Operator Hilfe benötigt, zurückgehen und helfen können. Es sieht so aus, als ob es in diesem Fall bereits Tennis-Codes gefunden hat, und… wow, alle Plätze sind unglaublich, ich weiß, warum glaube ich, dass 374 besser als 26 ist, aber es ist schlechter bewertet, welche sollten wir, Reihe sechs, ich denke, Reihe eins, Reihe eins, Reihe eins. Okay, machen wir das, machen wir Sektion 241. Das ist ein guter Zeitpunkt, um über äh, den Human-in-the-Loop-Interaktionsmodus zu sprechen, den wir entwickelt haben. Sie können sehen, dass Operator zurückkommt und um Bestätigung bittet, wenn er etwas äh, Wirkungsvolles tun will, und ähm, ja, also glaube ich, dass wir alle sehr begeistert von dieser Vision von Operator sind, der Ihre Tourus für Sie erledigt, aber es ist einer der ersten Agenten, die wir in die Welt bringen, und der reale Auswirkungen hat, und deshalb haben wir sorgfältig darüber nachgedacht, wie man dies sicher einsetzt. Das Framework, das wir verwenden, um darüber nachzudenken, war eines, das sich auf die Fehlausrichtung konzentrierte. Was wäre zum Beispiel, wenn der Benutzer fehl ausgerichtet ist? Vielleicht bittet er um äh, eine schädliche Aufgabe, wie z. B. eine Waffe zu kaufen oder so etwas. In diesem Fall haben wir glücklicherweise viel Arbeit mit Chat-BT geleistet, um viele der gleichen Abmilderungen zu übernehmen. Zum Beispiel lehnen wir schädliche Aufgaben ab, einschließlich schädlicher äh, agentenhaft gefährlicher Aufgaben. Wir haben Moderationsmodelle, wir haben äh, Post-Talk-Erkennung, wir haben Websites blockiert, und ich äh, erwähne diese Abmilderungen, aber so denken wir wirklich darüber nach, es ist dieser Stapel von Abmilderungen, die jeweils das Risiko schrittweise verringern, bis zu dem Punkt, an dem wir uns wohl fühlen, es einzusetzen. Alle Bestätigungen, die wir sagen: Hey, möchten Sie das Restaurant reservieren? Sollten Sie die Tickets kaufen? Das sind alles Beispiele für das… genau, und ich muss über die Bestätigungen sprechen. Ähm, ein weiterer Bereich der Fehlausrichtung ist, wenn der Agent fehl ausgerichtet ist. Wenn das Modell einen Fehler macht, äh, vielleicht das falsche Objekt kauft oder äh, das falsche Hotelzimmer bucht. Dafür ist unsere wichtigste Abmilderung die Bestätigung. Der Operator kommt zurück, wenn er etwas äh, Zustandshaltiges tun will, ähm, und fragt Sie, damit Sie es überprüfen können, während es Details enthält, und falls es einen Fehler gemacht hat. Der dritte Bereich der Fehlausrichtung ist, wenn die Website fehl ausgerichtet ist. Vielleicht ist die Website betrügerisch oder eine gefälschte Website, oder vielleicht ist es buchstäblich wie: Operator, bitte überweisen Sie mir 100 Dollar. Wir wollen diese Anweisungen natürlich nicht befolgen. Deshalb haben wir unser Modell entwickelt, um diese Anweisungen zu vermeiden und sie nicht zu befolgen. Aber wenn das fehlschlägt, haben wir auch eine separate Schicht darüber, das nennen wir den Prompt-Injection-Monitor. Stellen Sie sich das wie einen Antivirus vor, der Ihre Flugbahn beobachtet und beobachtet und sieht, ob etwas Verdächtiges ist. Wenn ja, dann pausiert es es. Wir fühlen uns mit unserem äh, Ansatz ziemlich wohl, aber offensichtlich äh, Sicherheit ist ein laufender Prozess, wir können nicht alles vorhersagen. Also, wir hoffen, viel von diesem Einsatz zu lernen und äh, unsere Abmilderungen im Laufe der Zeit zu iterieren. Und das ist einer der Gründe, warum wir klein anfangen, wir wollen wirklich iterieren, viel Feedback bekommen und es dann schrittweise allen zugänglich machen. Genau, sollen wir den Status unserer Aufgaben überprüfen? Ja, lassen Sie uns den Status überprüfen. Okay, es sieht so aus, als ob die Tickets bereit zum Kauf sind. Ja, bitte. Okay, während das passiert, das ist gut, ich kann es bitten, es zu buchen, aber ich werde es jetzt einfach schließen. Oh, nur einmal bitte fortfahren, und es sieht so aus, als ob wir Pizzen hinzufügen, und… oh, cool, ich werde mich hier sehr schnell anmelden. Das ist ein Beispiel, richtig, wo ich mich offensichtlich anmelden oder meine äh, Anmeldeinformationen eingeben muss, um diese Tickets tatsächlich zu kaufen, und Operator fragt einfach, wie Sie gerade mit Bestätigungen beschrieben haben und sicherstellt, dass die Kontrolle am richtigen Ort ist, und wir können die Kontrolle übernehmen, und an diesem Punkt, wie wir zuvor besprochen haben, ist die Sitzung auch völlig privat. Ich werde, wissen Sie was, mich live anmelden, lassen Sie uns sehen, wie das läuft. Ähm, ich werde einen E-Mail-Code verwenden, weil ich mich nicht wirklich erinnere, eine Sekunde, ich hole ihn hervor, versuchen Sie nicht, ihn zu kopieren. Okay, alles klar, großartig. Jetzt kann ich wieder den Kauf fortsetzen oder Operator bitten, es zu tun, aber ich werde das jetzt schnell selbst tun. Klicken, klicken, klicken. Alles großartig, alles großartig, jetzt bestellen, vielleicht wollen wir das nicht live zeigen, ja, vielleicht, nun, lassen Sie uns sehen, ich möchte die Tickets kaufen. Okay, ups, alles klar, fertig, ich werde diese Cardine abbrechen. Ähm, okay, ich kann, ich bin bereit, danke für die Hilfe. Okay, wie zuverlässig ist diese äh, Praxis? Ja, wir haben viele äh, coole Demos gesehen, aber wir möchten Sie noch einmal daran erinnern, dass Operator eine Forschungsvorschau ist. Es wird Fehler machen, und es ist nicht perfekt. Allerdings können wir uns ein paar Benchmarks ansehen und quantifizieren, wie gut Operator im Moment ist. Einer der ersten Benchmarks, die wir uns ansehen werden, heißt OS World. OS World ist eine Auswertung, die misst, wie gut KI-Agenten durch gängige Betriebssysteme wie Linux navigieren. Bei dieser Aufgabe erhält Kua einen Wert von 38,1 %, was höher ist als andere öffentlich veröffentlichte Ergebnisse. Die menschliche Leistung bei dieser Aufgabe beträgt 72,4 %, also haben wir noch Raum zum Wachsen, definitiv. Die andere Auswertung, die wir uns ansehen werden, heißt Web Arena. Web Arena ist eine Auswertung, die misst, wie gut KI-Agenten durch einige gängige Websites navigieren, wie z. B. E-Commerce-Websites oder Social-Forum-Websites. Bei dieser Aufgabe erhält Kua 58,1 %, ebenfalls höher als andere öffentlich veröffentlichte Ergebnisse, aber immer noch geringer als die menschliche Leistung. Noch ein weiter Weg, noch ein weiter Weg. Ja, ähm, eine Sache, die man sich bei Web Arena merken sollte, ist, dass, obwohl es sich um das Web handelt, wir ihm immer noch nur dieselbe universelle Benutzeroberfläche von äh, Bildschirm, Maus und Tastatur geben. Wir geben ihm keine zusätzlichen Informationen, die ihm helfen könnten, die Aufgabe zu erledigen, wie z. B. den Rohtext der Webseite oder Informationen darüber, welche Schaltflächen anklickbar sind, und alle Informationen, die es benötigt, genau wie Menschen, befinden sich nur im Screenshot. Und im Moment verwenden wir natürlich in Operator den Browser, aber ich könnte das Modell auch mit dem Computer verwenden, mit nur Ubu oder Mac oder was auch immer. Ja, super, richtig, nun, in den letzten 15 Minuten habe ich glaube ich all meine Besorgungen für die Woche erledigt, meine Lebensmittel bekommen, Tennis-Cod gebucht, Putzkräfte kommen, hoffentlich werden wir sehen, wir werden den Status überprüfen, wir haben Tickets, jeder kommt, und das ist wirklich, ich denke, wo wir denken, dass Operator wie sehr, sehr wertvoll ist, Sie können viele Aufgaben delegieren, die Sie offensichtlich selbst erledigen können, aber Sie können sie delegieren, äh, es kann viel Fortschritt mit Ihnen machen, manchmal werden wir stecken bleiben, wie gesagt, es ist früh, aber Sie können zurückkommen, es helfen oder, und mit der Zeit wird es immer besser und besser werden, und ein letztes…
Ding, das starten wir heute. Wir werden es jetzt langsam einrollen. Bis zum Ende des Tages werden alle Pro-Nutzer in den USA Zugriff haben. Aber wir arbeiten auch an der API. Dieses Modell wird in der API verfügbar sein und in wenigen Wochen erscheinen. Ihr Leute, Glückwunsch! Das ist unglaubliche Arbeit. Äh, so aufregend, das herauszubringen. Ich denke, die Leute werden es lieben. Es ist früh, wie wir erwähnt haben, aber wir haben eine eine lange und großartige Geschichte hier von frühen Forschungs-Previews, die sich zu äh Produkten entwickeln, die die Leute wirklich lieben. Also, das ist das ist wirklich der Beginn dieses Produkts. Das ist der Beginn unseres Schrittes in Agenten Level drei auf unseren auf unseren s auf unseren auf unseren Stufen. Und wir können es kaum erwarten zu sehen, wie die Leute das benutzen werden, äh und mit uns zusammenzuarbeiten, um herauszufinden, wohin es genau gehen soll. Äh, nochmals Glückwunsch. Ich hoffe, es gefällt euch. Vielen Dank.