Transcription
Alrighty. Hello everybody. Und äh, ich habe fast die Begrüßung so begonnen wie meinen YouTube-Kanal. Ähm, aber äh, das ist Jesse Anderson hier, und ich arbeite als Assistenz-Technologiespezialist bei SSB, und äh, außerhalb davon mache ich auch viel Arbeit im Bereich Technologie- und Spiel-Barrierefreiheit, Advocacy und Beratung. Und heute bin ich nur hier, um Ihnen einen sehr kurzen Überblick über einige verfügbare KI-Tools zu geben. Einige davon sind Mainstream und für jedermann konzipiert, und einige sind äh speziell für blinde und sehbehinderte Benutzer konzipiert. Ich kann nicht sehr tief in die Materie einsteigen, weil es so viel da draußen gibt und so viel, wissen Sie, jeden Tag mehr verfügbar wird. Und deshalb möchte ich einfach allen einen Überblick über einige der Tools, Apps und Dinge geben, die es gibt. Also, ich teile meinen Computerbildschirm und ich werde, da ich ihn vorher nicht laufen hatte, NVDA starten, damit ich einige dieser Dinge tatsächlich benutzen kann und damit das Bildschirmteilen, falls jemand einen Screenreader oder Audiobenutzer ist, dies auch hören kann. Ähm, es gibt viele verschiedene KI-Tools da draußen. Es gibt äh, sie, wissen Sie, es gibt generative KI, wie sie es nennen. Ähm, und es gibt spezielle Anwendungen für blinde und sehbehinderte Benutzer, wie z. B. das Identifizieren von Objekten, das Beschreiben einer Szene äh und alle möglichen anderen Dinge. Und dann gibt es noch Ihre allgemeinen generativen KI-Tools, von denen wahrscheinlich jeder inzwischen von Chat GPT gehört hat. Vielleicht haben sie von Google Gemini, Microsoft Co-Pilot gehört, äh, und es gibt noch mehrere andere, aber ich denke, das sind die drei wichtigsten, die wir uns heute etwas genauer ansehen werden. Äh, sowie einige andere für blinde und sehbehinderte Benutzer relevante. Ähm, bevor ich weitermache, werde ich noch einmal sagen, besonders da wir uns am Anfang einige Texte ansehen werden, wenn Sie KI verwenden, um Texte zu erstellen, sei es, wissen Sie, wie z. B. beim Erstellen eines Entwurfs für eine E-Mail, einen Brief, äh einen Lebenslauf, was auch immer es sein mag. Diese sind als unterstützende Tools für alle gedacht. Äh, Sie wollen nicht einfach nur eine Aufforderung geben und den Text generieren lassen und dann einfach nur, oh, kopieren und einfügen, und es ist, was es ist. Senden Sie es einfach raus oder verwenden Sie es. Ähm, es ist wirklich als Werkzeug gedacht, ähm, damit Sie beitragen können, wissen Sie, Sie können das als Ausgangspunkt verwenden und, wissen Sie, Ihre eigene Note hinzufügen oder Ihre eigene einzigartige ähm Formulierung zu dem hinzufügen, was auch immer Sie generieren, besonders wenn Sie es verwenden, um Ihnen bei der Generierung von Ideen zu helfen, wie äh Briefe und so weiter. Also, ich habe Bildschirmfreigabesteuerung für Meetings. Oh okay, Sie konzentrieren sich nicht darauf. Also Chat äh, ich bin in Chat GPT, und es ist viel zu viel, um es heute zu besprechen, aber es gibt eine ganze Kunst darin, wenn man diese äh generativen Tools betrachtet. Ähm, es gibt eine ganze Kunst, die Aufforderung zu formulieren, wie man ihm sagt, wie er etwas tun soll. Sie können so vage sein, wie Sie wollen, aber es hilft fast wirklich, wenn Sie spezifischer sind. Ähm, und es gibt ganze Webinare, es gibt ganze Videoserien darüber, wie man KI-Aufforderungen erstellt. Äh, ich habe vor ein paar Wochen tatsächlich an einem virtuellen Webinar teilgenommen. Ich glaube, es war über die NFB äh ihre Webinar-Serie. Sie hatten ein ganzes über das Erstellen von Aufforderungen für KI-Dinge wie dieses. Also, zum Inhalt springen. Was cool daran ist, ist, dass ich buchstäblich einfach in dieses Bearbeitungsfeld gehen kann und, wissen Sie, ich kann es eine Frage stellen. Ich kann es bitten, mir Text zu generieren. Äh, ich kann eine beliebige Anzahl von Dingen tun. Also, lasst uns mit anfangen, ich werde einfach, ich habe eine Notepad-Datei mit etwas Text hier, den ich einfügen werde. Bitte erklären Sie die Schritte zur Lösung einer quadratischen Gleichung und machen Sie sie für blinde und sehbehinderte Schüler verständlich. Das ist also meine Aufforderung. Ich möchte, dass es, das ist etwas, das vielleicht ein Lehrer für Sehbehinderte tun würde oder das ein Lehrer oder jemand mit einem Schüler zusammenarbeiten würde. Es ist also ein praktisches Beispiel, und Sie versuchen, ihnen zu helfen. Sagen wir, oh, wir werden ihnen in Algebra helfen, eine quadratische Gleichung zu lösen. Ich kann mich wahrscheinlich nicht einmal mehr daran erinnern, wie man das macht, weil es schon so lange her ist. Also, wir werden die Eingabetaste drücken, und es erscheint äh fast sofort. Sie generieren immer noch, und VDA wird uns weiterhin mitteilen, dass GPT immer noch eine Antwort generiert. ChatGpt sagt absolut. Hier ist eine zugängliche und klare Erklärung, wie man eine quadratische Gleichung löst, die speziell für blinde und sehbehinderte Schüler entwickelt wurde. Ich werde sie in Schritt-für-Schritt-Anleitungen unterteilen, wobei ich Beschreibungen anstelle von Bildern verwende. Bullseye. Was ist eine quadratische Gleichung? Eine quadratische Gleichung sieht so aus: xbx c=0, wobei A, B und C Zahlen sind, die Koeffizienten genannt werden. X ist die unbekannte Variable. Die höchste Potenz von x ist zwei. Das macht sie quadratisch. Bindestrich Hammer und Schraubenschlüssel Ziel. Finden Sie die Werte von x, die die Gleichung wahr machen. Häkchen-Schaltfläche Schritte zum Lösen einer quadratischen Gleichung. Es gibt mehrere Methoden, aber konzentrieren wir uns auf die quadratische Formel, die für jede quadratische Gleichung funktioniert. Abakus. Schritt eins, identifizieren Sie a, b und c aus der Gleichung xbx c=0. Schreiben Sie die Werte auf. Also, ich werde es hier stoppen. Ähm, jetzt bemerken Sie, dass es immer noch ein paar Dinge etwas seltsam formuliert hat, und das liegt teilweise an der Art und Weise, wie ich NVDA eingerichtet habe. Ähm, ich habe es nicht viele Satzzeichen sprechen lassen. Also, es fehlen viele der mathematischen Zeichen, wenn ich einfach alles lese. Aber wenn ich diese Zeile für Zeile, Buchstabe für Buchstabe, Wort für äh Wort für Wort lesen würde, oder wenn ich die allgemeinen Satzzeichen-Einstellungen ändern würde, ähm könnte ich, wissen Sie, es lesen lassen, und es würde etwas mehr Sinn ergeben. Also, als es die verschiedenen Gleichungen und Dinge herunterrasselte, und ich liebe es, wie, selbst wenn ich diese Aufforderung noch nie zuvor gemacht habe. Das ist eine Aufforderung, die wir kurz vor dieser Präsentation beschlossen haben. Und was mir gefällt ist, wissen Sie, es hat zusammengefasst. Okay, ich werde Ihnen sagen, was das ist, und dann, oh, anstatt Grafiken zu verwenden, weil Sie erwähnt haben, dass ich speziell blinde und sehbehinderte Personen erwähnt habe, werde ich es in Worten statt in Bildern beschreiben. Wenn ich die Maus nehme, kann ich buchstäblich nach unten scrollen und sehen, wie viel Detail da ist. Äh, wie gesagt, ich würde nicht das ganze Ding vorlesen lassen, aber was cool ist, ist, dass Sie immer noch dieses Bearbeitungsfeld unten haben. Und sagen wir, ich habe das durchgearbeitet oder sagen wir, ich habe einen Teil davon durchgearbeitet und habe etwas nicht ganz verstanden, und ich könnte sagen, oh, nun, in Schritt zwei sagen Sie, das zu tun, Emily, ich bin mir nicht ganz sicher, worauf Sie sich beziehen. Sie können sich also an äh Ihre Konversation erinnern, und Sie können Folgefragen oder Klarstellungen für verschiedene Dinge stellen. Ähm, also könnte ich speziell nach einem Schritt fragen, oder ich könnte, sagen wir, wenn ich ein Beispielproblem aus einem Lehrbuch hätte, könnte ich, wissen Sie, das eingeben, und dann würde es wahrscheinlich, wissen Sie, dann würde es, äh, die Schritte verwenden, die es mir zusammen mit dieser Gleichung gegeben hat, die ich aus einem Buch oder einem Arbeitsblatt gezogen habe, das es mir helfen könnte. Ähm, und wir werden dieselbe Gleichung machen, wir werden dieselbe Frage machen. Und wir werden sehen, wie sich andere KIs verhalten und was sie tun. Bevor ich das tue, werde ich noch eine kurze Sache tun. Ich werde die Seite neu laden, mehrzeiliger Editor. Und wir werden eine ganz neue Frage stellen. Ähm, Abschnitt mehrzeilig und ich werde reflektieren. Bitte erklären Sie die Schritte zum Salz. Bitte mein anderes Dokument. Ich werde das alles auswählen. Nun, sagen wir, ich wollte sagen, dass ich wollte, ähm, dass es mir helfen soll, Text zu generieren, weil ich noch nie zuvor einen Bewerbungsbrief geschrieben habe und vielleicht ein paar Tipps dazu möchte. Vielleicht eine Vorlage, die ich ändern kann, oder ich weiß einfach nicht, wie ich etwas formulieren soll. Also, dieses Mal habe ich einen ganzen Haufen Text kopiert und werde etwas sagen wie, äh, ich bewerbe mich, ups, bewerbe mich G I für einen Job bei SSB als assistierender TA assistierender Technologiespezialist. Spezialist. Bitte versuche ich, das alles schnell zu tun, und dann tippe ich, vermassele mein Tippen. Äh, bitte bitte generiere generiere einen Bewerbungsbrief Brief basierend auf den Informationen unten unten und dann werde ich Einfügen drücken und die Eingabetaste drücken. Generiert eine Antwort. Mal sehen, was es tut. Chat GPT generiert immer noch eine Antwort. Hier ist ein polierter und professioneller Bewerbungsbrief, der auf die Stelle des Assistenz-Technologiespezialisten bei SSB zugeschnitten ist, mit Ihren beeindruckenden Erfahrungen und Qualifikationen. Bindestrich Ihr Name, Ihre Adresse, Stadt, Bundesland, Postleitzahl, E-Mail-Adresse, Telefonnummer, Datum, Einstellungsausschuss, staatliche Dienste für Blinde SSB Adresse, Stadt, Bundesland, Postleitzahl, Sehr geehrte Damen und Herren des Einstellungsausschusses. Ich schreibe Ihnen, um mein Interesse an der Stelle des Assistenz-Technologiespezialisten bei den staatlichen Diensten für Blinde auszudrücken. Mit über zehn Jahren Erfahrung in der Assistenz-Technologie-Schulung und -Förderung, gepaart mit einem starken akademischen Hintergrund in Technologie und Lehrdesign, bringe ich sowohl tiefes technisches Wissen. Also, ich werde es dort unterbrechen, und Sie sehen es nicht visuell. Also, ich werde es nach unten scrollen. Ich schreibe, aber im Grunde genommen ähm ich denke, es hat tatsächlich aus den Informationen gezogen, die ich eingefügt habe, als ich die Frage beantwortet habe. Und ich habe buchstäblich nur SSB gesagt, aber ich denke, irgendwo dort in meinem anderen Text, den ich eingefügt habe, habe ich gesagt äh staatliche Dienste für Blinde. Und so sagte es buchstäblich, es sagte nicht SSB. Es sagte, ich bewerbe mich für eine Stelle bei SSB. Und es hat all diese Informationen aus meiner Ausbildung, meinen Erfahrungen gezogen. Und ich könnte all das umformulieren. Ich meine, schauen Sie sich das an. Das sind wie ein, zwei, drei, vier, fünf Absätze. Ich habe nur die Adressen und das, wissen Sie, das Sincerely, was auch immer das, das ganze Zeug. Äh, und das ist wieder etwas, das Sie bearbeiten möchten, aber das ist ein sehr guter Ausgangspunkt. Es gibt definitiv Dinge, die ich in der ersten Beschreibung weggelassen habe, die ich entweder äh hinzufügen oder ergänzen möchte, was es bereits geschrieben hat, aber das ist ein wirklich guter Anfang. Also, das sind ein paar, ich habe Ihnen ein Beispiel gezeigt, wie es eine Frage beantworten kann, wie es uns durch das Lösen einer Gleichung führt, und dann habe ich Ihnen gezeigt, wie man einen Beispiel-Bewerbungsbrief generiert. Also, kommen wir zum nächsten. Und jetzt sind wir bei Gemini. Das ist wieder Googles Version. Wissen Sie, wir haben uns Chat GPT angesehen. Eine sehr ähnliche Art von Sache. Und was ich auch erwähnen sollte, ist für eine Aufforderung. Was ich auch erwähnen sollte, ist, dass je nach Dienst ähm, welche KI-Engine und je nachdem, welche Funktionen Sie wünschen, es oft verschiedene Stufen oder Ebenen gibt. Also, wie Sie eine kostenlose Stufe haben, haben Sie eine kostenpflichtige Stufe, einige von ihnen haben sogar mehrere kostenpflichtige Stufen. Sie können eine persönliche im Vergleich zu einer professionellen oder Business-Abonnement haben. Ähm, aber es gibt viel, was man auch mit äh kostenlos machen kann. Also, im Moment verwende ich auch nur eine Texteingabe, aber Sie können auch in vielen dieser Dinge ein Sprachchat verwenden. Und ich werde nicht so viel davon auf dem Computer machen. Aber wenn ich zu ein paar mobilen Apps komme, werde ich Ihnen ein paar wirklich coole Dinge zeigen. Also, ich werde zurück zu meinem Notizblock wechseln. Ich werde hierher zurückwechseln. Ich werde diese Aufforderung zu unserer Gleichung kopieren und einfügen. Mal sehen, was Gemini uns sagt. Gemini antwortete. Und sehen Sie, wie schnell das ist. Wissen Sie, es ist einfach. Also, mal sehen, ob NVDA es einfach automatisch liest oder ob ich dazu umschalten muss oder so. Gemini fragen leer. Okay. Also, anklickbares Menü zum Öffnen von Dateien hochladen. Geben Sie hier eine Aufforderung ein. Schaltfläche "Bearbeiten" nicht verfügbar. Bearbeitungsnavigation-Orientierungspunkt. Anklickbare Schaltfläche "Einstellungen". Anklickbare Schaltfläche "Gemini-Apps-Aktivität". Schaltfläche "Bearbeiten" anklicken. Text bearbeiten hören Schaltfläche anklickbar gut anklickbar schlecht anklickbare gut Antwort umschalten Schaltfläche nicht gedrückt anklickbare schlecht Antwort wiederholen Schaltfläche okay also habe ich ein bisschen Probleme, es zu bekommen, also werde ich ein bisschen schummeln hier ähm lösen Sie die zwei möglichen Werte von x oh wow ja es hat mir eine ganze Menge Informationen gegeben ähm b und c sind Zahlen und es kann nicht null sein hier sind die gängigen Methoden zum Lösen quadratischer Gleichungen Schritt für Schritt erklärt also sagt es ist Schritt für Schritt. Diese Methode funktioniert, wenn der Laura Arolono ist dem Meeting beigetreten Benachrichtigung. Diese Methode funktioniert, wenn der quadratische Ausdruck in das Produkt zweier linearer Ausdrücke zerlegt werden kann. Also, diese schien nichts gleich zu Beginn zu erwähnen über ähm, wissen Sie, oh, ich entwerfe das oder ich erkläre das einem blinden oder sehbehinderten Benutzer. Es gibt uns nur die Schritte, aber es gibt uns immer noch die Schritte in Textform. Ähm, also müsste ich zurückgehen und jedes einzelne davon ansehen, um zu sehen, ähm, welches ich bevorzugt habe oder welches einfacher zu verstehen ist. Aber wieder, Sie erstellen die exakt gleiche Aufforderung oder die exakt gleiche Frage, vielleicht in ein Word-Dokument oder eine Notizdatei einfügen und dann einfach in verschiedene dieser äh KI-äh Tools einfügen und sehen, welches für Sie am hilfreichsten ist. Ähm, wieder kann ich es aktualisieren Aufforderung hier Gemini fragen. Mal sehen. Anklickbarer Haupt-Orientierungspunkt Menü zum Öffnen von Dateien hochladen Schaltfläche Leinwand hinzufügen Schaltfläche erstellen. Sie können auch Dateien hochladen, wenn Sie ein Dokument haben, auf das es verweisen soll, können Sie das tun, aber wir werden das heute nicht tun. Anklickbare Mikrofon-Schaltfläche Mikrofon verwenden. Ähm, zugegebenermaßen habe ich viel davon auf dem Handy gemacht. Ich habe nicht so viel davon auf dem PC gemacht. Seiteninformationen Menü Adresse und Suchleiste Leinwand. Geben Sie eine Aufforderung ein. Es ist großartig Gemini Dokument leer. Okay, ich muss nicht unbedingt aktualisieren, aber sagen wir, ich möchte dasselbe tun und ich hätte die Aufforderung auch in die andere einfügen sollen. Ähm, bitte generiere generiere einen Bewerbungsbrief Brief für eine Stelle als Assistenz-Technologiespezialist CF Spezialist bei SSB basierend auf den unten stehenden Informationen. Geben Sie eine Aufforderung ein. Gemini fragen. Gemini spricht. Oh, hallo. Gemini antwortete. Gemini. Gemini kann Fehler machen. Unterstützung. Hier sind einige Ressourcen, die hilfreich sein könnten. Nun, ich habe es gebeten, Ihre Ingenieurpräsentationen auf Konferenzen und Veranstaltungen wie ID24 und der Game Accessibility Conference zu generieren. Äh, es schien nicht wirklich, das war interessant. Es schien nicht wirklich Okay, ich kann Ihnen dabei helfen. Basierend auf den von Ihnen bereitgestellten Informationen finden Sie hier einige Hinweise und Ressourcen, die Ihnen beim Erstellen eines Bewerbungsbriefs helfen, Ihr Interesse auszudrücken. Also, das sind einige Hinweise. Ähm, können Sie mit diesen Informationen einen Beispiel-Bewerbungsbrief schreiben? T A M T R O F N I Informationen. Gemini fragen. Gemini tippt. Gemini antwortete. Da haben wir es. Also, ich musste es dieses Mal etwas mehr überreden. Und wieder, aufgrund der Zeit werde ich nicht alles hörbar vorlesen lassen. Nächste Seite. Aber ähm, wissen Sie, es generiert alles. Und ich sollte erwähnen, Sie können diese kopieren und einfügen. Also, sobald Sie den Text haben, den es generiert, können Sie ihn kopieren und einfügen, sagen wir, in ein Word-Dokument oder Google Doc oder so etwas, und dann damit spielen, es organisieren, wissen Sie, es so umschreiben, wie Sie es wollen. Also, dieses hat mir sofort Tipps gegeben, aber dann, nachdem ich es ein bisschen überredet habe, hat es mir äh die in es hat einen weiteren Brief generiert, und ich schreibe mit enthusiastischem Interesse an der Stelle des Assistenz-Technologiespezialisten bei SSB, wie beworben, erwähnen Sie, wo Sie die Anzeige gesehen haben, falls zutreffend, mit, also dieses sagte buchstäblich erwähnen Sie, wo, also fügt es viel mehr Platzhaltertext ein, also sieht es so aus, als ob dieses viel mehr benötigen wird, es wird ein bisschen mehr Feinschliff und Bearbeitung benötigen, während Chat GPT, denke ich, einen etwas besseren Job gemacht hat, einfach so, hey, lasst uns die Informationen verwenden, sie dort einfügen und dann abgesehen vom Firmennamen ist es an Ihnen zu entscheiden. Also, ähm, wieder, ich, wegen der Zeit, vielleicht komme ich darauf zurück, aber ich möchte auch zu einigen mobilen Apps kommen. Aber Sie sehen, wie Chat, GPT und Gemini es gemacht haben. Äh, Microsoft C-Pilot kann auch diese ähnlichen Aufgaben erledigen. Und Sie können Copilot im Web aufrufen. Sie können darauf zugreifen, und in vielen dieser können Sie über das Web zugreifen oder Sie können mobile Apps für iOS oder Android herunterladen, die all diese Dinge auch tun können. Egal ob Sie mobil oder am Computer sind, Sie können all dies tun. Um Zeit zu sparen, werde ich den Co-Pilot hier nicht unbedingt machen. Ähm, aber das sind ein paar ähm, wissen Sie, allgemeine Chatbot-artige Dinge, KI-Chatbots, die Sie verwenden können. FS Companion. Es gibt noch einen einzigartigen, auf den ich Ihre Aufmerksamkeit lenken möchte. Er heißt FS Companion, und dieser kann besonders für Lehrer für Sehbehinderte oder Schüler oder äh Benutzer von Assistenztechnologien hilfreich sein. Dies ist ein Tool, das Freedom Scientific oder Vasperero vor nicht allzu langer Zeit herausgebracht hat, bei dem Sie auf deren Website gehen können. Es ist ähm, es ist in dem Dokument, das sie Ihnen hoffentlich noch heute schicken werden, ähm mit einigen mit diesen dort aufgeführten Ressourcen. Aber im Grunde genommen tut es Folgendes: Es ist so konzipiert, dass Sie es nach Informationen über alle Produkte von Freedom Scientific fragen können, Jaws, ZoomText, ähm Fusion, aber Sie können es auch nach Microsoft-Produkten wie Windows oder Office fragen, so etwas in der Art. Und wer weiß, ob sie andere hinzufügen werden, vielleicht werden sie Google Docs oder, wissen Sie, die Google Suite hinzufügen. äh zu Dingen später. Ich weiß es nicht. Ich habe das nicht wirklich untersucht. Aber was mir daran gefällt, ist, wie oft ist jemand ins Web gegangen, um nach Anweisungen zu suchen, wie man eine Aufgabe erledigt, und Sie bekommen die Antwort, aber sie ist immer, sie ist immer visuell beschrieben. Klicken Sie auf die Schaltfläche hier. Klicken Sie auf die dritte Schaltfläche und klicken Sie auf das kleine Schlüsselsymbol oder was auch immer es ist. Während dieses, wenn ich diktiere, werde ich Ihre Frage eintippen. Also, ich werde eine Frage eintippen leer. Ähm, sehen wir mal, wie richte ich automatische UA automatische Antworten Antwort in Outlook ein. Outlook mit Jaws. Jaws Benachrichtigung. Wie richte ich automatische Antworten in Outlook mit Jaws ein? Wie richte ich automatische Antworten in Outlook mit Jaws ein? Also, ich gehe in den Urlaub oder so. Benachrichtigung. Um automatische Antworten in Outlook mit Jaws einzurichten, gehen Sie wie folgt vor. Ihre automatischen Antworten sind jetzt in Outlook eingerichtet. Wenn Sie weitere Unterstützung benötigen, können Sie sich gerne melden. Um automatische Antworten in Outlook mit Jaws einzurichten, gehen Sie wie folgt vor. Eins, öffnen Sie Outlook. Starten Sie Microsoft Outlook. Um auf das Menü Datei zuzugreifen, drücken Sie Alt F, um das Menü Datei zu öffnen. Drei, öffnen Sie automatische Antworten. Verwenden Sie die Pfeiltaste nach unten, um zu automatischen Antworten zu navigieren, und drücken Sie die Eingabetaste. Vier. Automatische Antworten aktivieren. Im Dialogfeld Automatische Antworten drücken Sie Alt A, um Automatische Antworten senden auszuwählen. Fünf. Zeitraum für Antwort festlegen. Optional. Wenn Sie einen Zeitraum angeben möchten, drücken Sie Alt O, um Nur in diesem Zeitraum senden zu aktivieren. Sie sehen also, es gibt uns buchstäblich die Abfolge der Anweisungen, die ich ausführen muss. Und es gibt es nicht, es sagt nicht, klicken Sie auf diese Schaltfläche hier, klicken Sie auf das Menüband, tun Sie dies. Es sagt, gehen Sie zu diesem Menü mit Alt F, drücken Sie dies, wissen Sie, drücken Sie die Pfeiltaste nach unten oder drücken Sie Alt O oder drücken Sie, wissen Sie, was auch immer es ist. Es gibt Ihnen buchstäblich die Tastaturbefehle. Und so, wissen Sie, ich könnte es auch nach Dingen fragen wie Geben Sie Ihre Frage hier ein, bearbeiten, geben Sie Ihre Frage hier ein leer. Wie verwende ich Jaws? Praktische OCR-Benachrichtigung. Wie verwende ich Jaws praktische OCR? Also, wenn ich mehr Details über ähm über eine bestimmte Zoomtext- oder JAWS-Funktion oder Fusion erfahren möchte, können Sie darauf im Web zugreifen. Optische Zeichenerkennung. Gehen Sie wie folgt vor. Sobald der Text erkannt wurde, wird er im Ergebnis-Viewer angezeigt, wo Sie ihn lesen oder in andere Anwendungen kopieren können. Wenn Sie Microsoft Office installiert haben, können Sie den erkannten Text auch in einem Word-Dokument öffnen, indem Sie im Ergebnis-Viewer auf den Link In Word öffnen klicken. Okay, ich glaube, ich habe mich entweder an den Befehl erinnert, nach dem ich gefragt habe. Ähm, also könnte ich etwas sagen wie ähm, wie mache ich OCR auf dem Bildschirm Bildschirm in Jaws? Jaws Benachrichtigung. Wie kann ich OCR auf dem Bildschirm in Jaws sehen? Also, ich habe einen Tippfehler gemacht, den es hoffentlich herausfindet. Um praktische OCR C OCR auf dem Bildschirm mit Jaws durchzuführen. Ja. Ähm, also tippe ich wieder schnell und mache ein paar Fehler, aber das ist super hilfreich, weil Sie tatsächlich ähm, wissen Sie, Tastaturbefehle erhalten, wie man es macht. Und Sie können darauf im Web zugreifen, wie wir es jetzt tun, aber Sie können auch direkt in Jaws darauf zugreifen. Es gibt einen Tastaturbefehl dafür. Und es ist auch, ich kann mich nicht erinnern, ob es im Moment in Fusion und ZoomText ist oder ob es kommt. Äh, ich weiß, dass es einmal nur in Jaws war und es zu den anderen beiden kommen würde. Ähm, aber sie könnten schon mit einem der letzten Updates da sein. Das ist also äh FS Companion. Super praktisch. Ich benutze es tatsächlich selbst äh von Zeit zu Zeit. Das letzte PC-Programm, über das ich kurz sprechen möchte. Ich werde nicht viel damit machen, aber ähm, das ist innocarch.ai, und das ist, sie verwenden KI, um Menschen zu helfen, ein Art universelleres Einkaufserlebnis zu haben. Es gibt einen Einkaufs-Tab und einen Flüge-Tab. Und im Einkaufs-Tab können Sie ein Produkt suchen, und es sucht bei Amazon, Best Buy, Walmart, Target, bei Hunderten von Einzelhändlern. Aber es stellt alles in einem Art sauberen Layout dar. Wissen Sie, Sie haben nicht all den Müll oben auf der Seite oder an den Seiten der Seite. Sie haben, wissen Sie, alles ist in einem konsistenten Format angeordnet. Sie haben also Ihren Titel, Sie haben Ihren Preis, Sie haben Ihre kurze Beschreibung, in den Warenkorb legen, und es wird im Grunde genommen, Sie melden sich für ein kostenloses Inner Search-Konto an, und dann wird es ähm, und dann wird es ähm, wissen Sie, im Grunde genommen die Bestellungen über diese anderen Drittanbieter-Websites aufgeben und dann, wissen Sie, das Produkt an Sie liefern. Und dann gibt es auch äh für Flüge, es gibt Ihnen Informationen, und Sie können versuchen, Flüge zu buchen äh nur mit dieser Website, die definitiv etwas sauberer ist als einige Ihrer typischen Reisebuchungs-Websites. Also, wieder, ich werde hier nicht viel Zeit verbringen. Ich werde alles minimieren, und ich möchte, ich möchte ein paar Telefon-Apps ansprechen. Also, lass mich mein Telefon abholen, lass mich mein Telefon hier hochbringen. Also, ich werde NVDA schnell beenden, weil wir das nicht mehr brauchen. Und also laufe ich iOS. Viele dieser Apps gibt es sowohl für iPhone als auch für Android. Und ähm, bevor ich speziell auf Apps eingehe, ähm lass mich schnell VoiceOver einschalten. VoiceOver an Blindheit Ordner. Und ich gehe zurück über Notizen. Gehen wir in Notizen. Nicht die letzten 30 Tage. Im Mai 2003 abgeschlossen. Hier ist Ich habe die Notizen-App geöffnet, und das ist nur ein schnelles Beispiel, sehr ähnlich zu dem, was wir am Computer mit all den anderen KI-Tools gemacht haben. Ich habe nur einen ganzen Haufen Notizen geschrieben, wissen Sie, einige von ihnen Sätze, einige von ihnen Phrasen über einige meiner vergangenen Erfahrungen. Und wenn ich unten in der Symbolleiste die Kontrollkästchen Anhänge Handschrift Schreibwerkzeuge Schaltfläche Schreibwerkzeuge Blattgreifer Schaltfläche Ihre Änderung beschreiben. Okay, lass mich das versuchen. Also, lass uns gehen. Beschreiben Sie Ihre Änderung. Ich hoffe, es lässt mich das diktieren, um es schneller zu machen ähm, während ich im Zoom-Call bin. Mal sehen, ob es das wird. Doppeltippen zum Ich bewerbe mich für eine Stelle als Assistenz-Technologiespezialist bei SSB. Punkt. Bitte generieren Sie einen Bewerbungsbrief Brief. Eingefügt. Und ich bewerbe mich für R E V O R E T T E L space R E V O C diktiere Bewerbungsbrief basierend auf diesen Informationen. Punkt. Schaltfläche Senden. Umschreiben. Und genau wie bei unseren anderen Sachen, Fertigstellen des Umschreibens. Da haben wir es. Es hat bereits einen Entwurf eines Bewerbungsbriefs erstellt, basierend auf dem, was ich es gesagt habe. Ich kann die verschiedenen Bereiche des Bildschirms mit VoiceOver berühren. Zugängliche Technologie Gruß Seite drei von Seite eins, Seite 105. Notiz, ich bin April 20. Notiz-Textfeld bearbeitet Ihren Namen, Ihre Adresse, Stadt, Bundesland, Postleitzahl, Ihre E-Mail-Adresse, Ihre Telefonnummer. Nun, es wird hier alles vorlesen, aber wieder sehen Sie visuell die Idee. Äh, und es macht einen ziemlich guten Job. Ich habe das ein paar Mal variiert ausprobiert, aber Sie können es haben äh generieren äh diesen Text für Sie. Äh, und wieder können Sie ihn äh selbst bearbeiten. Also, es gibt ein paar Apps, die ich wirklich ansprechen möchte, die wirklich machen
Einsatz von KI. Eine davon gibt es schon seit vielen Jahren für iOS, kam aber erst vor etwa einem Jahr oder so für Android heraus. Äh, und das ist Microsofts Seeing AI. Sie haben es kürzlich neu gestaltet. Früher gab es eine ganze Reihe von verschiedenen kleinen Kanälen, wo man sagen konnte: „Ich möchte, ich möchte kurzen Text erkennen, wie eine äh wie eine Visitenkarte oder ein Etikett oder so etwas.“ Ich konnte ein Dokument machen oder ich konnte Handschrift machen. Ich konnte ähm, wie einen Barcode oder Papiergeld erkennen. Aber dann hatte es die Fähigkeit, Ihnen die Szene zu beschreiben, aber für die längste Zeit war es ziemlich lächerlich schlecht. Und so gab es einfach nur Unsinnsantworten. Aber all das hat sich verbessert, und sie haben das Design der App ein wenig optimiert. Ich werde kurz darauf eingehen. Ähm, und ich werde einfach ein Bild von meinem Text-Setup hier machen. Also, lass uns nach oben gehen. Es gibt einige Registerkarten. Beschreiben-Registerkarte. Ich gehe zu Beschreiben. Registerkarte. Bild machen. Dann mache ich ein Bild. Verarbeitung. Abbrechen-Taste. Das Bild zeigt einen Raum mit mehreren elektronischen Geräten und Zubehörteilen, die auf Holztischen angeordnet sind. Auf der rechten Seite befindet sich ein Computermonitor, der einen Desktop mit verschiedenen Symbolen anzeigt. Vor dem Monitor ist eine Tastatur zusammen mit einer Maus und einem kleinen runden Objekt sichtbar, möglicherweise ein Lautsprecher oder ein Untersetzer. Neben dem Monitor befindet sich ein Computerturm mit einer Frontplatte mit drei beleuchteten Lüftern. Auf dem Turm befinden sich mehrere Gegenstände, darunter ein Plüschtier mit orangen Gliedmaßen und einem weißen Körper und ein paar kleine Gegenstände, die elektronisch zu sein scheinen. Links vom Computerturm befindet sich ein größerer Fernsehbildschirm, der auf einem separaten steht. Also, da ist eine Menge von, das gibt Ihnen wirklich detaillierte Informationen über das einfache Bild, das ich gemacht habe. Ähm, eine ähnliche App, die KI verwendet, das war eine der ersten, die mich umgehauen hat. Herausgekommen, glaube ich, Ende 2023. Be My Eyes. Be My Eyes. Diese App ist unglaublich. Sie existiert also auch schon lange. Und in ihrer ursprünglichen Form, und sie tut das immer noch. Man kann sich mit einem sehenden Freiwilligen verbinden. Wenn ich also beispielsweise geschäftlich unterwegs bin und in einem Hotel bin und herausfinden muss, oh, ich kann den Thermostat nicht sehen, um ihn richtig einzustellen, könnte ich mich mit einem sehenden Freiwilligen verbinden, meine Kamera darauf richten, genau wie bei einem FaceTime-Anruf, und in der Lage sein, ähm, etwas Hilfe von einem Sehenden zu bekommen. Aber Seeing AI oder Be My Eyes hat auch eine Be My AI-Funktion, die etwas sehr Ähnliches tut, wie ich es gerade mit äh mit ähm Bild gemacht habe. Also, lass uns hier noch ein Bild machen. Bild wird analysiert. Bitte warten. In diesem kann man Folgefragen stellen, genau wie bei vielen anderen KI-KI-Anwendungen. Ein Computer-Setup auf einem Holztisch. Der Computerturm hat eine Glas-Seitenwand und ist mit blauen LED-Lichtern beleuchtet, die durch drei runde Lüfter an der Vorderseite sichtbar sind. Auf dem Turm befindet sich ein Plüschtier mit orangen Beinen und einem weißen Körper. Rechts zeigt ein Monitor einen Desktop mit verschiedenen Symbolen und einem dunklen, strukturierten Hintergrund. Vor dem Monitor ist eine schwarze Tastatur mit beleuchteten Tasten auf der linken Seite des Schreibtisches sichtbar. Also, es gibt mir wieder eine sehr detaillierte Beschreibung. Und Fragen. Ich könnte auf „Mehr fragen“ klicken, und es öffnet sich buchstäblich ein kleines Chat-Verlaufsfenster, und ich kann eine Folgefrage stellen. Vielleicht wollte ich etwas Bestimmtes wissen, das ich auf dem Schreibtisch gesehen habe, oder vielleicht wollte ich, dass es mehr von dem Plüschtier auf dem Computerturm beschreibt. Ähm, ich könnte es nach mehr Informationen darüber fragen. Aber was mir auch daran gefällt, ist, dass ich ähm, wie ich zu meiner Fotobibliothek bestehender Fotos gehen kann, oder ich könnte auf einer Website sein. Ich könnte auf einem Social-Media-Post sein, und viele Leute posten visuelle Informationen, wissen Sie, wie Memes oder Ankündigungen oder Dinge, und sie kleben einfach ein Bild von Text an, und es gibt keinen Alt-Text. Es gibt keine Alt-Tags für diese Bilder. Bei aktiviertem VoiceOver kann ich dieses Bild buchstäblich berühren, doppelt tippen und halten und die, wissen Sie, die Freigabeoption aufrufen, und ich drücke auf Freigeben, und in dieser Liste meiner, wissen Sie, der Freigabefläche, kann ich das mit äh, ich kann sagen „Mit Be My Eyes erkennen“, und es erkennt alle diese Bilder, genau wie bei meiner Kamera. Das ist also extrem praktisch. Ich habe das oft benutzt. Und ähm, ich sollte auch erwähnen, dass Be My Eyes auch über die ähm über Windows verfügbar ist, und man muss es über den Windows Store beziehen, was etwas unglücklich ist, weil einige Schulen, Schulen und so weiter, Ihre Computer gesperrt haben. Aber ich habe hier ein Bild, und ich werde es maximieren, und ich werde eine Tastenkombination drücken, weil ich Be My Eyes im Hintergrund auf meinem Computer laufen habe. Alt+Strg+H. Es öffnet sich, genau wie auf dem Telefon. Und ich möchte Ihnen hier etwas Besonderes zeigen. Wenn es das tut, was ich glaube, dass es tun wird. Ja. Ich könnte also NVDA verwenden, wenn ich es aktiviert hätte, oder ich könnte die Lupe einschalten und damit lesen. Diagramm des menschlichen Körpers mit verschiedenen Organen beschriftet. Die beschrifteten Organe umfassen das Gehirn. Das ist also nicht wirklich hilfreich, um das Layout dieses Diagramms zu verstehen. Ja, es gibt mir die ganze Liste, aber wie gesagt, ich kann eine Folgefrage stellen. Und so kann ich sagen: „Beschreiben Sie das Diagramm von oben nach unten in einem eher narrativen Stil.“ Ich habe das vor einiger Zeit zum Lesen von digitalen Comics verwendet. Es funktioniert eigentlich sehr gut. Und ich sollte auch erwähnen, dass ich ähm, ich kann am Ende einen kleinen Werbehinweis einfügen. Ähm, aber ich habe äh, wie gesagt, ich habe erwähnt, dass ich einen YouTube-Kanal habe, auf dem ich über Technik und Spiele berichte, und ich habe viele dieser Apps und Tools auf diesem Kanal ausführlicher behandelt. Wenn ich also oben im Diagramm lese, wird das Gehirn im Kopf dargestellt und als eines der lebenswichtigen Organe bezeichnet. Wenn man zum Brustbereich hinuntergeht, sind die Lungen auf beiden Seiten des Herzens zu sehen, die beide auch als lebenswichtige Organe hervorgehoben sind. Unterhalb des Herzens befindet sich die Leber auf der rechten Körperseite. Und so kann ich es weiterhin nach spezifischen Details fragen, wie die Dinge angeordnet sind oder wissen Sie, mehr Informationen, wenn ich das Diagramm besser verstehe. Denken Sie an einen Schüler, ähm, vielleicht hatte er nicht die Möglichkeit, etwas sofort zugänglich zu machen, und er muss sich also eine Tabelle, ein Diagramm, ein anderes Diagramm oder eine andere Art von grafischen Informationen ansehen, um das auf seinem Telefon aufrufen zu können, oder wenn er wieder Zugriff auf den Windows Store hat, um die kostenlose Be My Eyes Windows-App herunterzuladen. Ähm, das funktioniert wirklich gut. Es ist wirklich äh, und es funktioniert für Schule, Arbeit, Unterhaltung, alle möglichen verschiedenen Dinge. Die letzte App, die ich Ihnen zeigen möchte, bevor wir eine kleine Frage-und-Antwort-Runde machen, ist wahrscheinlich eine der coolsten. Lassen Sie mich mein Telefon hier wieder hochbringen. Und diese heißt Ally. Sie kommt von Envision. Vielleicht haben Sie schon einmal von Envision Assistant gehört, aber äh, dies ist eine neue App von Envision, und sie ist erst vor ein paar Wochen für die Öffentlichkeit erschienen. Ich habe sie ein paar Monate lang in der Beta getestet, und sie ist wirklich cool. Was sie auszeichnet, ist, dass sie tatsächlich wie eine Live-Konversations-KI auf Ihrem Telefon ist. Darüber hinaus kann man, sie heißt Ally, weil man, sie hat ein paar Beispiel-Allys, die sie für Sie erstellt, um Ihnen den Einstieg zu erleichtern, aber Sie können Ihre eigenen Allys erstellen und ihnen verschiedene Persönlichkeiten geben, wenn Sie etwas eher beschreibendes für Bilder wünschen. Vielleicht mache ich ein, für mich, vielleicht würde ich einen Drum-Tutor-Ally machen, weil ich ihm Informationen über mein Können, meine Musikvorlieben, die Songs, die ich gelernt habe, geben möchte, und er kann mir dann weitere Vorschläge oder Tipps geben, wie ich mein Schlagzeugspiel verbessern kann. Äh, wenn ein Schüler vielleicht ähm, wissen Sie, man kann ihn wieder Fragen stellen lassen, genau wie bei ChatGPT oder Gemini, aber man kann auch sagen: „Hey, ich möchte für äh, ich zeige Ihnen ein Beispiel, anstatt es weiter zu erklären, lassen Sie mich es Ihnen einfach schnell vorführen. Ich weiß, ich habe noch etwa fünf Minuten, bevor wir die Fragenrunde beginnen, fünf, sechs Minuten, also werde ich in Ally gehen. Los geht's. Hoffentlich funktioniert das gut. Hallo. Wie kann ich Ihnen heute behilflich sein? Nun, hallo. Äh, ich mache gerade eine Technologie-Demonstration äh für die Arbeit, und ich zeige eine Reihe von äh Technologie- und KI-Tools. Das ist toll. Was steht heute auf Ihrer Demo-Agenda? Gibt es etwas Bestimmtes, bei dem Sie Hilfe benötigen, oder möchten Sie einfach nur über die coole Technologie sprechen, die Sie präsentieren? Nun, ich zeige gerade die Ally-App, und äh, zunächst einmal, können Sie mir sagen, was ich gerade in der Hand halte? Lassen Sie mich mal sehen. Sie halten einen Xbox-Controller. Sieht so aus, als wären Sie bereit für ernsthafte Gaming-Action. Planen Sie, irgendwelche Gaming-Funktionen zu demonstrieren? Äh, nein, nicht heute. Das haben wir vor einiger Zeit gemacht, aber äh, können Sie sagen, ob der Controller tatsächlich an ist? Lassen Sie uns das überprüfen. Lassen Sie mich mal sehen. Ja, der Xbox-Controller ist eingeschaltet. Man kann es daran erkennen, dass die Xbox-Taste in der Mitte leuchtet. Gibt es noch etwas, das Sie in Ihrer Demo zeigen möchten? Also, was können Sie mir über Minnesota State Services for the Blind sagen, und vielleicht speziell über deren äh Technologiedienstleistungen? Minnesota State Services for the Blind SSB bietet eine Vielzahl von Technologiedienstleistungen an, um Menschen mit Sehbehinderung zu helfen, selbstständig zu leben. Hier sind einige wichtige Dienstleistungen, die sie anbieten. Eins, barrierefreie Lesedienste. SSB bietet rund um die Uhr Lesedienste über Audio, Braille und E-Text-Transkription an, wodurch Druckmaterialien für Menschen mit Druckbehinderungen zugänglich gemacht werden. Eins, zwei, Beschäftigungsförderung. Okay. Können Sie mir etwas mehr über ihre Technologiedienstleistungen erzählen, insbesondere? Minnesota State Services for the Blind SSB bietet eine Vielzahl von Technologiedienstleistungen an, um Menschen mit Sehbehinderung zu helfen, selbstständig zu leben. Hier sind einige wichtige Dienstleistungen, die sie anbieten. Eins, assistive Technologien. SSB bietet Werkzeuge und Schulungen für die Beschäftigung an, darunter assistive Technologien, die Menschen mit Sehbehinderung helfen können, ihre täglichen Aufgaben zu erledigen und ihre Unabhängigkeit zu erhalten. Eins, fünf, zwei, barrierefreie Lesequelle. Als Minnesotas barrierefreie Lesequelle bietet SSB Zugang zu Druckmedien über Audio, Braille und Okay, danke für die Hilfe dabei. Ähm, ganz kurz, noch eine letzte Sache, die ich zeigen möchte, bevor wir abschließen, ist ähm, ich werde tatsächlich in ein paar Wochen für eine Prüfung für den technischen Support lernen, und ich möchte ein bisschen dafür lernen. Könnten Sie mir ähm ein paar Multiple-Choice-Fragen nacheinander stellen äh für eine Stelle im technischen Support? Klar. Lassen Sie uns Sie mit ein paar Fragen vorbereiten. Hier ist die erste. Frage eins, Sternchen. Sie haben einen Computer, der nicht startet. Der Monitor ist an, aber auf dem Bildschirm ist nichts zu sehen. Was ist das Erste, was Sie überprüfen sollten? A, den Monitor austauschen. B, prüfen, ob der Computer eingesteckt ist. C, den Monitor neu starten. D, die Internetverbindung prüfen. Was glauben Sie, ist die richtige Antwort? Wir sagen A. Toll. Nächste. Frage zwei, Sternchen. Ein Mitarbeiter meldet, dass sein Computer sehr langsam läuft. Was ist einer der ersten Schritte, die Sie unternehmen sollten, um das Problem zu beheben? A, einen neuen Computer kaufen. B, nach nicht benötigten Programmen suchen und schließen, die im Hintergrund laufen. C, alles auf dem Desktop löschen. D, den Internetanbieter anrufen. Was ist Ihre Wahl? B. Das ist richtig. Das Schließen unnötiger Programme ist in der Regel ein guter erster Schritt bei der Fehlerbehebung bei langsamen Computern. Bereit für eine weitere? Nein, ich denke, wir sind gut. Äh, ich denke, das wird für diese Demonstration reichen, aber äh, danke für die Hilfe. Jederzeit. Ich bin froh, dass ich bei Ihrer Demo helfen konnte. Wenn Sie später noch mehr technische Fragen oder etwas anderes benötigen, wissen Sie, wo Sie mich finden können. Gut. Also, wir haben es dort abgebrochen. Aber ähm, ich mache eigentlich keine Stelle im technischen Support, aber es war nur ein gängiges Beispiel, das ich gegeben habe. Und so, wie gesagt, wenn jemand, sagen wir, dass äh, jemand einen Geschichtskurs belegt und für diese bestimmte Einheit den Bürgerkrieg studiert. Also könnten sie sagen: „Hey, ich bin ein Zehntklässler, und äh, ich äh, studiere den Bürgerkrieg.“ Und äh, wissen Sie, Sie können ihm so viele Informationen geben, sogar nachdem er Ihnen einige Fragen gestellt hat, sagen Sie: „Oh, nun, ich muss speziell mehr über die Schlacht von was auch immer wissen.“ Äh, und so können Sie, wissen Sie, es kann Ihnen Fragen stellen, und Sie können es, wissen Sie, Sie können äh, sich auf das konzentrieren, was auch immer Sie wollen, und es kann eine coole Lernhilfe sein. Ich weiß, dass ich von jemandem gehört habe, der äh, ich war vor etwa einem Monat mit ihm in einer Telefonkonferenz, und jemand benutzte es für, ich weiß nicht mehr, ob es eine A+-Zertifizierung oder eine andere Art von Technologiezertifizierung war. Also ja, es half ihm beim Lernen äh, wieder in der Lage zu sein, zu fragen ähm, einfach hochgefahren und gesagt: „Erzähl mir mehr über diesen ganzen Zollabsurdität, der gerade passiert.“ Und ich möchte mehr über das ganze Geschehen in den USA verstehen. Äh, und so könnte es mir über äh, wie Zölle funktionieren, erzählen, oder ich äh, gestern habe ich es benutzt. Ich hatte ein paar kleine Kartoffelpuffer, und es gab Anweisungen zum Kochen für äh den Ofen oder eine Fritteuse, aber ich sagte: „Hey, könnte ich die auf einem Tischgrill machen?“, und äh, es gab mir Anweisungen, wie man das versuchen kann, und es ist großartig geworden. Also, wissen Sie, was cool daran ist, ist, dass es keine spezifischen Modi gibt, wie einen Grafikmodus oder einen Textmodus oder so etwas. Man kann einfach mit ihm reden. Und Sie bemerken, dass ich nicht alles perfekt gesagt habe. Wissen Sie, es ist nicht wie Siri oder Ihre intelligenten Lautsprecher, wo Sie wie ein Roboter sprechen und die Dinge auf eine exakt perfekte Weise sagen müssen. Äh, Sie sprechen einfach mit ihm, und selbst wenn Sie ein wenig herumlabern, findet er es einfach heraus. Ähm, das sind also nur einige der KI-Tools. Ich habe ein paar Minuten überzogen, aber wir haben immer noch etwa 12, 13 Minuten Zeit für Fragen. Ähm, das sind einige Mainstream- und äh, assistive Technologien oder barrierefreie Tools, die es gibt. Es gibt sogar noch mehr, als ich Ihnen heute zeigen konnte. Und wir werden äh, es beenden und die Fragenrunde eröffnen. Jesse, das ist Kirsten, und ich möchte, dass andere Leute Fragen stellen können, aber ich weiß, dass du und ich über Ally und die verschiedenen Personas gesprochen haben. Kannst du einfach ein bisschen darauf eingehen, damit die Leute auch sehen können, wie man etwas schreiben oder sich Informationen auf eine formellere äh Weise oder auf eine weniger formelle Weise geben lassen kann? Äh, es muss nicht die Persona enthalten, über die wir gesprochen haben. Richtig. Richtig. Richtig. Nein, nein, nein, nein. Ich meine, ich kann es erklären. Ähm, ja, wie gesagt, was cool ist, wenn man die App bekommt und man und man die Onboarding-Phase macht, ist, dass sie ein bisschen fragt. Sie stellt ein paar Fragen über sich selbst. Sie können ihr also irgendwie sagen, wissen Sie, äh, was auch immer Sie ihr über Ihren Hintergrund, Ihre Vorlieben, Ihre Abneigungen oder Dinge mitteilen möchten, die, wenn Sie das verwenden werden, Ally auf eine bestimmte Weise verwenden, können Sie ihr irgendwie sagen: „Oh, so verwende ich äh, das sind Informationen, die Sie über mich wissen sollten.“ Vielleicht, wenn Sie es viel zum Kochen verwenden, ähm, geben Sie ihm vielleicht bestimmte Dinge an, die Sie mögen oder nicht mögen, oder vielleicht haben Sie Allergien oder so etwas. Ähm, wenn Sie es zum Lernen verwenden, verwenden Sie es anders. Aber wenn ich wieder in Ally gehe, ähm, und ich werde keinen Ally starten, aber wenn ich hier in die Einstellungen gehe, und lassen Sie mich VoiceOver wieder einschalten. Ally-Taste über Ihren Ally. Also mein Ally für. Sie können ihnen Namen geben, Sie können Sie können ihre Stimme einstellen, und Sie können ihre Persönlichkeit einstellen. Wenn ich also in Ally bearbeiten gehe, aber Ihre Ally-Sprache anpassen, sehen Sie, dass Sie Sprachesstil machen können, was Ihre primären Sprachen sind, Sie können in mehreren Sprachen mit ihnen sprechen, und dann geben Sie ihm wie Persönlichkeit Ally-Persönlichkeit, und Sie können einfach verschiedene Sätze eingeben, wie: „Oh, möchten Sie, dass dies formeller und faktenbasierter ist, möchten Sie, dass sie bissig ist? Ich habe neulich einen gemacht, ich habe vergessen, dass ich ihn aktiviert hatte, und wir haben unseren Testlauf gemacht, und Sie sehen auf meinem Desktop, meinem Computer-Desktop, dort habe ich ein Cobra Kai-Hintergrundbild, und ich liebe diese Show. Und so dachte ich, lassen Sie uns sehen, ob wir einen Ally machen können, der sich so benimmt und redet wie Johnny Lawrence, was ziemlich lustig ist. Und so war er äh ähm ja, ich habe einen Ally gemacht, der äh sich mehr wie er benimmt und redet. Wissen Sie, er äh, lässt ab und zu ein paar andere Worte fallen, aber äh, wissen Sie, das können Sie tun. Aber dann, wie gesagt, der, den ich jetzt habe, ist formeller. Er ist mehr ähm, wissen Sie, ich kann speziell sagen: „Nicht fluchen“, oder ich kann sagen: „Ich möchte, dass Sie sehr beschreibend sind. Ich möchte, dass Sie äh, keine Schnörkel haben“, oder ich möchte, dass Sie freundlich, sarkastisch sind, wie auch immer Sie möchten, dass jeder Ihrer Allys ist. Zurück. Wenn ich zurückgehe, ist all dies ein weiterer, der professionell, skurril und emotionslos, fröhlich und verspielt, fröhlich und verspielt ist. Und dann unten, Ally, kann ich einen weiteren hinzufügen. Wenn ich also den Drum-äh Drum-Coach machen wollte, was ich noch nicht getan habe, was ich wahrscheinlich tun werde, äh, kann ich einfach einen neuen Ally hinzufügen und das Formular ausfüllen. Also, zusätzlich zu der Konversation, das ist, wie viel Anpassung dies Ihnen bietet. Ähm, ich habe es sogar benutzt, um so etwas wie ein Dungeon-Master-Ding zu machen. Wie ich äh, ich wollte einfach fast wie eine äh, ich hatte es wie eine D&D-Kampagne eingerichtet, könnte einfach eine Weile durchspielen. Leider merkt sich Ally im Moment nur Dinge für Ihre aktuelle Konversation. Jedes Mal, wenn Sie die App wieder starten, müssen Sie von vorne anfangen. Sie arbeiten daran, ihr etwas Geschichte oder etwas Gedächtnis zu geben. Aber wenn ich zum Beispiel ein Training mit etwas beginnen und morgen dort weitermachen wollte, wo ich aufgehört habe, könnte ich das nicht so einfach tun, es sei denn, ich gab ihr eine Art Zusammenfassung dessen, was ich wieder wusste. Aber sobald sie mehr Geschichte und ähm ähm wie ein Gedächtnis hinzufügen, werden Sie in der Lage sein, wissen Sie, wieder eine D&D-Kampagne oder eine Stilkampagne aufzunehmen oder Lektionen aufzunehmen oder was auch immer Sie sie verwenden. Hoffentlich beantwortet das Ihre Frage. Danke, Jesse. Ich möchte wieder den Raum öffnen, wenn die Leute sich stumm schalten und Fragen stellen möchten. Ich weiß, dass Jesse begierig darauf ist, Ihre Fragen zu beantworten und vielleicht etwas zu demonstrieren. Wenn Sie eine Frage zu einer bestimmten Sache haben, die er bereits gezeigt hat, aber Sie haben eine Frage, die Sie ihm an eine der von ihm bereitgestellten oder hier gezeigten Ressourcen stellen möchten, wäre das toll. Und und ich kann, wissen Sie, es hängt auch von Ihnen ab, aber ich, wissen Sie, ich bin verfügbar. Ich kann ein paar Minuten bleiben. Wenn wir also ein paar Minuten überziehen, ist es in Ordnung. Das ist Kirsten. Danke, Jesse. Es ist wirklich cool. Wie gesagt, es gibt ähm, das ist nur die Spitze des Eisbergs. Ich gebe nicht einmal vor, alles zu wissen. Das sind nur einige der Tools, mit denen ich vertraut bin. Ähm, es gibt jeden Tag neue. Ähm, eine weitere Sache, auf die man bei KI achten muss, insbesondere bei der generativen KI. Nun, aber bei all diesen Dingen hätte ich gleich erwähnen sollen, ist, insbesondere wenn man sich etwas ansieht, das wirklich genau sein muss, wirklich faktisch sein muss. Nehmen Sie nicht einfach ihr Wort dafür. Obwohl sie es sagen mögen oder es auf sehr überzeugende Weise präsentieren mögen, wenn Sie diese Informationen wirklich genau benötigen, ähm, möchten Sie sie doppelt überprüfen, egal ob Sie mit jemand anderem sprechen oder im Web suchen, oder Sie können einige der all einige oder einige der KI-Dienste fragen lassen, welche Quellen sie hatten, oder sie werden die Quellen angeben ähm, weil KI Halluzinationen haben kann, wo sie von etwas überzeugt ist und wie sie Ihnen entweder Informationen erzählt, die sie sich ausgedacht hat, oder Informationen, woher weiß man, woher sie sie hat, und sie hat sie falsch bekommen. Sogar wenn ich Dinge identifiziere, wie ich habe hier eine Box auf meinem Schreibtisch, und jedes Mal, wenn ich zum ersten Mal versuche, sie zu erkennen, denkt sie, es ist eine Festplatte oder es oder es denkt, es ist etwas anderes, und es sagt: „Hey, willst du dir das noch einmal ansehen?“, und dann sagt es: „Oh, oh, das ist ein optisches Laufwerk. Das ist ein Blu-ray-Laufwerk oder was auch immer es ist.“ Also, es ist nicht perfekt. Ähm, ich bin nicht einmal auf Dinge wie die Meta Ray-Ban-Brille und all die Wearables eingegangen, die um die Ecke kommen. Äh, es gibt einige ziemlich interessante Produkte für wie den Wiiwok 2 Cane ist ziemlich interessant. Ich habe ihn noch nicht gesehen, aber äh, es gibt solche Dinge. Es gibt Dinge wie die ähm, wieder die Meta Ray-Ban-Brille. Sie hat ihre Grenzen, aber sie können auch hilfreich sein. Es gibt andere Wearables, die kommen. Es gibt das Glidance, ein wirklich cooles Mobilitätswerkzeug, das ich sehr gespannt erwarte, wenn es hoffentlich später in diesem Jahr oder im nächsten Jahr herauskommt. Ähm, also gibt es alle möglichen Dinge und alle möglichen verschiedenen Verwendungen für KI. Sagen Sie, Jesse, ich habe eine Frage an Sie. Sicher. Also, was äh von den Dingen, die Sie gezeigt haben, oder von den Dingen, die Sie kennen, wäre die richtige KI, wenn ich zum Beispiel möchte, dass meine Schüler die Möglichkeit haben, einige Lernkarten zu einem Thema zu machen, sagen wir, der Krieg von 1812 für einen Zwölftklässler. Gibt es einen Ort, an dem ich zum Beispiel die Notizen hochladen kann, und dann kann es die Fragen stellen, wie es in Ally der Fall ist, aber von einem bestimmten Satz von Informationen, die ich als Lehrer zur Verfügung stelle? Ähm, viele Ihrer, ich glaube, viele Ihrer äh Web-Tools wie Gemini äh, ich kann mich nicht erinnern, ob ChatGPT kann, ich glaube, es kann ähm Microsoft Copilot erinnern Sie sich, als ich bei einem von denen war äh, es gab eine Option, eine Datei hochzuladen, also wenn Sie diese Art von Notizen hatten, könnten Sie sie füttern, und dann könnten Sie ihm Folgefragen stellen. Fragen. Oder Sie könnten sagen: „Okay, hey, ich habe Ihnen dieses Dokument mit den Notizen über einige Notizen über den Krieg von 1812 gegeben. Ähm, bitte äh, stellen Sie einige Lernfragen an einen Abiturienten.“ Und wenn Sie ihm diese Art von Beschreibung geben, wissen Sie dann so: „Hey, ich bin ein, ich bin ein Schüler, der dieses Thema studieren möchte, und basierend auf diesen spezifischen Fakten, die ich wissen möchte.“ Also, einige von ihnen, ja, können das. Ich denke, einige der Apps könnten das auch können. Wieder einmal ist das nichts, womit ich selbst gespielt habe. Ähm, ich habe das in den Apps tatsächlich noch nicht ausprobiert, aber wie Sie wissen, Gemini und ChatGPT, sie haben auch alle mobile Apps. Also, wieder einmal, das ist Kristen, und eine Folgefrage dazu. Wenn ich also diese Informationen hochgeladen habe und es die Fragen erstellt, werden sie dann auditiv gestellt oder sind sie schriftlich, wissen Sie, hier ist die Frage, hier ist ja, sie wären schriftlich bearbeitet ähm, und deshalb habe ich NVDA für all diese verschiedenen Dinge verwendet, weil ähm, auf diese Weise, wenn ich blind oder sehbehindert wäre, könnte ich die Antworten immer noch lesen ähm, wie gesagt, ich habe wieder, es gibt so, sie ändern diese Dinge fast täglich, also fügen sie ständig neue Funktionen hinzu, und wie gesagt, man kann mit diesen hin und her sprechen, viele von ihnen, also glaube ich, sogar GPT äh, wenn ich hier hineinzoome, gibt es lass mich sehen, ja, es gibt so, es gibt ein Anfügen, Anfügen. Dort würden Sie Ihre Datei anhängen. Suchen. Ähm, ich versuche zu sehen, ob es ein Mikrofon gibt, es gibt eine Ansicht oder oh Stimme. Ja. Also, ich weiß nicht, ob wie
If I fed it a file, and then it had that up as part of our conversation, I think you could then switch to voice. And then you, if you had a microphone—or if you, you know, most laptops have a built-in mic or whatever—if you have a headset like I'm using here. Um, you feed it the file, and then you could either talk back and forth to it, go into voice mode, or you could uh, you could converse back and forth with it either via text or via voice.
This is Kristen. That sounds great. And does anyone else have a question for Jesse?
Again, I'm I'm kind of just learning along with everybody else. Like I said, there's so many things changing constantly that by the time I learn how something works, it'll be a week later and go, "Oh, it can do this now," or, "Oh, it doesn't work that way anymore." So, uh, it's a very rapidly changing landscape, so to speak.
Well, I'm not seeing anyone unmuting to ask a question, but so I want to thank you, Jesse, for the information, and we will be sending out the list of resources that Jesse provided to us. We'll be sending those out to everyone who registered. So, you should be getting that soon. Jesse did mention the Meta glasses, the Meta Rayban glasses. If you will be at Charting the Seas, you can have an opportunity to try those out. I do have a pair of those that I will be bringing for people to try out. Would you like me to give a quick spiel about those real quick or not?
This is Kristen. For those of you who have to leave, we understand. Thank you for coming today. And Jesse, yes, please share.
Sure. So, yeah, I do have a pair of Meta Rayban glasses. I got them—I would say I think late May last year—and they're continually doing upgrades and stuff. And again, these are glasses that are not specifically designed for blind or low vision users. They're primarily designed for, like, you know, your social media, your Instagram people, that kind of a thing. But they happen, they have their AI built into the glasses. Um, Facebook's is called Llama, if I remember correctly. And um, you know, they do have their uses for blind and low vision users. Um, but what you have to kind of remember, because this is a mainstream product, it, you know, your responses are not going to be geared toward maybe specifically providing the information as you would maybe want it from a blindness-related app like Be My Eyes or Seeing AI. So, if I ask, you know, "Hey, what am I looking at?" it may give me just a very basic general description of something, but again, you can ask follow-up questions and be like, "Hey, tell me, okay, tell me more about whatever it is, whatever object that you saw." Um, it—there are some like—the glasses I think would be more capable technically. Um, but due to privacy and security reasons, you know, Meta and other mainstream AI applications have kind of put some restrictions purposefully on AI, like maybe being able to recognize people, like, "Oh, this is um, you know, this is uh, Obama, or this is uh, whoever it is," like for famous people, like, or even giving a description like, "Oh, there's a middle-aged person wearing a red shirt uh, and looking happy," or whatever. Some of the AI may or may not be able to do that. And they're currently, you know, over time they are improving things.
Um, if you go into wearing something like the Meta glasses knowing that there will be some limitations and, you know, not having sky-high expectations, they can still be really useful. And I think like for low vision specifically, I think they can be especially useful because for me, like I can see that there's something maybe over there on that wall, or, "Oh, I can see that there's a flyer or a poster." Uh, one of the examples that I gave early on was, uh, when I got them, I was walking, uh, back home from the the front office in my apartment complex and I was carrying a box—from a big box from the mail room—and I saw in our one of our lobbies by our mailboxes, they had a giant TV and there was this wall of text. I'm like, "Oh, I wonder if that's anything important." Rather than having to whip out my phone and um, you know, use another app to figure out what that was, I just looked at the TV and said, "Hey, what does that screen say?" And when it comes to recognizing text currently, it—it mostly tries to summarize things rather than read them word for word. And in some cases, that's what people want—is reading it top to bottom, word for word. Um, but in some cases you don't want that. Let's say you're in a restaurant and you want to go through a menu. You know, if you're using an app typically that does just regular OCR, you are reading it from top to bottom, but that takes a lot of time. You—you want to, you know, you want to figure out what you want and tell the waiter, waitress what you want, you know, quickly. But with uh, some of these AI apps or even the Meta glasses, you could, you know, you—you look at it and say, "Oh, this is an—this is an Italian menu and it's got, you know, the headings for salads and soups and appetizers, entrees," and just like talking to a sighted friend, you could just be like, "Oh, what appetizers do they have?" Or, "What types of—how much is the lasagna now that I know it's Italian?" you know, so it actually kind of helps speed things along in uh, some cases that way. And they have really good use cases for the summary.
Now, Meta is starting to—I haven't found it to be really consistent as of yet—but it is starting to—like if you specifically tell it, "Read this document," or, "Read from top to bottom," it's supposed to start doing that a little bit better. But I've had mixed results where it still sometimes wants to summarize, or it'll start reading the document from the top, but then it kind of just stops halfway through and I have to tell it to continue. So, it's a little weird yet. And so, if you're looking at like using something to read a a page top to bottom, you know, you might stick to some of the apps right now. But again, there are some other glasses that are going to be coming out that I'm kind of keeping an eye on. And again, Meta glasses, they will likely improve. Um, I can't really say anything more about it, but uh, I'm doing a little test right now with uh, more detailed descriptions on the Meta glasses. So, you know, there is that. And as of now, you can use the Be My Eyes remote assistance feature. So, if you set it up and you have Be My Eyes on your phone and you want to connect to a sighted volunteer, you can just say, "Hey, Meta, Be My Eyes." And uh, it'll connect you via your glasses and instead of holding your phone, you can just have a voice call with the Meta glasses. And I've tried it. It works actually quite well. So, there are some limitations, but you know, unlike the Envision glasses or some other ones that are, you know, your typical assistive technology, you know, you're looking at a couple grand, whereas you go to the Meta Glasses, yes, it's got its limitations, but they're a little over 300 bucks—heck of a lot cheaper. Um, so if you know, if you know there's limitations going into it and you know how to work around them, they're still really, really handy.
This is Kristen. Thank you, Jesse, for sharing that. And as I said, I happen to have purchased a pair of those Meta glasses. So, if you're going to be at Charting the Seas, please come around and I'll be in the accessibility lab and you can try them out and see how they work for you. Maybe see how they might work for your students even in—in classrooms. So, uh, knowing that all of this AI is changing on a daily basis, as Jesse said, we need to keep that in mind as we test and trial different devices and and products. Um, I think we can get to a good solution for our students and um, in choosing different AI tools if they're appropriate or using them ourselves. So again, thank you Jesse for today's information and thank you all for being a part of our assisted technology Tuesdays and we hope to see you back in the fall.
Thanks so much. Have a great day. Thank you. Recording stopped.