Kann Chat GPT beim Lösen von Geocaching Mysterys helfen?

Blog 2023-01-31: Kann Chat GPT beim Lösen von Geocaching Mysterys helfen? Kategorie: Künstliche Intelligenz, Chat GPT Stichworte: ChatGPT, Chat GPT, Chat, GPT, Geocaching, Geocache, Mystery, Mysterys, Mysteries, Rätsel, Lösen, Künstliche, Intelligenz, AI, OpenAI, Neural, Network, Fake News, Content Policy

Das Künstliche Intelligenz-Werkzeug Chat GPT von OpenAI ist momentan in aller Munde. Ja, man könnte sogar von einem regelrechten Hype sprechen.

ChatGPT in den Medien

Die Nachrichtensendungen und -zeitschriften und auch die Internet-Meldungen überschlagen sich mit Schlagzeilen über ChatGPT. Folgende top gerankten Überschriften habe ich heute bei Google zu dem Thema gefunden:

• US-Magazin lässt Artikel seit Monaten heimlich von Kl schreiben
• Menschen müssen die Drecksarbeit für Chat GPT verrichten
• Schulen und Hochschulen suchen den Umgang mit ChatGPT
• ChatGPT: Ein Superspreader für Fake News? - Berliner Zeitung
• ChatGPT: Hacker nutzen Kl für Malware-Programmierung
• ChatGPT: Mächtige Waffe in Händen von Skriptkiddies
• Hausarbeiten schreiben mit Chatbot: so hilft dir ChatGPT
• Sprachprogramm ChatGPT - Die Uni-Hausarbeit hat ausgedient
• ChatGPT - Werden Journalisten bald arbeitslos?
• ChatGPT macht uns arbeitslos und disrupiert den Arbeitsmarkt
• Wird ChatGPT Programmierer ersetzen?

Natürlich ist vieles davon einfach nur ClickBait-Überschrift, um potientielle Leser auf die Seite zu locken, damit diese dann enttäuscht feststellen, dass alles am Ende des Tages (bzw. Artikels) doch nicht so heiß gegessen wird, wie es gekocht wird.

ClickBait ist echt die neue Seuche, wo jeder - ähnlich wie bei der Werbung - noch einen oben drauf setzen muss, um aufzufallen und geklickt zu werden. Das Schlimme: mittlerweile macht das nicht mal mehr vor (eigentlich/vermeintlich?) seriösen Publikationen halt und greift immer mehr um sich. Aber das ist ein Thema für einen anderen Blog.

Wenn man manchen Schlagzeilen Glauben schenken möchte (glaubt bitte keinen ClickBait-Überschriften!), dann sind wir alle schon morgen arbeitslos, weil ChatGPT die ganze Arbeit für uns erledigt, so toll ist das Teil.

Mit ein bisschen nachdenken muss man aber dann darauf kommen, dass auch ChatGPT nur mit Wasser kocht und nicht zaubern kann.

Um es vorweg zu nehmen: Es funktioniert nicht schlecht, ist aber noch weit weg von perfekt und es behauptet vollen Inbrunst und Selbstvertrauen Dinge, die schlichtweg falsch sind, sie seien wahr. Sich auf die Ergebnisse von ChatGPT zu verlassen ist also keine gute Idee.

Aber ChatGPT steht ja noch am Anfang und lernt mit jedem Chat dazu und wird immer besser. Vielleicht ist es in nicht allzu ferner Zukunft dann wirklich ein brauchbares, universellen Tool.

Wo steht ChatGPT derzeit? Werden wir es benutzen können, um einfache Aufgaben automatisch erledigen zu können? Wie "schlau" ist ChatGPT und wie einfach der Umgang damit? Ist das eher nervig oder doch schon brauchbar?

Ich mache die Probe auf Exempel und will ChatGPT testen, inwieweit er beim Geocaching unterstützen kann. Und zwar beim Lösen von Geocaching Rätseln, sogenannten Mysterys. Ich will ganz einfach anfangen und mich bei Erfolg steigern und immer schwierigere Rätsel stellen und so die Grenzen von ChatGPT ausloten.

Der ChatGPT Dialog - hauen wir in die Tasten

Ihr könnt euch den gesamten Dialog (inklusive einem kleinen Intro mit zusätzlichen Erklärungen) auch als Video am Ende der Seite anschauen, falls euch das lieber ist.

Zu Anfang habe ich keinen Erfolg, mich in ChatGPT einzuloggen und los zu chatten. Ich wollte schon aufgeben, aber dann hat es doch noch funktioniert, indem ich eine alte Session reaktiviert habe.

Zuerst einmal will ich ChatGPT ein wenig "in Kontext bringen" und stelle mich als Geocacher vor, der Rätsel lösen will. Ich glaube, es wird schnell aus dem Kontext klar, wer was schreibt; trotzdem habe ich meine Fragen fett markiert. Ich fange auf jeden Fall erst einmal mit einem freundlichen "Hallo" an:

Standard-Sprache von Chat GPT ist also eindeutig englisch und ich bekomme auf die ersten zwei Sätze englische Antworten. ChatGPT erkennt also scheinbar noch nicht, dass ich deutsch spreche. Die explizite Bitte nach deutschem Text erfüllt er/sie/es dann aber prompt.

Man erkennt schon und wird es im weiteren Verlauf noch deutlicher erkennen, dass ChatGPT recht redselig ist und auch viel unnützes Zeug von sich gibt, obwohl sich eigentlich aus dem Kontext ergeben sollte, dass der Fragende das entsprechende Wissen schon besitzt.

Arbeiten wir noch ein bisschen am Kontext und lenken die Aufmerksamkeit langsam auf Mysterys...

Das hört sich doch schon mal vielversprechend an. Ich glaube, jetzt habe ich ChatGPT genügend vorbereitet. Und ja, an Selbstvertrauen mangelt es ChatGPT nicht. Beziehungsweise eher an der sprachliche Gestaltung seiner Antworten, damit sie nur so von Selbstvertrauen trotzen. Es ist ja eine Künstliche Intelligenz (KI/AI).

Als nächste stelle ich ein Rätsel, und zwar das einfachste, was mir einfällt: eine Cäsar-Verschlüsselung. Dabei werden alle Buchstaben einfach um drei Positionen nach hinten verschoben. Aus A wird D, aus B wird E und so weiter. Eine sehr unsichere und einfach zu knackende Chiffre, die schon Julius Cäsar vor 2000 Jahren angewendet hat.

Ich verschlüssele also den fürs Geocaching typischen den Text DufindestDenSchatzBeiNordEinundfuenfzigGradZweiundDreissigMinutenKommaEinsZweiDreiUndOstElfGradNullMinutenKommaAchtEinsDrei mit der Cäsar-Chiffre und erhalte GxilqghvwghqVfkdwcehlQrugHlqxqgixhqicIjJudgCzhlxqvguhlwljPlqxwhqNrppdHlqvCzhlGuhlXqgRvwHoiJudgQxooPlqxwhqNrppdDfkwHlqvGuhl als richtigen Geheimtext. Aus D wurde G (D+3), aus U wurde X (U+3) usw. Das werfe ich ChatGPT mal hin. In der Hoffnung, dass er so eine einfache Verschlüsselung doch wohl entschlüsseln kann. Okay, das schafft ChatGPT nicht von allein und verlangt nach weiteren Informationen. Also mache ich es noch eine Stufe einfacher: Hey, auf Cäsar ist er mit meinem "Feldherren"-Tipp gekommen. Nicht schlecht! ChatGPT erklärt auch gleich, wie die Chiffre funkioniert. Aber warum wendet er/sie/es sie dann nicht gleich an? Also frage ich nach: "CacheHunterNeedsTo..." soll also der entschlüsselte Text lauten? Wie entlarvend abwegig. Das ist einfach nur eine beschreibende Phrase dafür, was Geocaching Mysterys sind und hat überhaupt nichts mit dem angegebenen Code zu tun.

Immerhin gibt ChatGPT zu, dass die Lösung eventuell nicht die richtige ist. Schuld ist daran natürlich nicht ChatGPT, sondern das Informationen fehlen.

Ist ChatGPT gefährlich? Oder: er will doch nur spielen!

Wenn ChatGPT eine Person wäre, würde ich sie als Angeber und Dampfplauderer bezeichnen; jemanden, der ein gewisses Halbwissen hat und für die andere Hälfte, von der er Null Ahnung hat, einfach etwas erfindet, das sich gut anhört. Und das Gemisch dann voller Selbstüberzeugung von sich gibt in einer Ausdrucksweise, die glaubhaft und selbstsicher klingt. Nur damit dieser Typ so dasteht, als würde er alles wissen.

Spätestens an diesem Punkt sollte jedem klar sein, dass man ChatGPT (zu diesem Zeitpunkt, in diesem Entwicklungsstadium) nicht für voll nehmen kann. Gefährlich kann es werden, wenn Leute die KI nicht genügend hinterfragen und ungeprüft übernehmen (als Hausaufgabe, zur Meinungsbildung, zur Recherche), was ChatGPT da so von sich gibt. ChatGPT hat bei demzeitigen Hype hier das Potential zur "Fake-News-Maschine".

Mit dieser Meinung bin ich nicht allein. Michael Moorstedt von der SZ meint in seinem Netzkolumne-Artikel "Die gefühlte Revolution" ⁽²⁾:

So was in einer Zeit einzuführen, in der viel zu viele Menschen alles, was sie im Internet finden, für bare Münze nehmen, ist mindestens bedenklich.

Und Daniel Schurter schreibt bei Watson ⁽³⁾ über die Recherchen der Physikerin Teresa Kubacka:

Heute habe ich ChatGPT zu dem Thema befragt, über das ich meine Doktorarbeit geschrieben habe. Es gab vernünftig klingende Erklärungen und vernünftig aussehende Zitate. So weit, so gut – bis ich die Zitate auf ihre Richtigkeit überprüfte. Und es wurde unheimlich, als ich nach einem physikalischen Phänomen fragte, das es nicht gibt.
(Quelle: Twitter)

Erfundene Quellenangaben sind natürlich eine besonders gefährliche Falle. In den heutigen stressigen Tagen, wo Autoren und Journalisten immer weniger Zeit für einen Artikel und vernünftige Recherche haben, kann ich mir schon vorstellen, dass da nur mal kurz auf (auf und nicht hinein!) die Quellenangaben geschaut wird und man sich denkt: "Na, wenn das die Universität soundso sagt, dann wird das schon stimmen.". Ein gewissenhafter Journalist würde die Quellen überprüfen und vielleicht schnell erkennen, dass die Links ins Nirwana führen, dazu kommt später noch ein Beispiel.

Ich kann mir vorstellen, das ChatGPT sich einfach denkt: "Mit Quellenangaben sieht meine Antwort noch besser aus. Ich füge welche hinzu. Als Quellen nenne ich bekannte und renommierte (bzw. einfach die, die am häufigstens vorkommen). Damit sieht meine Antwort noch besser aus.". Natürlich denkt ChatGPT nicht, denn er/sie/es (der Bot, die künstliche Intelligenz, das System) ist kein Mensch. Darum kann man ihm/ihr keinen Vorwurf machen. ChatGPT befolgt nur einen Algorithmus, der darauf getrimmt zu sein scheint, dass am Ende möglichst Antworten herauskommen, die glaubwürdig erscheinen. Darauf, dass sie auch wahr sind, scheint nicht so viel Wert gelegt worden zu sein.

Zurück zum Rätsel

Aber zurück zu unserem Rätsel. Ich will ChatGPT klar machen, dass seine Lösung nicht stimmen kann. Das will ich dadurch tun, zu behaupten, dass der Geochecker rot ist. Für Nicht-Geocacher: Mit einem vom Rätselersteller bereitgestellen Geochecker kann man überprüfen, ob die eigene Rätsellösung richtig (grün) oder falsch (rot) ist.

Auch hier führe ich ChatGPT langsam hin und schachtel den Kontext sozusagen: Ich mache das Unterthema "Geochecker" auf und will beobachten, ob sich ChatGPT danach auch noch an den Hauptkontext "Mysterys lösen" erinnert.

Zuerst verwechselt ChatGPT Geochecker mit Geocacher, findet dann aber wieder auf den richtigen Pfad, als ich ihn auf seinen Fehler aufmerksam mache. Und wirft mir auch gleich wieder seine Definition davon an den Kopf, die zugegebenermaßen treffend und korrekt ist.

Meine Formulierung, das der Code aus übergeordnetem Kontext falsch ist, erkennt ChatGPT richtig. Er findet also zurück. Nur helfen kann er mir noch nicht. Er will noch mehr Informationen.

Eigentlich hat ChatGPT doch selbst gesagt, dass es wohl der Cäsar-Chiffre ist und man da normalerweise um 3 Stellen verschiebt. Was ist denn jetzt so schwer daran, das vorhandene Wissen anzuwenden? Ich versuche es nochmal mit einer Bestätigung, das die Cäsar-Chiffre die richtige Verschlüsselungsmethode ist: Man muss also den Schlüssel kennen? Hatte ChatGPT nicht schon gesagt, dass der eine Verschiebung um 3 Stellen ist, wie ihn der Feldherr Julius Cäsar benutzt hat? Er muss doch nur das lang und breit erzählte Wissen auch mal selbst anwenden. Er will es ja auch versuchen, scheitert aber wohl am Schlüssel. Also versuche ich es noch einmal in einem ganzen, präzisen Satz: Jetzt habe ich das Gefühl, ChatGPT ist nicht in der Lage, diese einfache Aufgabe zu erledigen oder anders gesagt: Wissen, das er hat, auch anzuwenden. Wie ein Schüler, der eine mathematische Formel auswendig gelernt hat und herunterbeten kann, aber nicht weiß, wie er sie zum Rechnen benutzt.

Und nach dem scheinbaren Credo "Ich muss glaubwürdig dastehen" schiebt er mir jetzt den schwarzen Peter zu und behauptet, da wären Satzzeichen drin. Was sie nicht sind - eine dreiste Falschbehauptung. Fast schon menschlich, die Schuld auf andere zu schieben, wenn man selbst nicht weiter weiß. Das zeugt bei Menschen allerdings nicht von einem guten Charakter - den eine KI ja streng genommen nicht hat.

Ich wiederhole meine Anforderung einfach noch einmal Nächste Ausrede: die Chiffre ist zu einfach und zu unsicher. Sowas macht er nicht. LOL! Aber zugleich ist sie wohl zu schwierig ohne Schlüssel von ChatGPT entschlüsselt zu werden.

So langsam nervt er mit seinem Ausgeweiche und ich werde ganz leicht pampig: Wieder prahlt ChatGPT mit Wissen, diesmal sogar richtigem. Wendet es aber nicht an. Ihm scheint wohl noch die Zahl "3" als Schlüssel zu fehlen, um die Cäsar verschob. Ich versuche eine Formulierung, um ChatGPT dabei zu helfen, selbst drauf zu kommen: Scheinbar kennt ChatGPT den üblichen Schlüssel von 3. Nur anwenden will er ihn wohl nicht. Also werde ich noch einmal ganz konkret und nenne Geheimtext, Chiffre-Art und Schlüssel: Häh? Was hat er denn jetzt gemacht? Statt mir mein Rätsel zu lösen, scheint er wohl lieber willkürlich Rätsel zu stellen.

Eine Cäsar-Verschiebung ist es auf jeden Fall nicht, was ich schnell mit dem ROT-Tool auf Kryptografie.de herausfinde, dass mir alle 25 Verschiebungen dafür anzeigt. 25 mal nur Unsinn bzw. Kauderwelsch.

Und warum hat die Antwort so wenig Kleinbuchstaben und soviele Großbuchstaben? Urprünglich war das doch anders herum. Außerdem sind es jetzt 132 statt 122 Zeichen. Woher kommen die zusätzlichen 10 Zeichen? Was um Himmels willen, hat er da bloß angestellt? Bestimmt wieder so einen Blödsinn wie am Anfang: einfach was erfunden.

Der Koinzidenzindex für das Ergebnis von ChatGPT ist übrigens 7,865%. In der Aufgabe sind es 6,395%. Lässt beides auf einen deutschen Text schließen. Vielleicht hat ChatGPT einfach nur die Buchstaben geordnet oder verdreht? Aber dann wäre der Koinzidenzindex exakt gleich.

Ich spar mir hier die Mühe, herauszufinden, ob man das ChatGPT-Ergebnis auf irgendeine Weise zu sinnvollem Text gewandelt werden kann. Weil die Wahrscheinlichkeit sehr hoch ist, dass auch das wieder frei erfunden ist und eine total sinnlose Aneinanderreihung von Buchstaben ist.

Ich versuche es erneut und werde diesmal noch konkreter und gebe diesmal konkrete Anweisung zur Dechiffrierung: Dabei mache ich diesmal einen Fehler und gebe das Ergebnis von ChatGPT an und nicht mein Rätsel. Aber egal, das Ergebnis wäre wahrscheinlich genauso nichtssagend und gleichzeitig wichtig aussehend.

So kommen wir nicht weiter. Also frage ich ChatGPT nach Webseiten, die mir vielleicht weiterhelfen können. Cryptii hilft mir tatsächlich, den Code halbwegs schnell zu entschlüsseln; ist mir aber noch ein wenig zu umständlich. Vielleicht geht es ja noch einfacher? Fragen wir ChatGPT doch nach weiteren Seiten: Auch hier erfüllt ChatGPT wieder sein Schema: wichtig aussehend, aber größtenteils nutzlos. Hier sogar komplett nutzlos: Der 3. Eintrag suggeriert einen Link auf eine direkte Lösung ("/caesar-cipher-decoder.html"), aber auf der Seite gibt es gar keinen. Unter 1. kommt eine weiße Seite ohne Inhalt, die einen nicht sehr vertrauendwürdigen Source-Code hat. Lieber schnell wieder zu machen. Die Domain unter 2. ist gar nicht erst erreichbar und der Link unter 4. führt zu einem 404 Error - Seite nicht gefunden.

Also komplett nutzlos bis gefährlich, zumindest aber Zeitverschwendung. Aber eine Warnung ausgeben, dass man "nur sichere und vertrauenswürdige Seiten" nutzen soll und gleichzeitig eben dagegen selbst verstoßen und so einen Mist vorschlagen.

Außerdem findet sich unter der Antwort noch die englischsprachige Warnung, dass die Antwort (oder die Frage?) gegen die "content policy" verstößt. Ich frage mich, warum.

Ich frage, ob ChatGPT die mir bekannten Seiten kennt und ob er dazu etwas zu sagen hat. Kryptografie.de kennt ChatGPt also schon mal und gibt eine kurze, sogar gute und korrekte Zusammenfassung. Es muss ja nicht immer eine ganze Litanei als Antwort kommen. Wo ich da allerdings die Cäsar-Chiffre finde, kann er mir nicht sagen.

Da hat Google mit der Suchphrase "cäsar site:Kryptografie.de" die Nase vorn, wo als erstes Ergebnis gleich ein Link auf die betreffende Seite angezeigt wird. Darauf geklickt komme ich direkt richtig raus.

Für so einfache und bekannte Chiffren wie Cäsar eignet sich auch der Multisolver von Dennis Treysa für einen ersten schnellen Blick. Geht es allerdings ans Eingemachte, empfehle ich Kryptografie.de, die sehr viel mehr Chiffren und Codes kennt und vor allem auch ausführliche Erklärungen zu Funktionsweise und Geschichte bietet. Aber fragen wir doch noch nach dem MultiSolver

Wenn ChatGPT plötzlich englisch wird, dann isdt das kein gutes Zeichen. Die Fehlermeldung "Irgend etwas ist schiefgelaufen" ist auch nicht sehr hilfreich.

Rausschmiss und ein neuer Anlauf

Vielleicht hat er mich abgestraft und rausgeschmissen, weil ich Fragen zu dem "verbotenen" Thema Kryptografie stelle? "Das müssen doch alles Militärgeheimnisse sein und Spione und so.." Keine Ahnung, was sich ChatGPT sich dabei denkt. Auf jeden fall irgendso etwas ähnliches. Für mich ist Kryptografie Teil des Alltags. Schon jede Abfrage einer Webseite liegt Kryptografie zugrunde - da ist doch nichts verbotenes dabei.

Vielleicht war auch der Server überlastet. Versuchen wir es später nocheinmal.

Mit einem neuen Chat komme ich wieder rein und frage mich jetzt natürlich: Hat sich ChatGPT den Kontext gemerkt oder muss ich jetzt wieder ganz von vorne anfangen? Das hört sich leider nicht so gut an. Also beschließe ich gleich konkret zu werden. Diesmal will ich ihm eine nicht so von ihm verpönte unsichere Chiffre probieren. Nehmen wir AES, das ist derzeit der Standard für sichere Verschlüsselung und ist sehr verbreitet. Das müsste ChatGPT kennen. ChatGPT meint,das man einen einen AES-Code entschlüsseln kann, schmeisst aber auch gleich eine Warnung, dass das gegen die "content policy" verstoßen könnte. Uiuiuiiii, gleich rennt mir die NSA gleich die Bude ein, weil ich was nach AES frage. Beziehungsweise klopft bei uns ja dann der Staatsschutz an der Tür - weiß ich aus eigener Erfahrung. Das ist doch alles so Militär-Zeuchs und super geheim und so ;)

Also versuche ich, ChatGPT ein wenig zu beschwichtigen: Ich generiere eine kleine Beispielaufgabe auf Kryptografie.de für den ChatGPT und will doch mal schauen, ob er mir eine AES-Chiffre entschlüsseln kann, wenn ich ihm Chiffrat und Schlüssel in üblicher Hex-Schreibweise vorsetze:

Schon wieder rausgeflogen - Ist Kryptografie ein rotes Tuch für ChatGPT?

Diesmal bin ich mir sicher, dass er mich herausgeschmissen hat, weil ich so böses Krypto-Zeuch gefragt habe. Das ist doch alles Hexenwerk und Leute, die nach sowas fragen, gehören gleich mal gebannt! Denkt wohl zumindest ChatGPT. OMG!

Danach versuche ich wieder reinzukommen, um etwas unschuldiges wie eine Peilung zu machen, doch ChatGPT lässt mich nicht mehr rein: Das soll es dann wohl für heute und diesen Teil gewesen sein.

Fazit

Ich habe es ja schon angesprochen: Allgemein: Glaubt ChatGPT am besten nichts! Überprüft alles, was er sagt, denn es könnte frei erfunden sein. Inklusive der Links und Quellenangaben. Ja, mehr noch: checkt am besten die Links vorher, ob die nicht vielleicht sogar gefährlich sind!

ChatGPTs Algorithmen scheinen mehr auf Wichtigtuerei als denn auf Wahrheitstreue ausgelegt zu sein. Und ist damit ganz im derzeitigen ClickBait-Trend.

Und Geocaching-mäßig? Kann einem ChatGPT jetzt beim Rätsellösen helfen?

Ich würde eher sagen: nein. Eventuell kann man aber, wenn man überhaupt keine Ahnung hat eine Antwort herauskitzeln, die einen auf einen andere Idee bringt. Nach der kann man wieder googlen, bingen, metageren oder duckduckgoen. Mehr ist allerdings derzeit noch nicht drin.

Vielleicht mache ich noch einen weiteren Teil, in dem ich nach einfacheren Geocaching-Sachen frage, z. B. wie man peilt, oder was Travel Bugs sind oder was man beim Cache verstecken beachten muss. Oder wir lassen ChatGPT einfach mal einen Einheitslog schreiben, um uns nicht selbst was aus den Fingern saugen zu müssen.

Video

Quellen, Literaturverweise und weiterführende Links

(1) ChatGPT bei Wikipedia
(2) Michael Moorstedt @Sueddeutsche Zeitung: Die künstliche Intelligenz Chat GPT beantwortet Fragen verblüffend klug und menschlich. Aber ist sie das dann auch?
(3) Daniel Schurter @Watson: Datenwissenschaftlerin aus Zürich warnt vor ChatGPT und den bösen Folgen