Robert Klatt
Texte von ChatGPT können nicht durch Software erkannt werden. Nun wurde untersucht, ob Sprachwissenschaftler Texte von Menschen und Texte der KI unterscheiden können.
Memphis (U.S.A.). Das Large language model (LLM) ChatGPT kann laut einer Studie der University of California, Los Angeles (UCLA) Studenten beim analogen Denken übertreffen. Zudem haben Forscher der New York University Abu Dhabi (NYUAD) entdeckt, dass die Künstliche Intelligenz (KI) in vielen Fächern bessere Prüfungsergebnisse erreichen kann als Menschen. Viele Universitäten befürchten deshalb, dass Studenten die KI für ihre Hausarbeiten und zum Betrügen in Klausuren nutzen könnten.
Laut Open AI, dem Unternehmen, das ChatGPT entwickelt, können technische System nicht zuverlässig erkennen, ob ein Text von einem Menschen oder der KI verfasst wurde. Open AI hat seinen Classifier deshalb bereits vor Monaten offline genommen.
Forscher der University of Memphis haben deshalb ein Experiment durchgeführt, bei dem 72 Linguisten bewerten sollten, ob ein wissenschaftlicher Text von einem Menschen oder von ChatGPT stammt. Die Sprachwissenschaftler haben jeweils vier Textproben analysiert. Keiner der Teilnehmer konnte alle vier Texte korrekt zuordnen. Einige Linguisten (13 %) lagen sogar bei allen Texten falsch.
„Wir dachten, wenn überhaupt jemand in der Lage sein sollte, von Menschen produzierte Texte zu identifizieren, dann müssten das Linguisten sein, die ihre Karriere damit verbracht haben, Muster in der Sprache und andere Aspekte der menschlichen Kommunikation zu studieren.“
Bei der Bewertung der Texte haben die Sprachwissenschaftler rational argumentiert und bestimmte linguistische und stilistische Merkmale verwendet, um die Texte einzuteilen. Trotzdem konnten sie laut der Publikation im Fachmagazin Research Methods in Applied Linguistics lediglich 39 Prozent der Texte korrekt zuordnen.
„Interessanter war, als wir sie fragten, warum sie entschieden hatten, etwas sei von einer KI oder einem Menschen geschrieben worden. Sie gaben sehr logische Gründe an, aber immer wieder waren sie nicht genau oder konsistent.“
Die Studie zeigt somit, dass Professoren nicht zuverlässig erkennen können, ob Studenten ihre Arbeiten tatsächlich selbst geschrieben haben oder ob ein LLM wie ChatGPT dafür verwendet wurde. Lediglich bei besonders langen Texten können Ergebnisse von ChatGPT häufig erkannt werden.
„Bei längeren Texten neigt KI dazu zu halluzinieren und Inhalte zu erfinden, was es einfacher macht zu erkennen, dass sie von einer KI erzeugt wurden.“
Die Autoren hoffen, dass die Studie zu einer größeren Diskussion führen wird, um die notwendigen ethischen Richtlinien und Vorgaben für die Verwendung von KI in Forschung und Bildung festzulegen.
Research Methods in Applied Linguistics., doi: 10.1016/j.rmal.2023.100068
