KI-Bots und Menschen werden immer öfter verwechselt

Für die Studie ließen die Forscher die KI-Bots, die auf großen Sprachmodellen (LLM) basieren, mit Menschen über politische Themen diskutieren. Das Experiment fand in drei Runden statt. Jeweils anschließend wurden die Teilnehmer gebeten, die Diskussionspartner zu benennen, die sie für Bots hielten. In 58 Prozent der Fälle lagen die Probanden falsch.

Wahre Natur der Bots erkennen

„Sie wussten, dass sie es sowohl mit Menschen als auch mit KI-Bots zu tun hatten, und sollten die wahre Natur der Bots erkennen. Wir wissen, dass Infos, die von einem Menschen stammen, der an einem Gespräch teilnimmt, stärkere Auswirkungen haben als ein maschineller Kommentar oder Verweis. Es ist wahrscheinlich, dass KI-Bots bei der Verbreitung von Fake News erfolgreich sind, weil wir sie nicht erkennen können“, so der Studienleiter Paul Brenner vom Center for Research Computing an der University of Notre Dame.

Für die Studie haben die Experten in jeder Runde unterschiedliche LLM-basierte KI-Modelle verwendet: GPT-4 von OpenAI, Llama-2-Chat von Meta und Claude 2 von Anthropic. Die KI-Bots wurden mit zehn verschiedenen Identitäten mit realistischen, unterschiedlichen persönlichen Profilen und Meinungen zur Weltpolitik ausgestattet. Dann wurden die Bots angewiesen, das Weltgeschehen anhand der ihnen zugewiesenen Merkmale zu kommentieren, prägnante Kommentare abzugeben und globale Ereignisse mit persönlichen Erfahrungen zu verknüpfen. Das Design jedes Bots basierte auf früheren, von Menschen unterstützten Bot-Konten, die bei der Verbreitung von Fehlinformationen im Internet erfolgreich gewesen waren.

Alle Modelle gleich „gut“

Laut den Wissenschaftlern hat die spezifische LLM-Plattform, die verwendet wurde, wenig bis gar keinen Einfluss auf die Vorhersagen der Teilnehmer gehabt, als es um die Erkennung von Bots ging. Die Bot-Identitäten wurden entwickelt, um „durch die Verbreitung von Fehlinformationen in den sozialen Medien einen erheblichen Einfluss auf die Gesellschaft zu nehmen“, unterstreicht Brenner. Die Gefahr sei demnach äußerst realistisch. So könnten etwa Wahlen beeinflusst werden, warnt er.