(via Barbara Geyer auf LinkedIn):
«Viele von uns nutzen ChatGPT für schnelle Informationsabfragen. Aber wie sieht es mit der Zuverlässigkeit aus, wenn es um wissenschaftliche Quellen geht? 🔎
Mit dieser Frage haben sich Chen & Chen (2023) in ihrer Arbeit «Accuracy of Chatbots in Citing Journal Articles» beschäftigt. Einige ihrer Ergebnisse:
📉 GPT-3.5: 98,1% der zitierten Artikel waren schlicht erfunden.
📈 GPT-4: Eine Verbesserung, aber immer noch 20,6% Fake-Zitate.
🎯 Vor allem bei spezifischen Fragen nehmen die Falschzitate zu.𝗙𝗮𝘇𝗶𝘁: Obwohl GPT-4 Verbesserungen gegenüber GPT-3.5 aufweist, ist bei der Literaturrecherche höchste Vorsicht geboten. Jedes Zitat sollte genau überprüft werden. 👀
Für das wissenschaftliche Arbeiten sind spezialisierte KI-Systeme wie Elicit, ResearchRabbit, ConnectedPapers, Iris, Scite, Litemaps etc. zur Unterstützung vieler Arbeitsschritte besser geeignet. 🛠»