Have a personal or library account? Click to login
Reliability of AI in the domain of literary literacy and literary text interpretation: an empirical study Cover

Reliability of AI in the domain of literary literacy and literary text interpretation: an empirical study

Open Access
|Dec 2025

References

  1. Altman, S. (2022b). ChatGPT: Optimizing Language Models for Dialogue. https://openai.com/index/chatgpt/ [22.11.2025].
  2. Athaluri, S.A., Manthena, S.V., Kesapragada, K.M., Yarlagadda, V., Dave, T. & Duddumpudi, R.S.T. (2023). Exploring the Boundaries of Reality: Investigating the Phenomenon of Artificial Intelligence Hallucination in Scientific Writing Through ChatGPT References. (https://doi.org/10.7759/cureus.37432)
  3. Ascherl, C. (2025) 2026. Custom GPTs als didaktisches Supportinstrument: Chatbots konfigurieren, um literarisches Verstehen zu fördern? In L. Jagdschian & F. Hesse (Hrsg.), Literatur // KI // Didaktik. Königshausen & Neumann. (in print)
  4. Austin, J. L. (1955) 1962. How to do things with words. The William James Lectures delivered at Harvard University in 1955. Cambridge (MA): Harvard University Press.
  5. Bach, F., Bernhardt, S., Reuvekamp, S. & Schmiedgen, N. (2025). SHIFT happens. Lernen mit und von textgenerierender KI. In H.-G. Müller & M. Fürstenberg (Hrsg.), DeutschGPT – Deutschunterricht im Dialog mit Künstlicher Intelligenz (S. 87–105). Berlin: Frank & Timme.
  6. Bayrhuber, H., Abraham, U. Frederking, V., Jank, W., Rothgangel, M. & Vollmer, H. J. (2017). Auf dem Weg zu einer Allgemeinen Fachdidaktik. Allgemeine Fachdidaktik, Band 1, (S. 161–178). (= Fachdidaktische Forschungen, Band 9). Münster: Waxmann.
  7. Bergener, J., Gossen, M., Hoffmann, M. L., Bießmann, F., Veneny, M. & Korenke, R. (2023). Evaluating the Quality of ChatGPT’s Climate-related Responses. Wirtschaften - Fachzeitschrift, 38(3), 46–50. (https://doi.org/10.14512/OEW380346).
  8. Bewersdorff, A., Seßler, K., Baur, A., Kasneci, E. & Nerdel, C. (2023, 11. August). Assessing Student Errors in Experimentation Using Artificial Intelligence and Large Language Models: A Comparative Study with Human Raters. (https://arxiv.org/pdf/2308.06088.pdf).
  9. Brüggemann, J., Ascherl, C., Okesson, L. & Frederking, V. (2025a). Digitale Souveränität im Umgang mit KI im Deutschunterricht. K. Scheiter, D. Richter & J. Brüggemann (Hrsg.), Digital gestützte Lehrkräftefortbildungen: Schwerpunkt Sprachen, Gesellschaft, Wirtschaft. Waxmann (im Druck).
  10. Brüggemann, J., Ascherl, C., Okesson, L. & Frederking, V. (2025b). Gelingensbedingungen und Grenzen einer KI-gestützten Förderung literarischer Verstehenskompetenz. Befunde aus zwei experimentellen Studien. In MiDU – Medien im Deutschunterricht 7 (im Druck).
  11. Cohen, J. (1988). Statistical Power Analysis for the Social Sciences. Erlbaum.
  12. Darvishi, A., Khosravi, H., Sadiq, S., Gašević, D. & Siemens, G. (2024). Impact of AI assistance on student agency. Computers & Education, Vol. 210, Article 104967.
  13. de la Vega, M. (2023). Understanding OpenAI’s “Temperature” and “Top_p” Parameters in Language Models. https://medium.com/@1511425435311/understanding-openais-temperature-and-top-p-parameters-in-language-models-d2066504684f
  14. Eco, U. (1962) 1998. Das offene Kunstwerk. Frankfurt am Main: Suhrkamp.
  15. Eco, U. (1972) 2000. Einführung in die Semiotik. 9. Aufl. München: Wilhelm Fink.
  16. Eco, U. (1990) 1999. Die Grenzen der Interpretation. Berlin: Hanser.
  17. Else, H. (2023). Abstracts written by ChatGPT fool scientists. In Nature 613, 423.
  18. Emsley, R. (2023). ChatGPT: these are not hallucinations - they‘re fabrications and falsifications. Schizophrenia (Heidelberg, Germany), 9(1), 52. (https://doi.org/10.1038/s41537-023-00379-4).
  19. EU Artificial Intelligence Act (2025). https://artificialintelligenceact.eu.
  20. Fang, T., Yang, S., Lan, K., Wong, D. F., Hu, J., Chao, L. S. & Zhang, Y [Yue]. (2023). Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation. (https://doi.org/10.48550/ARXIV.2304.01746).
  21. Frederking, V. (2022a). Literarische Verstehenskompetenz erfassen und fördern. In S. Gailberger & F. Wietzke (Hrsg.), Handbuch Kompetenzorientierter Deutschunterricht. (S. 146–177). 2. Aufl. Weinheim: Beltz Juventa.
  22. Frederking, V. (2022b). Allgemeine Fachdidaktik. In M. Harring, C. Rohlfs & M. Gläser-Zikuda (Hrsg.), Handbuch Schulpädagogik (S. 550–566). Münster: Waxmann.
  23. Frederking, V. (2023). Von Fake News bis ChatGPT. Digitale Textsouveränität als ethisch-politische Bildungsaufgabe in der digitalen Welt. Medien im Deutschunterricht 5(2), 1–27. (https://doi.org/10.18716/OJS/MIDU/2023.2.4).
  24. Frederking, V. (2025) 2026. Digitale Textsouveränität und KI. Theoretische Modellierungen und experimentelle Erprobungen am Beispiel vom ‚Prolog im Himmel‘ in Goethes ‚Faust‘. In F. Hesse & L. Jagdschian (Hrsg.): Literatur – Künstliche Intelligenz – Didaktik. Würzburg: Königshausen & Neumann. (in print)
  25. Frederking, V., Brüggemann, J. & Hirsch, M. (2016). Das Fünfdimensionale Literary Literacy-Modell. In K. Lehmann, M. Werner & S. Zabold (Hrsg.), Historisches Denken jetzt und in Zukunft. (S. 211–234). Münster: LIT Verlag.
  26. Frederking, V., Henschel, S., Meier, C., Roick, T., Stanat, P. & Dickhäuser, O. (2012). Beyond Functional Aspects of Reading Literacy: Theoretical Structure and Empirical Validity of Literary Literacy. (Special issue guest edited by Irene Pieper & Tanja Janssen). L1-Educational Studies in Language and Literature, 12, 35–56.
  27. Führer, C. (2025). KI-Feedback mit Peer-Kooperation verbinden. Textüberarbeitung mit LLMS fördern. Deutsch 5–10 84 (2025), 45–51.
  28. Führer, C. & Gerjets, P. (2024). How to understand & write literature with AI? Potentiale und Risiken von KI-Tools für Literarisches Lesen und Schreiben. MiDU - Medien im Deutschunterricht, 6(1), 1–18. (https://doi.org/10.18716/OJS/MIDU/2024.1.3).
  29. Goddard, J. (2023). Hallucinations in ChatGPT: A Cautionary Tale for Biomedical Researchers. In The American Journal of Medicine, Vol. 136, Issue 11 November 2023. (https://doi.org/10.1016/j.amjmed.2023.06.012).
  30. Gramelsberger, G. (2023). Philosophie des Digitalen zur Einführung. Hamburg: Junius.
  31. Helm, G. & Hesse, F. (2024). Usage and beliefs of student teachers towards artificial intelligence in writing. RISTAL, 7, 1–19. DOI: https://doi.org/10.2478/ristal-2024-0001
  32. Hesse, F. & Helm, G. (2025). Writing with AI in and beyond teacher education: Exploring subjective training needs of student teachers across five subjects. Journal of Digital learning in teacher eDucation 2025, Vol. 41, no. 1, 21–36 (https://doi.org/10.1080/21532974.2024.2431747).
  33. Hiebel, H. H., Hiebler, H., Kogler, K. & Walitsch, H. (1998). Die Medien. Logik – Leistung – Geschichte. Stuttgart: UTB.
  34. Jansen, T., Höft, L., Bahr, L., Fleckenstein, J., Möller, J., Köller, O. & Meyer, J. (2024). Comparing Generative AI and Expert Feedback to Students’ Writing: Insights from Student Teachers. Psychologie in Erziehung und Unterricht, 71(2), 80–92.
  35. KMK (2024). Handlungsempfehlung für die Bildungsverwaltung zum Umgang mit Künstlicher Intelligenz in schulischen Bildungsprozessen. https://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2024/2024_10_10-Handlungsempfehlung-KI.pdf [22.11.2025].
  36. Krämer, S. (2024). “Die Nicht-Vernunft der Chatbots: Was macht auf Large Language Models beruhende Künstliche Intelligenz philosophisch interessant?”. In R. Adolphi, S. Alpsancar, S. Hahn & M. Kettner (Hrsg.), Philosophische Digitalisierungsforschung: Verantwortung, Verständigung, Vernunft, Macht. (S. 297–314). Bielefeld: transcript Verlag. (https://doi.org/10.1515/9783839474976-011).
  37. Kubacka, T. (2022). Today I asked ChatGPT about the topic I wrote my PhD about. 6.12.2022. https://x.com/paniterka_ch?lang=deI [22.11.2025].
  38. Lee, S., Jeon, J., Mckinley, J. & Rose, H. (2025). Generative AI and English language teaching: A global Englishes perspective. September 2025 Annual Review of Applied Linguistics 45:1–24. (https://doi.org/10.1017/S0267190525100184).
  39. Long, D. & Magerko, B. (2020). “What is AI Literacy? Competencies and Design Considerations”. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. ACM. pp. 1–16. doi:10.1145/3313831.3376727. ISBN 978-1-4503-6708-0.
  40. Maiwald, Klaus (2023). Digitale Textkompetenz als Bildungsaufgabe in einer Kultur der Digitalität und künstlichen Intelligenz. Mitteilungen des Deutschen Germanistenverbandes, 70(4), 359–372.
  41. Meier, C., Roick, T., Henschel, S., Brüggemann, J., Frederking, V., Rieder, A., Gerner, V. & Stanat, P. (2017). An extended model of literary literacy. In D. Leutner, J. Fleischer, J. Grünkorn & E. Klieme (Hrsg.), Competence assessment in education (pp. 55–74). Heidelberg: Springer. (https://doi.org/10.1007/978-3-319-50030-0_5).
  42. Metz, R. (2018). Google demos Duplex, its AI that sounds exactly like e very weird, nice human. https://www.technologyreview.com/2018/06/27/141823/google-demos-duplex-its-ai-that-sounds-exactly-like-a-very-weird-nice-human/ [22.11.2025].
  43. Müller, H.-G. & Fürstenberg, M. (2023). Der Sprachgebrauchsautomat. Die Funktionsweise von GPT und ihre Folgen für Germanistik und Deutschdidaktik. In Mitteilungen des Deutschen Germanistenverbandes 70(4), 327–345.
  44. Ong, W.J. (1982). Oralität und Literalität. Die Technologisierung des Wortes. Opladen: Westdeutscher Verlag.
  45. Porschen, H. (2024). OpenAI GPT Token: Ein Einblick in die DNA von Texten in ChatGPT. https://hubertusporschen.com/openai-gpt-tokens/# [22.11.2025].
  46. Rawte, V., Sheth, A. & Das, A. (2023). A Survey of Hallucination in “Large” Foundation Models. (https://doi.org/10.48550/arXiv.2309.05922).
  47. Rothgangel, M., Abraham, U., Bayrhuber, H., Frederking, V., Jank, W. & Vollmer, H.J. (2020) 2021. Lernen im Fach und über das Fach hinaus. Bestandsaufnahmen und Forschungsperspektiven aus 17 Fachdidaktiken im Vergleich. Allgemeine Fachdidaktik, Band 2. (2. Aufl.). Münster: Waxmann.
  48. Searle, J. R. (1965). „What is a speech act?“. In M. Black (Hrsg.), Philosophy in America. (pp. 221–239). London: G. Allen & Unwin.
  49. Searle, J. R. (1969). Speech acts. An essay in the philosophy of language. Cambridge University Press.
  50. Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences 3 (3), 417–457.
  51. Searle, J. R. (1992) 1994. The rediscovery of the mind. First MIT Presspaperback edition, Massachusetts Institute of Technology.
  52. Smith, C.S. (2023). AI Hallucinations Could Blunt ChatGPT’s Success. IEEE Spectrum, 13. März 2023 (https://spectrum.ieee.org/ai-hallucination).
  53. Steinhoff, T. (2023). Der Computer schreibt (mit). Digitales Schreiben mit Word, WhatsApp, ChatGPT & Co. als Koaktivität von Mensch und Maschine. MiDU – Medien im Deutschunterricht 5(1), 1–16. (https://doi.org/10.18716/ojs/midu/2023.1.4).
  54. Steinhoff, T. (2025). Künstliche Intelligenz als Ghostwriter, Writing Tutor und Writing Partner. In C. Albrecht, J. Brüggemann, T. Kretschmann, A. Krommer & C. Meier (Hrsg.), Personale und funktionale Bildung im Deutschunterricht (S. 85–99). Heidelberg: Metzler.
  55. Su, Y., Lin, Y. & Lai, C. (2023). Collaborating with ChatGPT in argumentative writing classrooms. Assessing Writing, 57, 100752. (https://doi.org/10.1016/j.asw.2023.100752).
  56. SWK (=Ständige Wissenschaftlichen Kommission der Kultusministerkonferenz) (2024). Large Language Models und ihre Potenziale im Bildungssystem https://www.swk-bildung.org/content/uploads/2024/02/SWK-2024-Impulspapier_LargeLanguageModels.pdf [22.11.2025].
  57. Turing, A. (1937). ‚On Computable Numbers, with an application to the Entscheidungsproblem’. Proceedings of the London Mathematical Society, ser. 2. vol. 42, pp 230–265 (1936/7); corrections, Ibid, vol 43, 544–546.
  58. U.S. Department of Education (2025) (Eds.). “Artificial Intelligence (AI) Guidance”. https://www.ed.gov/about/ed-overview/artificial-intelligence-ai-guidance [22.11.2025].
  59. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., L. Jones, L., A. N. Gomez, A.N., Kaiser, L. & Polosukhin, I. (2017). Attention is All you Need. In Curran Associates, Inc., 2017 (https://doi.org/10.48550/arXiv.1706.03762).
  60. Weizenbaum, J. (1965) 1966. ELIZA – A Computer Program For the Study of Natural Language Communication Between Man And Machine. In Communications of the ACM. Band 9, Nr. 1, Januar 1966, (https://doi.org/10.1145/365153.365168).
Language: English
Page range: 70 - 87
Published on: Dec 31, 2025
In partnership with: Paradigm Publishing Services
Publication frequency: 1 issue per year

© 2025 Volker Frederking, published by Gesellschaft für Fachdidaktik (GfD e.V.)
This work is licensed under the Creative Commons Attribution-NonCommercial 4.0 License.