Reliability of AI in the domain of literary literacy and literary text interpretation: an empirical study

Frederking, Volker

doi:10.2478/ristal-2025-0007

Abstract

The article presents the results of an experimental study in the field of L1 education that used literary literacy and the interpretation of literary texts as examples to examine the reliability of generative AI in helping learners in literature classes to overcome complex challenges. Due to the ambiguity of literary texts, the reliability of AI faces particular challenges here. Based on an empirically verified model of literary literacy, two chatbots considered particularly powerful—ChatGPT-5 from Open AI and Claude Sonnet-4.5 from Anthropic—were systematically tested. After explaining the study design, the initial results of the experimental study are presented and discussed.

References

Altman, S. (2022b). ChatGPT: Optimizing Language Models for Dialogue. https://openai.com/index/chatgpt/ [22.11.2025].
Search in Google Scholar Back to article
Athaluri, S.A., Manthena, S.V., Kesapragada, K.M., Yarlagadda, V., Dave, T. & Duddumpudi, R.S.T. (2023). Exploring the Boundaries of Reality: Investigating the Phenomenon of Artificial Intelligence Hallucination in Scientific Writing Through ChatGPT References. (https://doi.org/10.7759/cureus.37432)
Search in Google Scholar Back to article
Ascherl, C. (2025) 2026. Custom GPTs als didaktisches Supportinstrument: Chatbots konfigurieren, um literarisches Verstehen zu fördern? In L. Jagdschian & F. Hesse (Hrsg.), Literatur // KI // Didaktik. Königshausen & Neumann. (in print)
Search in Google Scholar Back to article
Austin, J. L. (1955) 1962. How to do things with words. The William James Lectures delivered at Harvard University in 1955. Cambridge (MA): Harvard University Press.
Search in Google Scholar Back to article
Bach, F., Bernhardt, S., Reuvekamp, S. & Schmiedgen, N. (2025). SHIFT happens. Lernen mit und von textgenerierender KI. In H.-G. Müller & M. Fürstenberg (Hrsg.), DeutschGPT – Deutschunterricht im Dialog mit Künstlicher Intelligenz (S. 87–105). Berlin: Frank & Timme.
Search in Google Scholar Back to article
Bayrhuber, H., Abraham, U. Frederking, V., Jank, W., Rothgangel, M. & Vollmer, H. J. (2017). Auf dem Weg zu einer Allgemeinen Fachdidaktik. Allgemeine Fachdidaktik, Band 1, (S. 161–178). (= Fachdidaktische Forschungen, Band 9). Münster: Waxmann.
Search in Google Scholar Back to article
Bergener, J., Gossen, M., Hoffmann, M. L., Bießmann, F., Veneny, M. & Korenke, R. (2023). Evaluating the Quality of ChatGPT’s Climate-related Responses. Wirtschaften - Fachzeitschrift, 38(3), 46–50. (https://doi.org/10.14512/OEW380346).
Search in Google Scholar Back to article
Bewersdorff, A., Seßler, K., Baur, A., Kasneci, E. & Nerdel, C. (2023, 11. August). Assessing Student Errors in Experimentation Using Artificial Intelligence and Large Language Models: A Comparative Study with Human Raters. (https://arxiv.org/pdf/2308.06088.pdf).
Search in Google Scholar Back to article
Brüggemann, J., Ascherl, C., Okesson, L. & Frederking, V. (2025a). Digitale Souveränität im Umgang mit KI im Deutschunterricht. K. Scheiter, D. Richter & J. Brüggemann (Hrsg.), Digital gestützte Lehrkräftefortbildungen: Schwerpunkt Sprachen, Gesellschaft, Wirtschaft. Waxmann (im Druck).
Search in Google Scholar Back to article
Brüggemann, J., Ascherl, C., Okesson, L. & Frederking, V. (2025b). Gelingensbedingungen und Grenzen einer KI-gestützten Förderung literarischer Verstehenskompetenz. Befunde aus zwei experimentellen Studien. In MiDU – Medien im Deutschunterricht 7 (im Druck).
Search in Google Scholar Back to article
Cohen, J. (1988). Statistical Power Analysis for the Social Sciences. Erlbaum.
Search in Google Scholar Back to article
Darvishi, A., Khosravi, H., Sadiq, S., Gašević, D. & Siemens, G. (2024). Impact of AI assistance on student agency. Computers & Education, Vol. 210, Article 104967.
Search in Google Scholar Back to article
de la Vega, M. (2023). Understanding OpenAI’s “Temperature” and “Top_p” Parameters in Language Models. https://medium.com/@1511425435311/understanding-openais-temperature-and-top-p-parameters-in-language-models-d2066504684f
Search in Google Scholar Back to article
Eco, U. (1962) 1998. Das offene Kunstwerk. Frankfurt am Main: Suhrkamp.
Search in Google Scholar Back to article
Eco, U. (1972) 2000. Einführung in die Semiotik. 9. Aufl. München: Wilhelm Fink.
Search in Google Scholar Back to article
Eco, U. (1990) 1999. Die Grenzen der Interpretation. Berlin: Hanser.
Search in Google Scholar Back to article
Else, H. (2023). Abstracts written by ChatGPT fool scientists. In Nature 613, 423.
Search in Google Scholar Back to article
Emsley, R. (2023). ChatGPT: these are not hallucinations - they‘re fabrications and falsifications. Schizophrenia (Heidelberg, Germany), 9(1), 52. (https://doi.org/10.1038/s41537-023-00379-4).
Search in Google Scholar Back to article
EU Artificial Intelligence Act (2025). https://artificialintelligenceact.eu.
Search in Google Scholar Back to article
Fang, T., Yang, S., Lan, K., Wong, D. F., Hu, J., Chao, L. S. & Zhang, Y [Yue]. (2023). Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation. (https://doi.org/10.48550/ARXIV.2304.01746).
Search in Google Scholar Back to article
Frederking, V. (2022a). Literarische Verstehenskompetenz erfassen und fördern. In S. Gailberger & F. Wietzke (Hrsg.), Handbuch Kompetenzorientierter Deutschunterricht. (S. 146–177). 2. Aufl. Weinheim: Beltz Juventa.
Search in Google Scholar Back to article
Frederking, V. (2022b). Allgemeine Fachdidaktik. In M. Harring, C. Rohlfs & M. Gläser-Zikuda (Hrsg.), Handbuch Schulpädagogik (S. 550–566). Münster: Waxmann.
Search in Google Scholar Back to article
Frederking, V. (2023). Von Fake News bis ChatGPT. Digitale Textsouveränität als ethisch-politische Bildungsaufgabe in der digitalen Welt. Medien im Deutschunterricht 5(2), 1–27. (https://doi.org/10.18716/OJS/MIDU/2023.2.4).
Search in Google Scholar Back to article
Frederking, V. (2025) 2026. Digitale Textsouveränität und KI. Theoretische Modellierungen und experimentelle Erprobungen am Beispiel vom ‚Prolog im Himmel‘ in Goethes ‚Faust‘. In F. Hesse & L. Jagdschian (Hrsg.): Literatur – Künstliche Intelligenz – Didaktik. Würzburg: Königshausen & Neumann. (in print)
Search in Google Scholar Back to article
Frederking, V., Brüggemann, J. & Hirsch, M. (2016). Das Fünfdimensionale Literary Literacy-Modell. In K. Lehmann, M. Werner & S. Zabold (Hrsg.), Historisches Denken jetzt und in Zukunft. (S. 211–234). Münster: LIT Verlag.
Search in Google Scholar Back to article
Frederking, V., Henschel, S., Meier, C., Roick, T., Stanat, P. & Dickhäuser, O. (2012). Beyond Functional Aspects of Reading Literacy: Theoretical Structure and Empirical Validity of Literary Literacy. (Special issue guest edited by Irene Pieper & Tanja Janssen). L1-Educational Studies in Language and Literature, 12, 35–56.
Search in Google Scholar Back to article
Führer, C. (2025). KI-Feedback mit Peer-Kooperation verbinden. Textüberarbeitung mit LLMS fördern. Deutsch 5–10 84 (2025), 45–51.
Search in Google Scholar Back to article
Führer, C. & Gerjets, P. (2024). How to understand & write literature with AI? Potentiale und Risiken von KI-Tools für Literarisches Lesen und Schreiben. MiDU - Medien im Deutschunterricht, 6(1), 1–18. (https://doi.org/10.18716/OJS/MIDU/2024.1.3).
Search in Google Scholar Back to article
Goddard, J. (2023). Hallucinations in ChatGPT: A Cautionary Tale for Biomedical Researchers. In The American Journal of Medicine, Vol. 136, Issue 11 November 2023. (https://doi.org/10.1016/j.amjmed.2023.06.012).
Search in Google Scholar Back to article
Gramelsberger, G. (2023). Philosophie des Digitalen zur Einführung. Hamburg: Junius.
Search in Google Scholar Back to article
Helm, G. & Hesse, F. (2024). Usage and beliefs of student teachers towards artificial intelligence in writing. RISTAL, 7, 1–19. DOI: https://doi.org/10.2478/ristal-2024-0001
Search in Google Scholar Back to article
Hesse, F. & Helm, G. (2025). Writing with AI in and beyond teacher education: Exploring subjective training needs of student teachers across five subjects. Journal of Digital learning in teacher eDucation 2025, Vol. 41, no. 1, 21–36 (https://doi.org/10.1080/21532974.2024.2431747).
Search in Google Scholar Back to article
Hiebel, H. H., Hiebler, H., Kogler, K. & Walitsch, H. (1998). Die Medien. Logik – Leistung – Geschichte. Stuttgart: UTB.
Search in Google Scholar Back to article
Jansen, T., Höft, L., Bahr, L., Fleckenstein, J., Möller, J., Köller, O. & Meyer, J. (2024). Comparing Generative AI and Expert Feedback to Students’ Writing: Insights from Student Teachers. Psychologie in Erziehung und Unterricht, 71(2), 80–92.
Search in Google Scholar Back to article
KMK (2024). Handlungsempfehlung für die Bildungsverwaltung zum Umgang mit Künstlicher Intelligenz in schulischen Bildungsprozessen. https://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2024/2024_10_10-Handlungsempfehlung-KI.pdf [22.11.2025].
Search in Google Scholar Back to article
Krämer, S. (2024). “Die Nicht-Vernunft der Chatbots: Was macht auf Large Language Models beruhende Künstliche Intelligenz philosophisch interessant?”. In R. Adolphi, S. Alpsancar, S. Hahn & M. Kettner (Hrsg.), Philosophische Digitalisierungsforschung: Verantwortung, Verständigung, Vernunft, Macht. (S. 297–314). Bielefeld: transcript Verlag. (https://doi.org/10.1515/9783839474976-011).
Search in Google Scholar Back to article
Kubacka, T. (2022). Today I asked ChatGPT about the topic I wrote my PhD about. 6.12.2022. https://x.com/paniterka_ch?lang=deI [22.11.2025].
Search in Google Scholar Back to article
Lee, S., Jeon, J., Mckinley, J. & Rose, H. (2025). Generative AI and English language teaching: A global Englishes perspective. September 2025 Annual Review of Applied Linguistics 45:1–24. (https://doi.org/10.1017/S0267190525100184).
Search in Google Scholar Back to article
Long, D. & Magerko, B. (2020). “What is AI Literacy? Competencies and Design Considerations”. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. ACM. pp. 1–16. doi:10.1145/3313831.3376727. ISBN 978-1-4503-6708-0.
Open DOI Search in Google Scholar Back to article
Maiwald, Klaus (2023). Digitale Textkompetenz als Bildungsaufgabe in einer Kultur der Digitalität und künstlichen Intelligenz. Mitteilungen des Deutschen Germanistenverbandes, 70(4), 359–372.
Search in Google Scholar Back to article
Meier, C., Roick, T., Henschel, S., Brüggemann, J., Frederking, V., Rieder, A., Gerner, V. & Stanat, P. (2017). An extended model of literary literacy. In D. Leutner, J. Fleischer, J. Grünkorn & E. Klieme (Hrsg.), Competence assessment in education (pp. 55–74). Heidelberg: Springer. (https://doi.org/10.1007/978-3-319-50030-0_5).
Search in Google Scholar Back to article
Metz, R. (2018). Google demos Duplex, its AI that sounds exactly like e very weird, nice human. https://www.technologyreview.com/2018/06/27/141823/google-demos-duplex-its-ai-that-sounds-exactly-like-a-very-weird-nice-human/ [22.11.2025].
Search in Google Scholar Back to article
Müller, H.-G. & Fürstenberg, M. (2023). Der Sprachgebrauchsautomat. Die Funktionsweise von GPT und ihre Folgen für Germanistik und Deutschdidaktik. In Mitteilungen des Deutschen Germanistenverbandes 70(4), 327–345.
Search in Google Scholar Back to article
Ong, W.J. (1982). Oralität und Literalität. Die Technologisierung des Wortes. Opladen: Westdeutscher Verlag.
Search in Google Scholar Back to article
Porschen, H. (2024). OpenAI GPT Token: Ein Einblick in die DNA von Texten in ChatGPT. https://hubertusporschen.com/openai-gpt-tokens/# [22.11.2025].
Search in Google Scholar Back to article
Rawte, V., Sheth, A. & Das, A. (2023). A Survey of Hallucination in “Large” Foundation Models. (https://doi.org/10.48550/arXiv.2309.05922).
Search in Google Scholar Back to article
Rothgangel, M., Abraham, U., Bayrhuber, H., Frederking, V., Jank, W. & Vollmer, H.J. (2020) 2021. Lernen im Fach und über das Fach hinaus. Bestandsaufnahmen und Forschungsperspektiven aus 17 Fachdidaktiken im Vergleich. Allgemeine Fachdidaktik, Band 2. (2. Aufl.). Münster: Waxmann.
Search in Google Scholar Back to article
Searle, J. R. (1965). „What is a speech act?“. In M. Black (Hrsg.), Philosophy in America. (pp. 221–239). London: G. Allen & Unwin.
Search in Google Scholar Back to article
Searle, J. R. (1969). Speech acts. An essay in the philosophy of language. Cambridge University Press.
Search in Google Scholar Back to article
Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences 3 (3), 417–457.
Search in Google Scholar Back to article
Searle, J. R. (1992) 1994. The rediscovery of the mind. First MIT Presspaperback edition, Massachusetts Institute of Technology.
Search in Google Scholar Back to article
Smith, C.S. (2023). AI Hallucinations Could Blunt ChatGPT’s Success. IEEE Spectrum, 13. März 2023 (https://spectrum.ieee.org/ai-hallucination).
Search in Google Scholar Back to article
Steinhoff, T. (2023). Der Computer schreibt (mit). Digitales Schreiben mit Word, WhatsApp, ChatGPT & Co. als Koaktivität von Mensch und Maschine. MiDU – Medien im Deutschunterricht 5(1), 1–16. (https://doi.org/10.18716/ojs/midu/2023.1.4).
Search in Google Scholar Back to article
Steinhoff, T. (2025). Künstliche Intelligenz als Ghostwriter, Writing Tutor und Writing Partner. In C. Albrecht, J. Brüggemann, T. Kretschmann, A. Krommer & C. Meier (Hrsg.), Personale und funktionale Bildung im Deutschunterricht (S. 85–99). Heidelberg: Metzler.
Search in Google Scholar Back to article
Su, Y., Lin, Y. & Lai, C. (2023). Collaborating with ChatGPT in argumentative writing classrooms. Assessing Writing, 57, 100752. (https://doi.org/10.1016/j.asw.2023.100752).
Search in Google Scholar Back to article
SWK (=Ständige Wissenschaftlichen Kommission der Kultusministerkonferenz) (2024). Large Language Models und ihre Potenziale im Bildungssystem https://www.swk-bildung.org/content/uploads/2024/02/SWK-2024-Impulspapier_LargeLanguageModels.pdf [22.11.2025].
Search in Google Scholar Back to article
Turing, A. (1937). ‚On Computable Numbers, with an application to the Entscheidungsproblem’. Proceedings of the London Mathematical Society, ser. 2. vol. 42, pp 230–265 (1936/7); corrections, Ibid, vol 43, 544–546.
Search in Google Scholar Back to article
U.S. Department of Education (2025) (Eds.). “Artificial Intelligence (AI) Guidance”. https://www.ed.gov/about/ed-overview/artificial-intelligence-ai-guidance [22.11.2025].
Search in Google Scholar Back to article
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., L. Jones, L., A. N. Gomez, A.N., Kaiser, L. & Polosukhin, I. (2017). Attention is All you Need. In Curran Associates, Inc., 2017 (https://doi.org/10.48550/arXiv.1706.03762).
Search in Google Scholar Back to article
Weizenbaum, J. (1965) 1966. ELIZA – A Computer Program For the Study of Natural Language Communication Between Man And Machine. In Communications of the ACM. Band 9, Nr. 1, Januar 1966, (https://doi.org/10.1145/365153.365168).
Search in Google Scholar Back to article

Reliability of AI in the domain of literary literacy and literary text interpretation: an empirical study

Abstract

Paradigm

My account