2658-4034 2782-3563 Russian Journal of Education and Psychology Russian Journal of Education and Psychology Science and Innovation Center Publishing House 10.12731/2658-4034-2026-17-1-1109 WKNHZE https://rjep.ru/jour/index.php/rjep/article/view/1109 Перспективы оценивания риторических характеристик текста в рамках национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) Prospects of assessing rhetorical dimension of text within the national Intellectual System for Testing General Language Competencies Горизонтова Анна Всеволодовна Горизонтова Анна Всеволодовна Gorizontova Anna V. gorizontova.av@mipt.ru 0009-0007-4151-3338 Тевс Виктория Владимировна Тевс Виктория Владимировна Tevs Victoria V. tevs.vv@mipt.ru 0009-0002-2879-7501 Московский физико-технический институт (Национальный исследовательский университет) (Долгопрудный, Российская Федерация) Moscow Institute of Physics and Technology (National Research University) (Dolgoprudny, Russian Federation) 31 03 2026 2026 17 1-2 567 585 18 11 2025 14 12 2025 10 12 2025 2026 А.В. Горизонтова, В.В. Тевс A.V. Gorizontova, V.V. Tevs CC BY-NC-ND 4.0 https://rjep.ru/jour/index.php/rjep/article/view/1109

Обоснование. В условиях наблюдаемого экспоненциального роста использования технологий искусственного интеллекта в языковом тестировании и продолжающегося развития созданной в МФТИ интеллектуальной системы тестирования общеязыковых компетенций ИСТОК, актуальной задачей становится расширение критериев, используемых при автоматизированной проверке письменных работ в жанре академического эссе на английском языке. Используемая в настоящее время языковая модель нацелена на оценку лексического и грамматического аспектов иноязычной компетенции, а также на выявление элементов организации и регистра текста. Учитывая важность риторических приемов для текстов в жанре эссе, мы предлагаем обучить модель выявлять указанные особенности текста, что существенно повысит качество автоматизированной оценки. Цель – определить комплекс риторических характеристик, характерных для академического эссе, и сформулировать принципы интеграции оценки риторической составляющей в систему ИСТОК. Материалы и методы. В качестве основы для разработки критериев оценивания используемых авторами способов убеждения, был использован риторический треугольник Аристотеля, включающий в себя три модуса убеждения – логос, пафос и этос. Материалом для анализа риторической компетенции студентов послужил комплекс из 450 работ студентов МФТИ. Методология исследования основана на анализе актуальных научных работ, в которых изучаются риторические характеристики текста. На основе анализа и выделения риторических приемов, наиболее актуальных для жанра академического эссе, мы осуществили разметку текстов в нашем корпусе. Результаты. Для каждого модуса была определена ключевая коммуникативная стратегия (информирующая для логоса, эмоционального воздействия для пафоса, самопрезентации для этоса). Также были отобраны конкретные языковые приемы (например, типы глаголов, средства хеджирования и усиления, риторические вопросы), позволяющие авторам строить аргументацию, воздействовать на эмоциональное поле читателя и выражать авторскую позицию. Заключение. Интеграция оценки риторических характеристик текста в автоматизированную систему оценивания позволит сделать шаг в сторону сближения автоматизированной и традиционной оценки эссе экспертами по письму.

Background. In the context of the rapid growth in use of artificial intelligence in language testing, the aim of this research is to improve the Intellectual System for Testing General Language Competencies (ISTOK) and broaden the criteria for assessing academic essays with au. Currently, the system evaluates vocabulary, grammar, text organization, and text register. Since rhetorical devices are essential in essays, teaching the ISTOK Large Language Model to identify them would make the automated feedback closer to human evaluation. Purpose. The study aimed to identify rhetorical devices typical of an academic essay and to design a practical framework for integrating the assessment of the rhetorical component into the ISTOK system. Materials and methods. Aristotle's rhetorical triangle – logos, pathos, and ethos – was taken as a foundation for analyzing persuasive strategies in student writing. To analyze students' rhetorical competence, we used a corpus of 450 essays written by MIPT students. Given that our study is based on the analysis of recent research on the rhetorical characteristics of texts, we identified the most relevant rhetorical devices and annotated the texts in our corpus. Results. The research identified a core communicative strategy for each persuasive method (logos, pathos, ethos), as well as specific language techniques that help writers structure arguments, appeal to readers' emotions, and express their writer's voice. Conclusion. Adding the assessment of rhetorical features to the range of existing criteria will help bridge the gap between automated and traditional expert assessment of essays.

 Ключевые слова языковое тестирование система тестирования ИСТОК риторическая компетенция риторика в тексте научного академического эссе пафос логос этос жанр эссе автоматизированная оценка письма Keywords language testing ISTOK rhetorical competence rhetoric in academic essays pathos logos ethos essay genre automated assessment of writing Исследования проводятся в рамках соглашения с Минобрнауки России от 17.01.2025 № 075-03-2025-662 (шифр FSMG-2025-0086, тема проекта: «Прикладные исследования по внедрению технологий искусственного интеллекта в высшем образовании»). The research is carried out within the framework of an agreement with the Ministry of Education and Science of the Russian Federation dated 17.01.2025 No. 075-03-2025-662 (code FSMG-2025-0086, project topic: "Applied research on the implementation of artificial intelligence technologies in higher education"). 1. Базанова, Е. М., Горизонтова, А. В., Грибова, Н. Н., Чикаке, Т. М., & Самосюк, А. В. (2023). Разработка и перспективы развития национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) на базе нейросетевых решений. Высшее образование в России, 32(8–9), 147–166. https://doi.org/10.31992/0869-3617-2023-32-8-9-147-166. EDN: https://elibrary.ru/OXLQSU 2. Варгина, Е. И. (2003). Риторика научного текста. Авторские средства. Вестник СПбГУ. Серия 2, (4), 44–50. EDN: https://elibrary.ru/RUBUVF 3. Варгина, Е. И. Риторика научного текста. Универсальные средства. Вестник СПбГУ. Серия 2, (3), 65–72. EDN: https://elibrary.ru/RUBUPB 4. Горизонтова, А. В. (2024). Технологии в языковом тестировании: история, проблемы и опыт МФТИ. Иностранные языки в школе, (5), 69–73. EDN: https://elibrary.ru/MSSLTY 5. Когут, С. В. (2016). Дискурсивные маркеры в письменном научном дискурсе. Сибирский филологический журнал, (2), 157–163. https://doi.org/10.17223/18137083/55/17. EDN: https://elibrary.ru/WAIKEP 6. Кожина, М. Н., & Крысин, Л. П. (2014). Научный стиль. В Эффективное речевое общение (базовые компетенции): словарь-справочник (с. 329–331). Красноярск: СФУ. 7. Короткина, И. Б. (2018). Классическая риторика как основа современного академического письма. Философия образования, 75(2), 106–123. https://doi.org/10.15372/PHE20180209. EDN: https://elibrary.ru/XSCTIL 8. Кузнецова, Л. Б., & Сучкова, С. А. (2015). Актив или пассив? «Я» или «мы»? Высшее образование в России, (8–9), 143–148. EDN: https://elibrary.ru/VBBWOP 9. Ортега-и-Гассет, Х. (1990). Две великие метафоры. В Теория метафоры (пер. с англ.; общ. ред. Н. Д. Арутюновой, М. А. Журинской, с. 68–81). Москва: Прогресс. 10. Тихонова, Е. В., & Косычева, М. А. (2025). Выражение авторской позиции в тексте научной статьи: риторические механизмы. Health, Food & Biotechnology, 6–16. https://doi.org/10.36107/hfb.2025.i1.s272. EDN: https://elibrary.ru/ALYUBC 11. Шевченко, Ю. В. (2023). Идиостиль учёного в научном и научно-популярном дискурсе [Диссертация на соискание учёной степени кандидата филологических наук]. Нижневартовск. 198 с. 12. Шпит, Е. И., & Куровский, В. Н. (2020). Англоязычное академическое письмо в структуре отечественного высшего образования. Высшее образование в России, (2), 83–91. https://doi.org/10.31992/0869-3617-2020-29-2-83-91. EDN: https://elibrary.ru/CMFRSI 13. Aristotle, & Kennedy, G. A. (1991). Aristotle on rhetoric: a theory of civic discourse. New York: Oxford University Press. 356 p. 14. Bazanova, E., Sokolova, E., & Sysoeva, M. Teaching ESL science communication in multidisciplinary multilevel classroom settings. The Journal of Teaching English for Specific and Academic Purposes, 11(1), 105–125. https://doi.org/10.22190/JTESAP230209001B. EDN: https://elibrary.ru/UHONCQ 15. Biber, D. (1988). Variation across speech and writing. Cambridge: Cambridge University Press. 328 p. https://doi.org/10.1017/CBO9780511621024 16. Chapelle, C. A., & Voss, E. (2016). 20 years of technology and language assessment in language learning & technology. Language Learning & Technology, 20(2), 116–128. https://doi.org/10.64152/10125/44464 17. Fraser, B. (2015). The combining of discourse markers — a beginning. Journal of Pragmatics, 1–6. https://doi.org/10.1016/j.pragma.2015.06.007 18. Harris, R. A. (2018). Writing with clarity and style: a guide to rhetorical devices for contemporary writers. 219 p. 19. Hyland, K. (2011). Disciplines and discourses: social interactions in the construction of knowledge. В Parlor Press and the WAC Clearinghouse (pp. 193–214). https://doi.org/10.37514/PER-B.2011.2379.2.10 20. Hyland, K. (2001). Bring in the reader: addressee features in academic articles. Written Communication, 18(4), 549–574. https://doi.org/10.1177/0741088301018004005. EDN: https://elibrary.ru/JQMSJF 21. Kaplan, R. (1966). Cultural thought patterns in intercultural education. Language Learning, 16(1–2), 1–20. 22. Mello, R. F., Fiorentino, G., & Oliveira, H. (2022). Towards automated content analysis of rhetorical structure of written essays using sequential content independent features in Portuguese. В 12th International Learning Analytics and Knowledge Conference (LAK22) (pp. 404–414). Association for Computing Machinery. https://doi.org/10.1145/3506860.3506977 23. Mohamad, H. A. (2022). Analysis of rhetorical appeals to logos, ethos and pathos in ENL and ESL research abstracts. Malaysian Journal of Social Sciences and Humanities (MJSSH), 7(3), 1–19. https://doi.org/10.47405/mjssh.v7i3.1314. EDN: https://elibrary.ru/EPWXYU 24. Pendar, N., & Cotos, E. (2008). Identification of discourse moves in scientific article introductions. В Proceedings of the Third ACL Workshop on Innovative Use of NLP for Building Educational Applications (pp. 62–70). https://doi.org/10.3115/1631836.1631844 25. Swan, M. (2005). Practical English usage. Oxford; New York. 658 p. 26. Thompson, M. (1988). Rhetorical structure theory: toward a functional theory of text organization. Text, 8(3), 243–281. 1. Bazanova, E. M., Gorizontova, A. V., Gribova, N. N., Chikake, T. M., & Samosyuk, A. V. (2023). Development and prospects for the development of the national intellectual system for testing general language competencies (ISTOK) based on neural network solutions. Higher Education in Russia, 32(8–9), 147–166. https://doi.org/10.31992/0869-3617-2023-32-8-9-147-166. EDN: https://elibrary.ru/OXLQSU 2. Vargina, E. I. (2003). Rhetoric of the scientific text. Authorial means. Bulletin of St. Petersburg State University. Series 2, (4), 44–50. EDN: https://elibrary.ru/RUBUVF 3. Vargina, E. I. Rhetoric of the scientific text. Universal means. Bulletin of St. Petersburg State University. Series 2, (3), 65–72. EDN: https://elibrary.ru/RUBUPB 4. Gorizontova, A. V. (2024). Technologies in language testing: History, problems and experience of MIPT. Foreign Languages at School, (5), 69–73. EDN: https://elibrary.ru/MSSLTY 5. Kogut, S. V. (2016). Discursive markers in written scientific discourse. Siberian Philological Journal, (2), 157–163. https://doi.org/10.17223/18137083/55/17. EDN: https://elibrary.ru/WAIKEP 6. Kozhina, M. N., & Krysin, L. P. (2014). Scientific style. In Effective Speech Communication (Basic Competencies): Dictionary-Reference Book (pp. 329–331). Krasnoyarsk: SFU. 7. Korotkina, I. B. (2018). Classical rhetoric as the basis of modern academic writing. Philosophy of Education, 75(2), 106–123. https://doi.org/10.15372/PHE20180209. EDN: https://elibrary.ru/XSCTIL 8. Kuznetsova, L. B., & Suchkova, S. A. (2015). Active or passive? "I" or "we"? Higher Education in Russia, (8–9), 143–148. EDN: https://elibrary.ru/VBBWOP 9. Ortega y Gasset, J. (1990). Two great metaphors. In Theory of Metaphor (Transl. from English; General ed. by N. D. Arutyunova, M. A. Zhurinskaya, pp. 68–81). Moscow: Progress. 10. Tikhonova, E. V., & Kosycheva, M. A. (2025). Expression of the author's position in a scientific article text: Rhetorical mechanisms. Health, Food & Biotechnology, 6–16. https://doi.org/10.36107/hfb.2025.i1.s272. EDN: https://elibrary.ru/ALYUBC 11. Shevchenko, Yu. V. (2023). Idiostyle of a scientist in scientific and popular-scientific discourse [Dissertation for the degree of Candidate of Philological Sciences]. Nizhnevartovsk. 198 p. 12. Shpit, E. I., & Kurovsky, V. N. (2020). English-language academic writing in the structure of domestic higher education. Higher Education in Russia, (2), 83–91. https://doi.org/10.31992/0869-3617-2020-29-2-83-91. EDN: https://elibrary.ru/CMFRSI 13. Aristotle, & Kennedy, G. A. (1991). Aristotle on rhetoric: A theory of civic discourse. New York: Oxford University Press. 356 p. 14. Bazanova, E., Sokolova, E., & Sysoeva, M. Teaching ESL science communication in multidisciplinary multilevel classroom settings. The Journal of Teaching English for Specific and Academic Purposes, 11(1), 105–125. https://doi.org/10.22190/JTESAP230209001B. EDN: https://elibrary.ru/UHONCQ 15. Biber, D. (1988). Variation across speech and writing. Cambridge: Cambridge University Press. 328 p. https://doi.org/10.1017/CBO9780511621024 16. Chapelle, C. A., & Voss, E. (2016). 20 years of technology and language assessment in Language Learning & Technology. Language Learning & Technology, 20(2), 116–128. https://doi.org/10.64152/10125/44464 17. Fraser, B. (2015). The combining of discourse markers — a beginning. Journal of Pragmatics, 1–6. https://doi.org/10.1016/j.pragma.2015.06.007 18. Harris, R. A. (2018). Writing with clarity and style: A guide to rhetorical devices for contemporary writers. 219 p. 19. Hyland, K. (2011). Disciplines and discourses: Social interactions in the construction of knowledge. In Parlor Press and the WAC Clearinghouse (pp. 193–214). https://doi.org/10.37514/PER-B.2011.2379.2.10 20. Hyland, K. (2001). Bring in the reader: Addressee features in academic articles. Written Communication, 18(4), 549–574. https://doi.org/10.1177/0741088301018004005. EDN: https://elibrary.ru/JQMSJF 21. Kaplan, R. (1966). Cultural thought patterns in intercultural education. Language Learning, 16(1–2), 1–20. 22. Mello, R. F., Fiorentino, G., & Oliveira, H. (2022). Towards automated content analysis of rhetorical structure of written essays using sequential content independent features in Portuguese. In 12th International Learning Analytics and Knowledge Conference (LAK22) (pp. 404–414). Association for Computing Machinery. https://doi.org/10.1145/3506860.3506977 23. Mohamad, H. A. (2022). Analysis of rhetorical appeals to logos, ethos and pathos in ENL and ESL research abstracts. Malaysian Journal of Social Sciences and Humanities (MJSSH), 7(3), 1–19. https://doi.org/10.47405/mjssh.v7i3.1314. EDN: https://elibrary.ru/EPWXYU 24. Pendar, N., & Cotos, E. (2008). Identification of discourse moves in scientific article introductions. In Proceedings of the Third ACL Workshop on Innovative Use of NLP for Building Educational Applications (pp. 62–70). https://doi.org/10.3115/1631836.1631844 25. Swan, M. (2005). Practical English usage. Oxford; New York. 658 p. 26. Thompson, M. (1988). Rhetorical structure theory: Toward a functional theory of text organization. Text, 8(3), 243–281.