Перспективы оценивания риторических характеристик текста в рамках национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК)
Аннотация
Обоснование. В условиях наблюдаемого экспоненциального роста использования технологий искусственного интеллекта в языковом тестировании и продолжающегося развития созданной в МФТИ интеллектуальной системы тестирования общеязыковых компетенций ИСТОК, актуальной задачей становится расширение критериев, используемых при автоматизированной проверке письменных работ в жанре академического эссе на английском языке. Используемая в настоящее время языковая модель нацелена на оценку лексического и грамматического аспектов иноязычной компетенции, а также на выявление элементов организации и регистра текста. Учитывая важность риторических приемов для текстов в жанре эссе, мы предлагаем обучить модель выявлять указанные особенности текста, что существенно повысит качество автоматизированной оценки.
Цель – определить комплекс риторических характеристик, характерных для академического эссе, и сформулировать принципы интеграции оценки риторической составляющей в систему ИСТОК.
Материалы и методы. В качестве основы для разработки критериев оценивания используемых авторами способов убеждения, был использован риторический треугольник Аристотеля, включающий в себя три модуса убеждения – логос, пафос и этос. Материалом для анализа риторической компетенции студентов послужил комплекс из 450 работ студентов МФТИ. Методология исследования основана на анализе актуальных научных работ, в которых изучаются риторические характеристики текста. На основе анализа и выделения риторических приемов, наиболее актуальных для жанра академического эссе, мы осуществили разметку текстов в нашем корпусе.
Результаты. Для каждого модуса была определена ключевая коммуникативная стратегия (информирующая для логоса, эмоционального воздействия для пафоса, самопрезентации для этоса). Также были отобраны конкретные языковые приемы (например, типы глаголов, средства хеджирования и усиления, риторические вопросы), позволяющие авторам строить аргументацию, воздействовать на эмоциональное поле читателя и выражать авторскую позицию.
Заключение. Интеграция оценки риторических характеристик текста в автоматизированную систему оценивания позволит сделать шаг в сторону сближения автоматизированной и традиционной оценки эссе экспертами по письму.
Скачивания
Литература
Базанова, Е. М., Горизонтова, А. В., Грибова, Н. Н., Чикаке, Т. М., & Самосюк, А. В. (2023). Разработка и перспективы развития национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) на базе нейросетевых решений. Высшее образование в России, 32(8–9), 147–166. https://doi.org/10.31992/0869-3617-2023-32-8-9-147-166. EDN: https://elibrary.ru/OXLQSU
Варгина, Е. И. (2003). Риторика научного текста. Авторские средства. Вестник СПбГУ. Серия 2, (4), 44–50. EDN: https://elibrary.ru/RUBUVF
Варгина, Е. И. Риторика научного текста. Универсальные средства. Вестник СПбГУ. Серия 2, (3), 65–72. EDN: https://elibrary.ru/RUBUPB
Горизонтова, А. В. (2024). Технологии в языковом тестировании: история, проблемы и опыт МФТИ. Иностранные языки в школе, (5), 69–73. EDN: https://elibrary.ru/MSSLTY
Когут, С. В. (2016). Дискурсивные маркеры в письменном научном дискурсе. Сибирский филологический журнал, (2), 157–163. https://doi.org/10.17223/18137083/55/17. EDN: https://elibrary.ru/WAIKEP
Кожина, М. Н., & Крысин, Л. П. (2014). Научный стиль. В Эффективное речевое общение (базовые компетенции): словарь справочник (с. 329–331). Красноярск: СФУ.
Короткина, И. Б. (2018). Классическая риторика как основа современного академического письма. Философия образования, 75(2), 106–123. https://doi.org/10.15372/PHE20180209. EDN: https://elibrary.ru/XSCTIL
Кузнецова, Л. Б., & Сучкова, С. А. (2015). Актив или пассив? «Я» или «мы»? Высшее образование в России, (8–9), 143–148. EDN: https://elibrary.ru/VBBWOP
Ортега и Гассет, Х. (1990). Две великие метафоры. В Теория метафоры (пер. с англ.; общ. ред. Н. Д. Арутюновой, М. А. Журинской, с. 68–81). Москва: Прогресс.
Тихонова, Е. В., & Косычева, М. А. (2025). Выражение авторской позиции в тексте научной статьи: риторические механизмы. Health, Food & Biotechnology, 6–16. https://doi.org/10.36107/hfb.2025.i1.s272. EDN: https://elibrary.ru/ALYUBC
Шевченко, Ю. В. (2023). Идиостиль учёного в научном и научно популярном дискурсе [Диссертация на соискание учёной степени кандидата филологических наук]. Нижневартовск. 198 с.
Шпит, Е. И., & Куровский, В. Н. (2020). Англоязычное академическое письмо в структуре отечественного высшего образования. Высшее образование в России, (2), 83–91. https://doi.org/10.31992/0869-3617-2020-29-2-83-91. EDN: https://elibrary.ru/CMFRSI
Aristotle, & Kennedy, G. A. (1991). Aristotle on rhetoric: a theory of civic discourse. New York: Oxford University Press. 356 p.
Bazanova, E., Sokolova, E., & Sysoeva, M. Teaching ESL science communication in multidisciplinary multilevel classroom settings. The Journal of Teaching English for Specific and Academic Purposes, 11(1), 105–125. https://doi.org/10.22190/JTESAP230209001B. EDN: https://elibrary.ru/UHONCQ
Biber, D. (1988). Variation across speech and writing. Cambridge: Cambridge University Press. 328 p. https://doi.org/10.1017/CBO9780511621024
Chapelle, C. A., & Voss, E. (2016). 20 years of technology and language assessment in language learning & technology. Language Learning & Technology, 20(2), 116–128. https://doi.org/10.64152/10125/44464
Fraser, B. (2015). The combining of discourse markers — a beginning. Journal of Pragmatics, 1–6. https://doi.org/10.1016/j.pragma.2015.06.007
Harris, R. A. (2018). Writing with clarity and style: a guide to rhetorical devices for contemporary writers. 219 p.
Hyland, K. (2011). Disciplines and discourses: social interactions in the construction of knowledge. В Parlor Press and the WAC Clearinghouse (pp. 193–214). https://doi.org/10.37514/PER-B.2011.2379.2.10
Hyland, K. (2001). Bring in the reader: addressee features in academic articles. Written Communication, 18(4), 549–574. https://doi.org/10.1177/0741088301018004005. EDN: https://elibrary.ru/JQMSJF
Kaplan, R. (1966). Cultural thought patterns in intercultural education. Language Learning, 16(1–2), 1–20.
Mello, R. F., Fiorentino, G., & Oliveira, H. (2022). Towards automated content analysis of rhetorical structure of written essays using sequential content independent features in Portuguese. В 12th International Learning Analytics and Knowledge Conference (LAK22) (pp. 404–414). Association for Computing Machinery. https://doi.org/10.1145/3506860.3506977
Mohamad, H. A. (2022). Analysis of rhetorical appeals to logos, ethos and pathos in ENL and ESL research abstracts. Malaysian Journal of Social Sciences and Humanities (MJSSH), 7(3), 1–19. https://doi.org/10.47405/mjssh.v7i3.1314. EDN: https://elibrary.ru/EPWXYU
Pendar, N., & Cotos, E. (2008). Identification of discourse moves in scientific article introductions. В Proceedings of the Third ACL Workshop on Innovative Use of NLP for Building Educational Applications (pp. 62–70). https://doi.org/10.3115/1631836.1631844
Swan, M. (2005). Practical English usage. Oxford; New York. 658 p.
Thompson, M. (1988). Rhetorical structure theory: toward a functional theory of text organization. Text, 8(3), 243–281.
References
Bazanova, E. M., Gorizontova, A. V., Gribova, N. N., Chikake, T. M., & Samosyuk, A. V. (2023). Development and prospects for the development of the national intellectual system for testing general language competencies (ISTOK) based on neural network solutions. Higher Education in Russia, 32(8–9), 147–166. https://doi.org/10.31992/0869-3617-2023-32-8-9-147-166. EDN: https://elibrary.ru/OXLQSU
Vargina, E. I. (2003). Rhetoric of the scientific text. Authorial means. Bulletin of St. Petersburg State University. Series 2, (4), 44–50. EDN: https://elibrary.ru/RUBUVF
Vargina, E. I. Rhetoric of the scientific text. Universal means. Bulletin of St. Petersburg State University. Series 2, (3), 65–72. EDN: https://elibrary.ru/RUBUPB
Gorizontova, A. V. (2024). Technologies in language testing: History, problems and experience of MIPT. Foreign Languages at School, (5), 69–73. EDN: https://elibrary.ru/MSSLTY
Kogut, S. V. (2016). Discursive markers in written scientific discourse. Siberian Philological Journal, (2), 157–163. https://doi.org/10.17223/18137083/55/17. EDN: https://elibrary.ru/WAIKEP
Kozhina, M. N., & Krysin, L. P. (2014). Scientific style. In Effective Speech Communication (Basic Competencies): Dictionary Reference Book (pp. 329–331). Krasnoyarsk: SFU.
Korotkina, I. B. (2018). Classical rhetoric as the basis of modern academic writing. Philosophy of Education, 75(2), 106–123. https://doi.org/10.15372/PHE20180209. EDN: https://elibrary.ru/XSCTIL
Kuznetsova, L. B., & Suchkova, S. A. (2015). Active or passive? “I” or “we”? Higher Education in Russia, (8–9), 143–148. EDN: https://elibrary.ru/VBBWOP
Ortega y Gasset, J. (1990). Two great metaphors. In Theory of Metaphor (Transl. from English; General ed. by N. D. Arutyunova, M. A. Zhurinskaya, pp. 68–81). Moscow: Progress.
Tikhonova, E. V., & Kosycheva, M. A. (2025). Expression of the author’s position in a scientific article text: Rhetorical mechanisms. Health, Food & Biotechnology, 6–16. https://doi.org/10.36107/hfb.2025.i1.s272. EDN: https://elibrary.ru/ALYUBC
Shevchenko, Yu. V. (2023). Idiostyle of a scientist in scientific and popular scientific discourse [Dissertation for the degree of Candidate of Philological Sciences]. Nizhnevartovsk. 198 p.
Shpit, E. I., & Kurovsky, V. N. (2020). English language academic writing in the structure of domestic higher education. Higher Education in Russia, (2), 83–91. https://doi.org/10.31992/0869-3617-2020-29-2-83-91. EDN: https://elibrary.ru/CMFRSI
Aristotle, & Kennedy, G. A. (1991). Aristotle on rhetoric: A theory of civic discourse. New York: Oxford University Press. 356 p.
Bazanova, E., Sokolova, E., & Sysoeva, M. Teaching ESL science communication in multidisciplinary multilevel classroom settings. The Journal of Teaching English for Specific and Academic Purposes, 11(1), 105–125. https://doi.org/10.22190/JTESAP230209001B. EDN: https://elibrary.ru/UHONCQ
Biber, D. (1988). Variation across speech and writing. Cambridge: Cambridge University Press. 328 p. https://doi.org/10.1017/CBO9780511621024
Chapelle, C. A., & Voss, E. (2016). 20 years of technology and language assessment in Language Learning & Technology. Language Learning & Technology, 20(2), 116–128. https://doi.org/10.64152/10125/44464
Fraser, B. (2015). The combining of discourse markers — a beginning. Journal of Pragmatics, 1–6. https://doi.org/10.1016/j.pragma.2015.06.007
Harris, R. A. (2018). Writing with clarity and style: A guide to rhetorical devices for contemporary writers. 219 p.
Hyland, K. (2011). Disciplines and discourses: Social interactions in the construction of knowledge. In Parlor Press and the WAC Clearinghouse (pp. 193–214). https://doi.org/10.37514/PER-B.2011.2379.2.10
Hyland, K. (2001). Bring in the reader: Addressee features in academic articles. Written Communication, 18(4), 549–574. https://doi.org/10.1177/0741088301018004005. EDN: https://elibrary.ru/JQMSJF
Kaplan, R. (1966). Cultural thought patterns in intercultural education. Language Learning, 16(1–2), 1–20.
Mello, R. F., Fiorentino, G., & Oliveira, H. (2022). Towards automated content analysis of rhetorical structure of written essays using sequential content independent features in Portuguese. In 12th International Learning Analytics and Knowledge Conference (LAK22) (pp. 404–414). Association for Computing Machinery. https://doi.org/10.1145/3506860.3506977
Mohamad, H. A. (2022). Analysis of rhetorical appeals to logos, ethos and pathos in ENL and ESL research abstracts. Malaysian Journal of Social Sciences and Humanities (MJSSH), 7(3), 1–19. https://doi.org/10.47405/mjssh.v7i3.1314. EDN: https://elibrary.ru/EPWXYU
Pendar, N., & Cotos, E. (2008). Identification of discourse moves in scientific article introductions. In Proceedings of the Third ACL Workshop on Innovative Use of NLP for Building Educational Applications (pp. 62–70). https://doi.org/10.3115/1631836.1631844
Swan, M. (2005). Practical English usage. Oxford; New York. 658 p.
Thompson, M. (1988). Rhetorical structure theory: Toward a functional theory of text organization. Text, 8(3), 243–281.
Copyright (c) 2026 Anna V. Gorizontova, Victoria V. Tevs
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
