МЕТОДИКА ОРГАНИЗАЦИИ ФОРМИРУЮЩЕЙ ОБРАТНОЙ СВЯЗИ ПРИ ИТЕРАЦИОННОМ ВЫПОЛНЕНИИ ПРАКТИЧЕСКИХ ЗАДАНИЙ В ИНФОРМАЦИОННО-ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЕ С ЧАТ-БОТОМ

METHODOLOGY FOR ORGANIZING FORMATIVE FEEDBACK IN ITERATIVE PRACTICAL ASSIGNMENTS WITHIN AN INFORMATION AND EDUCATIONAL SYSTEM USING A CHATBOT

Kotlova Polina Valeryevna

Bachelor, Saint Petersburg Electrotechnical University “LETI”, Russia, Saint Petersburg

Vorobyev Andrey Igorevich

Candidate of Engineering Sciences, Associate Professor, Department of Information Systems, Saint Petersburg Electrotechnical University “LETI”, Russia, Saint Petersburg

Аннотация. Разработана методика организации формирующей обратной связи при итерационном выполнении практических заданий в информационно-образовательной системе с чат-ботом. Методика объединяет критерии, педагогическую диагностику, комментарий преподавателя, план доработки и повторные версии работы в единый прослеживаемый цикл. Функциональная проверка проведена посредством сценарной проверки и вычислительного эксперимента; предложен дизайн последующей педагогической апробации.

Abstract. A methodology for organizing formative feedback during iterative practical assignments in an information and educational system with a chatbot is developed. It integrates assessment criteria, pedagogical diagnosis, teacher feedback, a revision plan, and revised versions of the work into a single traceable cycle. Functional validation was conducted through scenario-based testing and a computational experiment; a design for further pedagogical validation is proposed.

Ключевые слова: формирующее оценивание; формирующая обратная связь; практические задания; образовательный чат-бот; цифровая образовательная среда; профессиональное образование.

Keywords: formative assessment; formative feedback; practical assignments; educational chatbot; digital educational environment; professional education.

Введение

Практические задания обеспечивают переход от воспроизведения теоретических положений к проектированию, программированию, анализу данных и обоснованию инженерных решений. Их образовательный эффект зависит не только от содержания и итоговой оценки, но и от того, получает ли обучающийся информацию о расхождении между текущим и требуемым результатом и может ли использовать её при повторном выполнении работы. Эту функцию выполняет формирующая обратная связь.

В исследованиях формирующего оценивания обратная связь рассматривается как часть управляемого учебного процесса: она должна показывать требуемый результат, текущее состояние работы и следующее действие обучающегося, быть конкретной, своевременной и применимой в следующей попытке [4; 6; 8; 12; 15; 16; 18].

В онлайн-обучении этот цикл часто распределён между образовательной платформой, электронной почтой и мессенджерами, поэтому связь между замечаниями и версиями работы теряется. Повторные попытки сами по себе не обеспечивают формирующего эффекта без критериев, структурированного комментария и фиксации действий обучающегося [5; 10; 14].

Чат-боты используются для доставки заданий и уведомлений, сопровождения практической подготовки и поддержки саморегулируемого обучения [1; 2; 3; 7; 9; 11; 13; 17]. Однако цифровой интерфейс сам по себе не обеспечивает педагогического эффекта. В настоящем исследовании чат-бот рассматривается не как средство автоматической генерации комментариев, а как интерфейс сквозного цикла, связывающего критерий, выявленное затруднение, план доработки, новую версию работы и решение преподавателя.

Таким образом, противоречие состоит в потребности в циклической, критериальной и действенной обратной связи при фрагментарной организации проверки практических заданий в цифровой среде. Для его разрешения необходимо объединить отправку работы, педагогическую диагностику, структурированный комментарий, план доработки, повторную попытку и итоговую фиксацию в едином информационном контуре.

Цель исследования – разработать и функционально проверить методику организации формирующей обратной связи при итерационном выполнении практических заданий в информационно-образовательной системе с чат-ботом. Для достижения цели определены требования и этапы цикла, разработаны статусная модель и карточка обратной связи, проведены сценарная и вычислительная проверки и сформирован дизайн последующей педагогической апробации. Использованы анализ научной литературы, системный анализ, функциональная декомпозиция, моделирование состояний и вычислительный эксперимент. Теоретическую основу составили положения формирующего оценивания, грамотности в области обратной связи и саморегулируемого обучения [6; 8; 12; 15].

Научная новизна исследования состоит в разработке методики организации формирующей обратной связи как прослеживаемого итерационного процесса, объединяющего критерий задания, выявленное затруднение, структурированный комментарий преподавателя, план действий обучающегося, новую версию работы и решение по результатам повторной проверки. Функциональная реализация процесса формализована посредством статусной модели, обеспечивающей сохранение связей между последовательными попытками и элементами обратной связи.

Практическая значимость состоит в возможности применения методики в цифровых образовательных платформах для сохранения связи между критериями, замечаниями, версиями работы и решениями преподавателя.

В типовой системе управления обучением (Learning Management System, LMS) рубрика, комментарий преподавателя, повторная попытка и журнал событий могут существовать как отдельные функции. В предлагаемой методике они связаны причинно: замечание относится к критерию и наблюдаемому фрагменту работы, преобразуется обучающимся в план действия, проверяется в следующей версии и закрывается решением преподавателя. Поэтому единицей анализа становится изменение работы между версиями, а чат-бот обеспечивает доставку и фиксацию действий, не заменяя педагогическое решение.

1. Теоретические основания и принципы организации формирующей обратной связи

Формирующее оценивание отличается от итогового назначением информации: итоговое фиксирует достигнутый уровень, тогда как формирующее используется для изменения последующих действий обучающегося и преподавателя [6]. Комментарий становится формирующим, если его можно применить до окончательного завершения задания.

При итерационном выполнении критерии должны быть доступны до начала работы, каждое замечание – связано с конкретным затруднением и следующим действием, а новая версия – сохранять связь с предыдущей. Система должна фиксировать не только доставку комментария, но и план обучающегося и результат доработки.

Критериальность и конкретность требуют указывать ожидаемый результат, наблюдаемое основание и проверяемое действие. Например, вместо общей формулировки «доработать практическую часть» следует обозначить нарушенный критерий, выявленное затруднение и результат, по которому можно подтвердить исправление.

Диалогичность предполагает возможность подтвердить понимание или запросить уточнение, а прослеживаемость – сохранение версий, сроков и решений. При этом обратная связь должна направлять самостоятельную работу, не подменяя её готовым решением. Соответствие педагогических принципов информационным механизмам представлено в таблице 1.

Таблица 1.

Принципы методики и их информационная поддержка

2. Методика организации формирующей обратной связи

Методика представляет собой замкнутый восьмиэтапный цикл, в котором переход к следующему этапу допускается после выполнения обязательных условий текущего состояния. Этапы и их результаты приведены в таблице 2.

Таблица 2.

Этапы методики организации формирующей обратной связи

Если при повторной проверке критерии не достигнуты, цикл возвращается к этапу формирования обратной связи; после принятия работы результат и история выполнения используются для аналитики курса.

Статусная модель описывает жизненный цикл задания и его выполнения. Состояния DRAFT, PUBLISHED и CANCELLED относятся к подготовке задания, а SUBMITTED, UNDER_REVIEW, REVISION_REQUIRED, RESUBMITTED и ACCEPTED – к выполнению обучающимся; для просрочки используются OVERDUE и CLOSED. Повторная отправка всегда создаёт новую версию, связанную с предыдущей, что обеспечивает прослеживаемость изменений.

Критерии нельзя изменять задним числом для уже отправленной попытки: при уточнении задания создаётся новая редакция условий, а попытка остаётся связанной с версией, действовавшей в момент отправки.

Таблица 3.

Основные состояния и допустимые переходы

Информационная модель сохраняет связь между условием задания, критерием, попыткой, замечанием, планом доработки и результатом повторной проверки. Это позволяет обучающемуся сопоставить исходное решение, обратную связь и результат исправления, а преподавателю – выявлять устойчивые затруднения и критерии, требующие дополнительного объяснения.

3. Карточка обратной связи и функции чат-бота

Карточка обратной связи формируется для отдельных критериев или логически связанных групп замечаний, что позволяет сопоставлять их с изменениями в следующей версии работы.

Карточка включает ссылку на критерий, наблюдаемое основание, объяснение расхождения, следующее действие, условие повторной отправки и срок; при необходимости добавляется ресурс поддержки. Формулировка должна описывать действие обучающегося, а не готовое решение.

Для автоматической проверки вводится коэффициент полноты K_f, характеризующий только наличие обязательных компонентов карточки и не являющийся показателем педагогического качества обратной связи.

                                                                                                 (1)

где c – наличие ссылки на критерий; e – наблюдаемого основания; x – объяснения расхождения; a – следующего действия; d – условия повторной отправки и срока. Каждый показатель принимает значение 0 или 1. Карточка считается структурно полной при K_f = 1,0; значение K_f ≥ 0,8 допускается, если отсутствующий компонент обоснованно признан неприменимым.

Например, комментарий «исправьте диаграмму» не задаёт критерий, основание и проверяемое действие. Структурированная карточка связывает замечание с критерием «корректность связей», указывает проблему в связи Order–Product, требуемое изменение модели и результат, который необходимо представить при повторной отправке.

Таблица 4.

Шаблон карточки формирующей обратной связи

Шаблоны могут ускорять заполнение карточки, но основание и следующее действие должны соответствовать конкретной работе. После публикации обучающийся получает уведомление, подтверждает понимание или запрашивает уточнение; ответ фиксируется как часть истории выполнения.

Чат-бот выполняет функцию событийного диалогового интерфейса между обучающимся и информационно-образовательной системой. Он не только предоставляет критерии и принимает работу, но и доставляет карточку обратной связи, фиксирует подтверждение её понимания, передаёт запрос на уточнение, сохраняет сформулированный обучающимся план доработки, напоминает о сроке и связывает повторную отправку с конкретной версией и замечанием. Содержательная диагностика, формирование педагогического комментария и принятие работы остаются за преподавателем; чат-бот сокращает временной разрыв между публикацией обратной связи и следующим учебным действием и обеспечивает прослеживаемость цикла.

4. Проверка применимости и функциональной непротиворечивости методики

Для сценарной проверки рассмотрено практическое задание по проектированию информационных систем: построение ER-диаграммы («сущность–связь») реляционной модели и подготовка скрипта на языке определения данных (Data Definition Language, DDL). Оценивание выполняется по четырём критериям: полнота сущностей, корректность ключей и связей, соответствие третьей нормальной форме и согласованность модели с SQL-скриптом.

Таблица 5.

Сценарий итерационного выполнения практического задания

Сценарная проверка подтверждает возможность прослеживать замечания между версиями, отделять устранённые затруднения от вновь обнаруженных и сохранять связь каждого педагогического решения с конкретной попыткой. Полученный сценарий демонстрирует функциональную применимость модели к организации итерационного цикла выполнения практического задания.

Для проверки непротиворечивости статусной модели реализован конечный автомат на Python 3.13.5. Множество допустимых переходов соответствовало таблице 3: PUBLISHED → SUBMITTED, OVERDUE или CANCELLED; SUBMITTED → UNDER_REVIEW; UNDER_REVIEW → REVISION_REQUIRED или ACCEPTED; REVISION_REQUIRED → RESUBMITTED или OVERDUE; RESUBMITTED → UNDER_REVIEW; ACCEPTED → ARCHIVED. Для OVERDUE в исходной модели допускались SUBMITTED, RESUBMITTED и CLOSED без учёта контекста. В уточнённой модели до первой зарегистрированной попытки из OVERDUE разрешены SUBMITTED и CLOSED, а после опубликованного требования доработки – RESUBMITTED и CLOSED.

Последовательности генерировались псевдослучайно из множества переходов, разрешённых для текущего состояния, начиная со статуса PUBLISHED и до достижения конечного состояния либо 20 переходов. Для воспроизводимости использовался генератор Random с фиксированным значением seed 20260724. Для основных ветвей применялось фиксированное взвешивание: после PUBLISHED повышалась вероятность SUBMITTED, после UNDER_REVIEW – REVISION_REQUIRED и ACCEPTED, после REVISION_REQUIRED – RESUBMITTED; одно и то же правило использовалось для исходной и уточнённой моделей.

После завершения каждой последовательности проверялись пять инвариантов: 1) номера попыток образуют непрерывную последовательность; 2) первая попытка создаётся событием SUBMITTED без родительской версии, а каждая последующая – событием RESUBMITTED со ссылкой на предыдущую попытку; 3) переход в ACCEPTED возможен только из UNDER_REVIEW; 4) каждому состоянию REVISION_REQUIRED соответствует запись обратной связи; 5) журнал событий начинается с PUBLISHED, содержит выполненные переходы и завершается текущим состоянием модели. В негативной проверке для каждой из 1000 тестовых последовательностей выбирался один переход, отсутствующий в разрешённом множестве текущего состояния; тест считался успешным, если модель отклоняла этот переход.

Из 1000 последовательностей исходной модели 81 выявила некорректную семантику регистрации попыток: в 33 случаях RESUBMITTED возникал до первой отправки, а в 48 случаях после замечаний и просрочки выполнялся повторный SUBMITTED вместо RESUBMITTED. После введения контекстных ограничений все 1000 последовательностей уточнённой модели прошли проверку по пяти инвариантам; во всех 1000 негативных тестах запрещённый переход был корректно отклонён.

Таблица 6.

Результаты функционального эксперимента

Для состояния OVERDUE введены контекстные ограничения: до первой попытки допускается только SUBMITTED или CLOSED, а после опубликованных замечаний – RESUBMITTED или CLOSED. Это исключает создание повторной версии без исходной попытки и повторную регистрацию первой отправки.

Таким образом, сценарная и вычислительная проверки подтверждают функциональную применимость и непротиворечивость уточнённой модели в пределах проверенных сценариев. Следующим этапом исследования является педагогическая апробация методики с оценкой динамики качества выполнения работ и характера использования обучающимися полученной обратной связи.

5. Дизайн педагогической апробации и направления дальнейшего исследования

Для последующей педагогической апробации предлагается оценивать процесс выполнения, качество первой и итоговой версий и перенос способа действия. К процессным показателям относятся время до получения обратной связи, число запросов на уточнение, количество попыток, длительность цикла и частота просрочек. Качество версий оценивается по одной четырёхкритериальной рубрике с диапазоном 0–3 балла по каждому критерию.

Планируемая апробация строится по квазиэкспериментальной схеме на двух сопоставимых учебных группах по 20–30 человек. В контрольной группе используется обычный цикл LMS с повторной попыткой без обязательной структуризации ответа, в экспериментальной – восьмиэтапная методика с карточкой, подтверждением плана и связью замечаний с новой версией. Основной показатель – изменение балла между первой и итоговой версиями; дополнительные – доля устранённых замечаний, повторение ошибки в переносном задании, время цикла и нагрузка преподавателя.

До работы со студентами предполагается экспертная оценка 12–20 обезличенных карточек не менее чем пятью преподавателями по соответствию критерию, доказательности, понятности, выполнимости действия и сохранению самостоятельности обучающегося.

При проведении педагогической апробации целесообразно учитывать нагрузку на преподавателя, качество исходных критериев и особенности интерпретации цифровых следов. Поэтому процессные показатели следует сопоставлять с изменением работы, запросами на уточнение и повторением ошибок, а организацию исследования – с требованиями к защите персональных данных и наличием альтернативного веб-доступа. Такой подход позволит оценить методику одновременно по результатам учебной деятельности и по характеристикам взаимодействия с обратной связью.

Заключение

Разработана восьмиэтапная методика организации формирующей обратной связи при итерационном выполнении практических заданий. Она связывает критерии, диагностику, структурированный комментарий, план доработки, новую версию работы и решение преподавателя в единый цикл; для его поддержки предложены статусная модель, информационные связи и карточка обратной связи.

Сценарная проверка показала возможность прослеживать замечания между версиями, а вычислительный эксперимент выявил контекстную неоднозначность состояния OVERDUE. После введения контекстных ограничений все 1000 последовательностей уточнённой модели прошли проверку по пяти инвариантам, а во всех 1000 негативных тестах запрещённый переход был отклонён.

Полученные результаты подтверждают функциональную непротиворечивость разработанной модели и возможность её использования для организации итерационного выполнения практических заданий. Для дальнейшего исследования результативности методики разработан дизайн квазиэкспериментальной апробации и экспертной оценки карточек обратной связи, предусматривающий сопоставление динамики качества работ и процессных показателей в контрольной и экспериментальной группах.