Вебинар «Оценивание в смешанном обучении»

18.05.2020 (Спикеры: А.Наумов, В.Лебедев)
Расшифровка Zoom-кафе

Алексей Наумов:
Когда мы начали работать в смешанном обучении, оказалось, что сначала надо определиться с ценностями, которые вы будете поддерживать учением. У кого-то это дисциплина, у кого-то это выполнение всего, чего нужно, у кого-то это ответственность, и поэтому разными учителями даются разные оценки разным детям, потому что ценности у них разные, а учителя нередко о ценностях не договариваются, они сразу начинают договариваться об оценках, это целая проблема.
Второе — отметка. Отметка — это то, что мы на кого-то вешаем. И поэтому, понятно, когда ребёнок понимает, что его пометили, он как-то к этому относится. Как ни странно, разговор с учителями по вопросу ценностей и вопросу о том, есть отметки или нет отметки, как правило, запаздывают. Обычно всё начинается с того, за что ставить, сколько баллов за что, давайте критерии пропишем. Это нередко натыкается на какие-то проблемы по ходу дела, потому что критерии не прописаны. Но если ценности разные, это не доводит до добра.

Второй вопрос, который мы тоже выясняли в связи со смешанным обучением, это вопрос общения. В отличие от всей этой истории со смешанным обучением про самостоятельность и всё такое прочее, оценка — это то, что каждый учитель, родитель, ребенок очень чётко бдит. Убедить учителей в использовании смешанного обучения — это полдела, потому что очень часто они считают, что это какая-то новомодная штука, это интересно, почему бы и нет. А вот изменить систему оценивания гораздо сложнее, потому что она коренится в ценностях, которые учитель пропагандирует и доносит до родителей.

Поэтому когда кто-то начинает говорить ему: «Послушайте, давайте мы уже перейдем на формирующие итоговое оценивание.»

Он отвечает: «Подождите. А как? Я с помощью оценки контролирую деятельность детей. Вы хотите, чтобы я им за эту идею отметки здесь не ставил, они так делать перестанут всё».
Мы говорим: «Ну есть вот такая ценность».
«Нет, подождите! Оставьте себе ваши ценности! Я ещё готов ротировать детей на уроке, потому что это хорошо, каждый делает всё что хочет, а в рамках логики персонификации, у каждого свои задания. Но оценки — моё дело! Я их как хочу, так и ставлю. Потому что это язык, на котором я разговариваю с родителями и с детьми».

Вообще-то, это сложный вопрос, когда мы приходим к человеку и говорим: «Давайте вы язык свой измените! Вы его неправильно используете».
Он отвечает: «А вы, собственно, кто такой, чтобы мне рассказывать про язык? Мне, например, всего хватает. Мне хватает в этом языке слов — двойка, тройка, четвёрка, пятёрка. Меня все понимают. Я всех понимаю. Зачем Вы в это дело лезете?»

Для нас некоторой (контрольной) точкой, перед тем как мы меняли систему оценивания, была тренировка «на котиках», когда мы решили разработать оценку качества деятельности учителей. Этот семинар, который мы проводили, вызвал шквал негатива.

Когда учитель понял, что его хотят как-то оценивать, какие-то критерии придумали, непонятно как, непонятно что, какие-то отметки на него вешать — успешный или неуспешный, творческий или не творческий, это вызвало большое количество недопонимания. Мы частично воспользовались этим недопониманием потом. Для обсуждения с учителями, как они планируют потом выстраивать систему оценивания для общения с детьми.

Как только учителя услышали, что мы тоже хотим их оценивать, они спросили: «Подождите, а как это? Вы будете оценивать что? Почему? Я это сделал, потом всё-таки переделал. Можно это или нет?»

Поэтому первое, с чего бы я хотел начать сегодня, это с того, что оценка гораздо важнее, как мне кажется, чем процесс преподавания в рамках смешанного обучения. Потому что в оценку на данном этапе зашито гораздо больше понятных вещей для учителя, чем в некоторых постулируемых смешанным обучением вещах, которые могут не доходить изначально до учителя. То есть оценка для него понятное и родное, а самостоятельность и остальное — надстройки, которые не всегда понятны.

Первое, с чего мы начинали, — это то, что у нас есть
assessment of learning, то есть оценка процесса обучения,
есть assessment as learning, то есть оценка в качестве процесса, когда ребёнок оценивает чужие работы и таким образом учится в процессе оценивания,
assessment for learning — это оценивание, которое направлено на то, чтобы мотивировать ребенка двигаться дальше.

Три блока. Они в жизни всегда в вшиты в оценку, когда мы ставим 3,4 или 5. Мы их постарались расширить, как это часто сейчас делают. То есть сделать так, чтобы это были разные отметки, которые выставляются за разное.

Понятно, что это сейчас прописано во ФГОС, использование формирующего итогового оценивания. Понятно, что мы оцениваем как результат, так и процесс. Как выяснилось, есть некоторые проблемы, с этим связанные, которых я коснусь чуть позже.

Теперь про критериальное оценивание, которое у нас тоже есть. Оно пришло к нам тоже из IB, когда мы проходили авторизацию. Авторизовали практически все классы в этом отношении. Как ни странно, если вводить критериальное оценивание в одном, двух или трёх классах, скажем, у учителей особенных, которые этого хотят, это хорошо. Но когда мы начали вводить это в рамках школы, то есть для всех классов, которые изучают, например, английский язык с пятого по одиннадцатый, это вызвало кучу сложностей вне зависимости от того, использует ли человек смешанное обучение или нет.

В первую очередь каждый учитель подсознательно считает, что оценка и отметка, которую он выставляет, это в том числе отметка, которая выставляется ему самому. Как только начинается история про критериальное оценивание, каждый учитель волнуется, что его недооценят. Если он будет ставить по критериям, ему скажут, что он не дорабатывает, плохо работает с детьми и так далее.

С одной стороны, мы говорим, что ребёнок самостоятельный, что он сам идет. Но с другой стороны, как только учитель начинает чётко по тому, что написано (в критериях), начинает ставить двойки. Не двойки, конечно. Мы говорим, что 2 балла из 8. Но как только этих двух баллов из восьми накапливается достаточно много, он в конце концов выставляет ему те же самые два балла в журнал.

Тут к нему приходят родители и говорят, что эта ваша история приятная, всякие критерии, всё прочитал, понял, но это же двойка. То есть он плохо знает. Когда родитель приходит и говорит, что это плохо, он считает, что не ребёнок у него плохой. Ребёнок просто не очень дисциплинированный. Это учитель плохой. По крайней мере это он доносит либо до учителя, либо до администрации.

Отдельной историей для нас был переход на критерии МЭШ, электронный дневник. Потому что мы так лихо убрали формирующее оценивание, заменив его коэффициентом ноль, оставив только итоговое с коэффициентом 5, так что вообще никак формирующие не трогало итоговое. Это тоже вызвало некоторые сложности.

Наталья Андреева: Правильно понимаю, что отметки, которые появляются в процессе формирующего оценивания, вы никак их не отражаете в МЭШ?

Алексей Наумов: Мы изначально разработали целую хитрую схему, при которой мы думали, что не будем их отображать. Потом мы провели все родительские собрания с пятого по одиннадцатый класс. Со всеми поговорили, запустили и выяснили, что у учителей, которые работали по старой схеме и только познакомились с новой, которую мы предлагаем, у них возникает проблема. Потому что у них как будто бы нет вообще никакого языка. Раньше они худо-бедно общались на своём, теперь не общаются ни на каком.

По итогам было решено, что будет система так называемая 30/70. То есть для курса английского языка, где 5 часов в неделю у всех, 30% — текущее оценивание, формирующее, а 70% — итоговое. Так был построен весь процесс, чтобы одни оценки не перевешивали другие. То есть, грубо говоря, на 10 формирующих отметок есть одна итоговая. В этом случае перебить формирующими оценками итоговые практически не получается. Вот ответ на вопрос. Поэтому сейчас в МЭШ мы ставим, все работы, которые не итоговые. Они все с коэффициентом 1 всегда, все итоговые с коэффициентом 5. Вот такая история.

Конец этой истории или начало, или середина — это то, что мы оценивали как результат, но и то, что мы начали оценивать как процесс. Не только так называемые образовательные результаты, чему ребёнок научился, но и как он это научился, как он этому научился. Об этом я сейчас расскажу.

Это очень краткая наша история за последние 4-5 лет, даже 6. Наверно, если выразить её в одном предложении или в нескольких предложениях, суть заключается в том, что аккуратней, пожалуйста, с оцениванием. Это история теоретически красивая и правильная. Но как только она начинает спускаться вниз к большому количеству учителей, это не один, не два, а, скажем, 80 учителей или 100, или 120 и вы начинаете исправлять сложности не у одного учителя, а у целой когорты. Возникает проблема.

Причем наша школа, честно говоря, любит документы. Все всё прочли, все всё поняли. Со всеми всё обсудили. Но, тем не менее, когда дело доходит до того, что у учителя есть любимый ученик. И он никак не хочет ему поставить двойку из 8 баллов, потому что он не хочет разбираться с его родителями позже. Таких случаев до 20%, это проблема.

Теперь конкретика. Мы оцениваем предмет, то есть предметные результаты. Они у нас просписаны. Можно взять КЭСовские. Мы разрабатывали свои, когда вышел ФГОС. Есть гигантская простыня по предметам. Мы расписывали, чему ребёнок научится в результате прохождения физики седьмого класса или английского. Там написаны всякие глаголы действия, как в IB. Или если с IB не знакомы, то с Блумом (знакомы). Уверен, знаете эти глаголы.

Специально в системе moodle, хотя это неважно, созданы задания прописанные под эти же КЭС. Ребёнок их может выполнять и в рамках урока, и после урока, и дома. Журнал мы тоже используем мудлоский. Он хранит все данные ребёнка по тому или иному навыку. Причём журнал разбит не по времени выполнения задания, а журнал сгруппирован по навыкам.

Скажем, если у вас есть навык «умеет письменно обосновать, письменно спрогнозировать поведение физической системы», то он есть в одной теме, в другой. Поэтому все задания, которые он выполняет, они не по времени идут, а они сразу отправляются в категорию. Мы смотрим отметки, которые стоят в категории, дальше из них определенным образом выставляется какая-то общая по тому или иному навыку.

 Соответственно, оценки не суммируются целиком за некоторые навыки в кучу, а они анализируются по категориям. Это что касается предметной составляющей. Она так у нас живёт, здесь практически вопросов у учителей не возникает.

Что касается метапредметной части, то есть та, которая касается самостоятельности и всего прочего. У нас это всего три навыка. Мы решили, что мы не можем развивать всё-всё-всё, поэтому решили, что концентрируемся на некоторых вещах пока что.

Первая — это сроки, то есть соблюдение сроков, причём чем раньше сдаёт, тем лучше, и следует ли плану. Все, которые сдаются в самый последний момент ночью, не добирают дополнительных положительных баллов, не то что штрафуют их, но и не дают плюшки за это.
Вторая — инициатива. То есть когда ребёнок проявляет инициативу и делает не только то, что он обязан сделать, а ещё хоть что-нибудь кроме этого.

И так называемые правильные практики. Это означает, что он помог соседу, взял на себя ответственность за какой-то внешний проект, организовал группу, объяснил им всем, как нужно поступать. То есть это достаточно большая когорта деятельности или активности ученика, которую я сейчас не готов обрисовать. Потому что она связана именно со спецификой взаимодействия старшей и младшей школы. Но она важна для нашей школы, поэтому она тоже включена.

 Метапредметная часть нами оценивается, и в роли отметок выступают значки, общий рейтинг и сертификаты, которые потом переводятся в баллы, которые потом также выставляются в журнал.

Сейчас я покажу какие-нибудь примеры. Вот система рейтинга. Мудл позволяет ее сделать. За каждую активность, которую ребёнок проявляет, она хитрым образом учитывается, ему добавляются какие-то баллы, допустим, за то, что он лишний раз прошел тест на балл чуть выше, чем тот, который у него был, это за упорство, за то, что он сдал не в последний момент, а на 2 дня раньше, тоже добавляется балл, за то, что он выполнил не только обязательные задания, но и задания повышенной сложности, которые необязательны, тоже ему добавляется. Мы выделяем первых 5, которые высоко стоят в рейтинге, плюс оценивается прогресс, то есть если он смог набрать какое-то количество баллов за неделю, обычно у нас недельный срок, то он тоже за это получает какую-то плюшку. Вот у нас получается одна-две отметки за процесс в неделю, то есть есть отметки за результат в неделю, а есть отметки за процесс в неделю. У разных уроков разное количество часов в неделю, поэтому здесь в основном речь идет про английский в значительной мере и частично физика, если час неделю, здесь, конечно, сложнее, у английского много часов.

Всё, что здесь нарисовано на картинке, это оценивает Мудл, потому что курсы находятся в Мудле, потом всё это сохраняет, следит за этим. Для нас это важно, потому что ребёнок может посмотреть правило, они там вывешены, за что он получает какие баллы, и он не ждёт, пока учитель ему что-то начислит, он просто делает и сразу видит, что баллы получил, радуется, его радует, что здесь какая-то технологизированная система, как в компьютерной игре, которую он руками не трогает и учителя руками не трогает.

 Это то, что я говорил про предметную составляющую. Видите, там есть М-2.1 это механика, с моей точки зрения, и вот в этом месте есть КЭС «применять знания для развернутых ответов», в журнале тоже это всё по пунктам идёт, там проценты стоят, мы высматриваем самый лучший результат по данной категории. На самом деле, это не совсем так, не самый лучший результат, смотрится более хитро, несколько лучших результатов, но смотрится прогресс, но у нас есть некоторый навык, задание сгруппировано по этому навыку, мы его каким-то образом оцениваем. Сверху есть некая Алиса Давыдова, видно, что она несколько раз проходит этот тест. Дети нередко проходят их по 5, по 6 раз. Каждый раз, когда он его проходит, мы тоже зачисляем ему баллы за то, что он проявляет упорство в освоении нового материала. Понятно, что, может быть, он его проявляет не потому что он упорный, а потому что он хочет баллы набрать, но в данном случае у нас есть гипотеза о том, что здесь в некотором отношении количество переходит в качество, то есть он учится проявлять упорство, он понимает, что это ценно и мы это оценим, он понимает, что эта ценность, возможно, для него будет тоже актуальна.

Значки. Здесь, мне кажется, всё понятно. Когда он выполняет определенные задания, обычно это сложные или когда создана всё вовремя, он получает значок, но помимо всего прочего, всех баллов, он находится в профиле у ребёнка. Есть дети, для которых эта история с накоплением значков очень актуальна, то есть им даже неважно, что мы это переведем в баллы, поставим в журнал, ему важно, что он эти значки копит и может похвастаться ими перед учениками. Всё, что я сейчас показываю, это значительной мере метапредметная часть, предметная — это всё, что было про журнал, про КЭС и правильное распределение по блокам.

Наверное, в общих чертах за 10 минут это всё. Давайте я отвечу на вопросы. Я понимаю, что это очень сумбурно, но это так.

Наталья Андреева: Спасибо большое, очень интересно. Коллеги, я предлагаю задавать вопросы. Я хотела спросить. Я могу потом задать технические вопросы по тому, как вы это всё настраивали. Я пример таких значков не видела.

Алексей Наумов: Я готов рассказать, но не знаю, насколько это актуальная тема для тех, кто не сидит на Мудл.

Наталья Андреева: Это потом уже отдельно можем собрать тех, кто хочет сделать всё красиво и здорово и добавить всяких плюшек в Мудле. Коллеги, если есть какие-то вопросы, можете задавать голосом или написать в чат. Я хотела тоже спросить. Вы не предлагали МЭШ городскому методическому центру или держателям МЭШ использовать ваши практики?

Алексей Наумов: Есть история, с моей точки зрения, как мы это видим и наш опыт внедрения. Это совершенно непересекающиеся аспекты. Когда мы летом проработали всю систему, всё прописали, все бумажки сделали, казалось, что сейчас в августе мы всех учителей обучим, всё будет хорошо, тогда мы думали, что мы начнём запускаться через МЭШ уже правильным образом, там тоже есть критериальное оценивание, можно было бы всё аккуратно запустить, но то, с чего я начал, выяснилось, что мы не проговорили вопрос ценностей, который очень важен, и мы до декабря разгребали вопрос с ценностями, а не с технической стороной, то есть техническая сторона заняла буквально неделю. А вопрос, например, обиды, когда, скажем, «я перешёл на формирующее оценивание, а он ничего не делает», а инструмента учителя больше нету в некотором отношении, потому что раньше он ставил за самостоятельные тройки или двойки в большом количестве, а теперь мы ему говорим: «У вас есть самостоятельные, пожалуйста, но у них вес только один. Контрольная будет, но она будет через 3 недели, у неё будет коэффициент 5», Он говорит: «Как мне дожить до этой контрольной? Он же у меня сейчас ничего не делает». Какие-то такие вещи, которые кажутся очевидными. Или, например, он говорит: «А как мне вообще поступать? Ведь он уже сейчас может эту контрольную написать на 5». Мы говорим: «Супер, значит, вы можете с ним что-то ещё делать». Он говорит: «Нет, у меня программа есть. Значит он должен до неё дожить и потом написать ее на 5». Мы говорим: «Как раньше было?» «Раньше он сидел на уроке работал, потому что он бы пару получил за то, что не сделал задание». Мы говорим, задание, получается, было неактуальным, он же контрольную мог сразу написать. «Да, но процесс шел. А вы нам этот процесс портите». Это смешно. Я понимаю, как это выглядит со стороны, то есть мы, грубо, не дошли до МЭШ, если так можно выразиться, нам хватило истории по дороге.

Наталья Андреева: Спасибо. Спрашивают, кто автор критериев оценивания – методисты, весь коллектив? Как создавались критерии оценивания? Я правильно понимаю, что когда ты говоришь «декабрь» — это этот декабрь?

Алексей Наумов: Это хороший вопрос. Дело в том, что с физикой и естественными науками всё прошло как по маслу, там всего 4 педагога или пять на всю школу, поэтому все они в теме, их можно собрать и договориться. Но как только дело дошло до математикоы и англичан, которых очень много, англичан прям человек сорок, вот здесь начались проблемы. Поэтому физику мы перевели на всю эту историю давно, там проблем нету, она вся существует, так же как биология, так же как химия. А с английским языком мы страдали до декабря этого года, думаю, что вопрос страданий не окончен, он замедлился, потому что все вышли на дистант, но у меня есть впечатление, что точка не поставлена в обсуждении.

Теперь отвечаю на вопрос, кто автор. Я не знаю, как это делается совсем правильно. Как у нас это сработало? Идея, при которой все собираются и обсуждают — да. Потом кто-то один или двое пишут рыбу, потом эта рыба доводится до сведения всех, и у всех есть 2 недели, чтобы что-то прокомментировать и написать. После чего она в обязательном порядке вступает в действиет. Даже в этом случае процентов 30 делает всё на автомате, в смысле «да, спасибо, документ получил», и только потом, когда он через 2 недели вступает в действие, начинают осознавать, что «Слушайте, мне ещё его и соблюдать надо теперь? Одно дело, я согласился, другое дело, что я по нему теперь живу». Поэтому у нас есть вот эта история с тем, что комьюнити англичан собиралось, все всё обсудили, но по факту это не всегда спасает, я бы сказал так. Но у нас было вот так.

Наталья Андреева: Ещё вопрос: как ребята отнеслись к такой системе?

Алексей Наумов: Ребята — это собирательный образ. Почему? Потому что когда мы говорим про, например, конкретный класс или про 40 детей, или про 50, я могу ответить, теперь представьте, что это английский язык с 5 по 11, это в каждом классе по 3 параллели, то есть это 5, 6, 7, 8, 9, 10, 11. 7 на 3 – 21 класс. 21 класс умножаем на 30, получаем получаем 600 + детей. Они очень разные. Кому-то это понравилось, потому что он наконец понял, что он может написать заранее контрольную, не мучиться, ему не скучно. Кто-то сказал: «Что вы ко мне пристали? Я в одиннадцатом классе, у меня всё хорошо, я получаю пятёрки на самостоятельных еженедельно, меня за это дома хвалят, а вы навязывайте мне какую-то историю». У меня нету ответа на вопрос, как отнеслись к этому ребята, очень много этих ребят. С моей точки зрения в реальности, хотя это грубо сейчас прозвучит, это в некотором отношении неважно. То, как отнесутся ребята к этой истории, на самом деле, очень сильно зависит от того, насколько к этому серьезно отнесутся взрослые. То есть если взрослые считают, что эти ценности верные и так надо вести себя, потому что это хорошо, то в общем и целом большинство учеников к этому подтянутся. Если для взрослого это спущенная сверху история, которую его заставляют делать, он от этого страдает, то они не отнесутся к ней хорошо, даже если история правильная, потому что они будут считать, что какой-то дурак сверху что-то решил и на них это спускает. Я не ухожу от ответа. Я могу сказать: «Вы знаете, да, мой класс хорошо к этому отнесся, все остальные по-разному».

Наталья Андреева: Как собирается обратная связь от детей?

Алексей Наумов: Сложно она собирается. Мы, безусловно, используем всякие гугл-формы и всё такое прочее, но даже анонимные формы имеют смысл только для тех детей, которые вообще привыкли рефлексировать на собственную деятельность, в противном случае они просто протыкивают какие-то кнопочки, которые их устраивают, и вы получаете какую-то безумную статистику, в которую еще нередки зашиты вопросы типа нравится, не нравится, полезно, не полезно, ребёнку сейчас нравится, а через 5 минут не нравится, оценить полезно или нет он вообще не может, потому что он первый раз столкнулся с системой смешанного обучения и, наверное, полезно, считает он, потом пришёл домой, ему родитель сказал, что у него пара по предмету, сказал, что это неправильно, ребёнок считает уже, что это уже не полезно, что с ним происходит. Поэтому первое, что мы оценивали, — у нас были итоговые контрольные работы, они разрабатывались с тем сообществом англичан, и мы сравнивали текущее с итоговым, то есть мы смотрели, в какой степени что происходит и соответствует результату. Это была первая большая оценка, оценка качества всей этой новой системы. Если она не соответствовала, шла обратная связь, мы обсуждали, где там что, почему не произошло. У детей мы спрашивали, насколько им понятна система. И насколько они понимают, за что им поставили баллы. Больше мы у них не собирали информацию о том, нравится или не нравится, только эти два аспекта. То есть понимает ли, как она работает и понимает ли, за что.

Наталья Андреева: Последний вопрос. Правильно ли я понимаю, что вы ввели во всей школе, включая не только здание, которое раньше было гимназическим, но и те здания, которые были присоединены, или в зданиях, которые были присоединены, возникли какие-то сложности?

Алексей Наумов: Мы испытываем некоторые сложности даже в гимназическом здании. Мы это ввели только в одном здании, в других зданиях это по желанию, и думаю, что пока мы это не обкатаем аккуратно в нашем здании, мы не будем это распространять дальше, потому что, в первую очередь, у нас спросят: а вы на себе попробовали? как вам, нормально? Думаю, что, честно говоря, это история о двух-трёх лет, я думаю, года три ещё мы будем собирать шишки, переводя систему у нас так или иначе, а потом только мы начнём какие-то попытки делать в другие здания, у меня такое впечатление сейчас.

Наталья Андреева: Вопрос от Антона Скулачева.

Антон Скулачев: Алексей Леонидович, здравствуйте. У меня вопрос, может быть, слишком объемный. Спасибо вам огромное за выступление, всё было очень интересно. Но как всегда, самые интересные проблемные точки и травматический опыт. Про то, что нужно оценивать критериально, мы это все знаем, мы это тоже любим, но спасибо за конкретные картинки, это всегда тоже очень важно. Не могли бы вы, если это возможно, рассказать, какие технологии, шаги конкретно делались для того, чтобы учителя приняли, поверили, двинулись, вот вы говорили о смыслах и языке, как вы работали над формированием этого языка как того, который готовы учителя?

Алексей Наумов: Лично нам, именно тому зданию, которое сейчас обсуждается, было проще. Сначала значительная часть учителей прошла обучение по DP и IB программе программе, соответственно, она уже усвоила, неважно насколько, но она усвоила, что есть какой-то профиль ученика, потому что не все ФГОС читали, что есть какие-то ценности и так далее. То есть мы шли сверху вниз. Сначала был очерчен круг ценностей, который все учителя нашего здания разделяют, в нашем случае это три вещи: творчество, ответственность и знания. Потом из этих ценностей были сформированы те или иные критерии. То есть как мы узнаем, что творческий человек? Как мы узнаем, что у человека хорошие знания, умения и навыки? Как мы узнаем, что человек ответственный? Потом ещё ниже. Каждый из этих критериев был прописан на языке действия, если так можно выразиться. Проблема, раз мы говорим про травматический опыт, заключается не в том, что вот эти действия не были проведены, а в том, что несмотря на то, что они проведены, одно дело — обсудить их, а одно дело — с ними согласиться, то есть никто из учителей напрямую не скажет: «Вы знаете, я против самостоятельности ребенка, я считаю, что он должен быть несамостоятельный, я за то, чтобы бить его розгами по возможности, если он меня не слушает, и ставить его на горох». Или кто-то из учителей скажет: «Вы знаете, я считаю, что выставлять нужно среднее, потому что среднее — самый лучший вариант. И даже если ребёнок завалил контрольную, потом 10 раз написал на пять, надо ставить не пять, а среднее по этим вариантам». Так не происходит. Дело в том, что когда учитель, с одной стороны, сталкивается с идеализированной историей о том, как должно быть, а с другой стороны, когда приходит родитель и говорит: «Мой ребёнок у вас больше не хочет заниматься, потому что раньше он сидел на вот этих формирующих оценках, вы его жалели, ставили четвёрки и пятёрки, а теперь он за них недополучает, за контрольную пару получил, потому что он слабый, сделайте что-нибудь теперь с этим». Учитель начинает думать, что ему делать? Раньше у него был инструмент, а теперь его нету.

 Поэтому если говорить про конкретные шаги, мы собирались, обсуждали ценности, обсуждали критерии, клеили стикеры на доску, считали, сколько там этих стикеров, какая оценка самая большая, смотрели, сколько времени каждый учитель тратит на развитие той или иной ценности, смотрели, как это делается в рамках класса, то есть действительно какая ценность в классе превалирует, обсуждали опыт учителей, когда их оценивают, они ходят на занятия по обучению новой методике; как они считают наиболее честно, как на наиболее объективно верно, честно оценивать их. Когда мы решили разработать критерии оценки качества учителя, то есть как оценить, сколько, какому учителю платить денег, например. Это сразу вызвало какие-то проблемы. Гипотетически и теоретически всё понятно. Непонятно, когда возникают первые конфликты у учителя и у ребёнка, и у родителя. Причём может быть это тоже важно, а может и нет. Когда эта история прописалась как IB, вопросов не возникает, потому что учитель приходит и говорит: «Почему я должен это делать?» Ты говоришь, что вы знаете, у нас есть диплом IB, вы находитесь в классе IB, счастливо, пожалуйста, как здесь написано, так и делайте, а то вы больше не будете в классе IB. А когда это вопрос ценностный, то есть вы так делаете, потому что это хорошо, это другая история. Когда родитель приходит и говорит: «На каком основании вы вводите критериальное оценивание?» Вы говорите, что у вас есть положение. Он говорит: «У вас неправильное положение в школе. Давайте мы спросим у департамента, правильное ли у вас положение или нет, может, у вас неправильное положение и вы неправильно критерии оцениваете. Во ФГОС критериев не написано, вы придумываете какие-то процессы, вот давайте расскажите мне».

 Ценностно и теоретически всё нам понятно. точка вопрос заключается в реализации. Когда мы реализовали это в рамках 8 класса и IB, это было несложно, потому что есть внешний фактор IB, который говорит, что делайте так, пожалуйста. Как только внешний фактор целиком исчез, началось брожение на каком-то этапе. Вот так.

Наталья Андреева: Спасибо большое. Мы тебя, с одной стороны, отпускаем, с другой стороны, оставайся с нами.

Виталий Лебедев: Можно один комментарий и один вопрос? Есть такая манипулятивная практика, работает очень хорошо. Как только на декларативном уровне учителя согласились с образом ученика, неважно как называется, то есть с общими ценностями, с тем, к чему и как надо идти, то для разработки критериального оценивания дальше ставится простой вопрос: ребята, а как ты с помощью этого предмета придете к этому образу? Как только учитель начинает сам для кого-то, для себя отвечать на этот вопрос, внутреннее отношение к критериальному оцениванию и вообще к общим ценностям меняется. У нас вот такой опыт был и сработал очень хорошо. И вопрос: вы различаете, чем мета-навыки для вас отличаются от непредметных навыков?

Алексей Наумов: Это вопрос терминологии, поэтому я в раздумьях. Наверное, я, скорее, в данной логике точно, всё, что непредметное, отнёс к мета. То есть как личностные, компетенции, так и всё остальное, то есть всё, что не входит в рамки предметной составляющей.

Виталий Лебедев: То есть внепредметные, надпредметные — это всё мета?

Алексей Наумов: Да. Весь межпредметный опыт. Межпредметный я отнес бы к предметным, но, грубо, да.

Виталий Лебедев: Я понял, спасибо.

У меня будет про такие абстрактные механики, я так это назвал. Почему про абстрактные механики? Это те базовые понятия, которые, на мой взгляд, надо понимать для того, чтобы рассуждать о критериальном оценивании и о том, как его применять. Хотя там отдельные примерчики будут, но примеры техники, но эта техника не транслируемая, потому что, как абсолютно верно заметил Алексей, критериальное оценивание строится на ценностях.

И два слова хотел сказать именно про эти ценности. Сложности в понимании здесь практически никакой нет. Есть цели образования. Их можно выразить в виде образа ученика, в виде итоговых навыков, которые должен получить учащийся. Тем не менее, если у школы не сформировано понимание, куда мы идём, на глобальном уровне, то никакой истории про критериальное оценивание не будет. Потому что все будут идти в разные стороны. Если же это понимание хотя бы на декларативном уровне есть, тогда выстраивается в каждом предмете, в каждой предметной группе выстраивается линия, как мне туда привести ребёнка и что мне, конкретно учителю или методическому объединению, что нужно сделать, чтобы туда прийти. Цели образования диктуют цели предметные групп. Цели предметных группы диктуют цели предметов, цели предметов диктуют цели конкретной темы, цели темы диктуют цели конкретной работы. И из вот этой иерархии целей выстраивается критериальное оценивание.

Теперь немного про разницу между оценкой или отметкой, хотя Алексей много уже про это рассказал, но не пропадать же моему труду. Я совершенно согласен с Алексеем, когда он определил оценку, что происходит оно от слова ценность, исходное родовое понятие — цена. И небольшой оффтопик, что интересно, слово цена является родственным со словом «казна» и «наказание» одновременно. Это так, повод для размышления. В общем и целом, оценка в теории оценивания определяется как информация о качестве объекта оценивания — хорошее, плохое, нравится или не нравится. Например, я оценил некоторое качество и на основе этого сделал какой-то вывод. То есть если расширять это понятие, то можно сказать, что оценка — это вывод о качестве объекта оценивания. Этот вывод может быть достаточно объемным, он может занимать некое словесное описание, может быть достаточно кратким, степень детальности оценки, то есть этого вывода, зависит от цели оценивания. Рудокоп копает яму. Говорит прорабу: «Нормальная яма?» Он говорит: «Нормальная». Этой оценки в данном случае вполне достаточно для того, чтобы рудокоп перешёл и стал копать другую яму или перешел деревья сажать. Иногда требуется существенно больше информации для того, чтобы понять, нормально или ненормально, требуется понять, нужная ли глубина, нужная ли ширина, ровный ли скос.

Если у объекта оценивания актуальных характеристик для цели становится больше, возникает разговор про критерии и критериальное оценивание. При этом отметка от слова «метить» — это установка в соответствии с уровнем достижений. Сейчас поясню, что имеется в виду.

У меня есть понятный образ, что такое отметка. Например, ребёнок растёт. Помните, когда мы росли, родители на двери делали зарубки. Это самый яркий, на мой взгляд, образ того, что такое отметка. Что мы отмечаем. В данном случае отмечаем один-единственный параметр — рост. Соответственно, отмечать можно достаточно большое количество параметров. И количество этих параметров зависит от того, какими критериями мы пользуемся.

Если я говорю про яму и говорю, что в яме важна глубина, ширина и уровень скоса, пологая или крутая, вот у меня возникает три актуальных характеристики, каждую из этих характеристик я могу померить. С глубиной и шириной достаточно просто померить — 20 см или 1,5 м, а вот со скосом возникает проблема. Если у меня нет численной характеристики, я должен придумать какой-то механизм измерения вот этого скоса и принять решение, достаточно хороший использую механизм или недостаточно хороший. О том, как это придумать, чуть-чуть попозже. Пока мне важно сделать разделение о том, что оценка — это просто набор фактов, информации, а отметка — это некая метка, она может быть числовая, она может быть зарубкой, она может быть зайчиком, ёжиком. О соответствии некоему уровню, то есть отметка без распределения на уровне бессмыслена. Привычные наши отметки -неудовлетворительно, удовлетворительно, хорошо — это описания этих уровней. Информативностью они начинают обладать только после того, как эти уровни описаны. И об этом чуть-чуть попозже.

Несколько важных вещей, на которых хотелось бы остановиться. У меня есть презентация, не знаю посмотрели или не посмотрели, что русскому хорошо, то немцу смерть, оказывается. В этой презенташке люди выбирали, какой стул купить. Для разных людей хорошим стулом может оказаться совершенно разные вещи, поэтому без того, какую цель мы поставили, а переводя на язык Алексея, вне определения ценности, к которой мы двигаемся, оценивать бесполезно.

 Есть такая метафора: развивается то, что оцениванием. История про оценивание -это история про ценности и как мы замеряем движение по направлению к этим ценностям. Соответственно, если цели нет, то оценка бессмысленна.

 Отметка — это формальное воплощение оценки. Оно работает только в том случае, если описано, по каким правилам мы эту отметку ставим, то есть без описания критериев и без описания каждого из уровней отметка превращается в бессмысленную метку. Краской нарисовали на заборе галочку. Даёт нам эта информацию о чём-то? Нет, не даёт. А как только в нашем тайном сообществе мы договорились, что красная галочка означает, что всем надо собрать свои вещи и срочно бежать на главную площадь, эта отметка начинает иметь смысл.

Есть разные практики перевода оценки в отметку, и это вызывает, как правило, больше всего споров и больше всего проблем. Чтобы получить оценку, мне потребуется оценить каждый из критериев. Чтобы перевести эти критерии в отметки, мне потребуется описание уровней: что такое высокое достижение критериев, что такое среднее, что такое низкое. Я получаю отметки по критериям. После этого в соответствии с этими правилами перевода, эти правила могут быть самыми разнообразными, из отметок по критериям я получаю итоговую отметку. И эта итоговая отметка — это формальная характеристика уровня достижений в рамках какой-то работы или уровень достижений вообще по предмету или по теме, неважно.

 Есть другая техника получения итоговой отметки. Есть у нас оценки критериев. И на основе неких правил, которые мы должны придумать, мы выводим обобщенную оценку. Оценка в данном случае — это некий текст, можно их просто сложить, но тогда она очень объёмная будет, можно на основании каких-то общих вещей в разных критериях сформулировать новый некий текст, и на основании этого текста в соответствии с продуманными правилами я получаю итоговую отметку за какую-то работу.

Что я хочу сказать? Вот эти правила и в первом варианте, и во втором варианте — это тот методический труд, который должен пройти через каждого учителя, чтобы он согласился с ним, чтобы внутреннее чувство справедливости не было задето. Если такое согласие доступно, то любой учитель на претензии родителей, которые описывал Алексей, сможет аргументированно отвечать. Он не будет вставать в позицию, что нет, мне это вся система не нравится, он встанет в позицию защитника этой системы и будет объяснять, почему это так. Почему? Потому что он просто понимает. Почему он понимает? Потому что он сам был разработчиком этой системы. К сожалению, когда есть перспектива в 2-4 года, это одна история. Когда перспектива 10-15 лет — это совершенно другая история, потому что мало запустить, надо поддерживать. Поддержка систем критериального оценивания, не только механики, о которой сейчас говорю, не только механизмов этих правил. Это постоянный процесс. То есть, грубо говоря, методические объединения и педагогический совет должны работать постоянно по пересмотру или по утверждению этих итоговых ценностей, этих критериев, этих рубрикаторов, этих дескрипторов, о которых я сейчас говорил. Не будет этого процесса, система быстро выродится. То есть она будет хорошо прописана, но никто её соблюдать не будет. В этом плане очень удобным механизмом является система вертикального горизонтального планирования. Когда люди собираются вместе и говорят: «Давайте посмотрим, как у меня навыки исследования, вот он с пятого по девятый, или с первого по одиннадцатый класс, формируется, изменяется? Что мы делаем на каждом этапе и на каждом предмете для того, чтобы он формировался?» Это система вертикального планирования.

Система горизонтального планирования – как нам оптимизировать нашу работу, как вынести за скобки то, что является общим для предметов? Умение оформлять источники информации, нужно в истории, географии, везде нужно, и даже в математике, если есть соответствующая работа. Давайте придумаем, когда и как мы это делаем для того, чтобы каждый учитель делал это самостоятельно и не тратил на это время – это система горизонтального планирования.

Когда эти системы начинают работать в школе, это зависит не совсем от учителя, а первую очередь от воли и силы администрации. Когда такие встречи начинают происходить, система начинает сама себя поддерживать, и ценности начинают транслироваться и переходить из года в год, даже если они периодически меняются, хотя на моей практике это происходит достаточно редко.

Теперь немножко про термины. Они взяты из международного бакалавриата, но когда я знакомился с общей теории оценивания, там термины очень похожи, поэтому я оставлю те термины, которые в международном бакалавриате используются, тем более, что его практика всё более и более внедряется в России. Последний ФГОС — это не очень удачная копия стандарта международного бакалавриата.

Итак, критерии оценивания — это актуальные характеристики объекта оценивания. Чему мы хотим научить? Хотим научить правильно решать, хотим научить решать не по шаблону, используя свои знания, хотим научить правильно оформлять. Вот три критерия, 3 характеристики работы, которые я хочу, чтобы были оценены, точнее которые мне надо оценить для того, чтобы достичь своих целей.

Рубрикатор — это описание уровней эталона. Простейший пример из русского языка советского периода: нет ошибок — 5, одна ошибка — 4, две ошибки — 3, три больше — 2. За диктант. Это простейший пример рубрикатора. А дескриптором в данном случае является одна ошибка, две ошибки, три ошибки.

Критериальная оценка, хотя если в этимологию заглянуть, критериальная оценка — тавтология, потому что критерии и оценка — об одном и том же. Это некий текст, то есть описание неких достигнутых уровней по всем критериям. Отметка по критерию — значение уровня по критерию. То есть я могу долго описывать, иногда отметка бывает полезна. В общем и целом отметка вредит, но иногда она бывает полезна, в частности для ребёнка, который читает текст, и он очень категоричен, он говорит: «Боже мой, я всё сделал неправильно». Хотя, в общем-то, оценка хорошая. Поэтому ему нужна формальное воплощение — 95%. А бывает наоборот — дети совершенно некритичные. Написано: сделано неправильно, вывод какой-то непонятный сделал, и описание недостаточно детальное. Он говорит: «Так отличная работа». Иногда отметка дополняет информационно оценку.

Итоговая отметка — это показатель качества объекта оценивания, полученный на основании установленных правил. Примеры правил я вам приводил.

Сейчас хочу для понимания рассмотреть еще один пример, прямо все шаги, как это происходит. Не потому что так надо делать, а потому что такова логика получения оценки и логика получения отметки. Какие конкретно правила вы будете использовать, это зависит от вашего методического объединения и от решения педагогов вашей школы.

Пример. Реши задачи разными способами, сравни эти способы и оформи решение так, чтобы другому человеку была очевидна логика твоего решения. Критерии оценивания и рубрикаторы прилагаются. Я их не стал прямо здесь показывать, потому что они дальше будут, когда я буду показывать, как происходит процесс оценивания. Обращаю внимания, что это задание само по себе подразумевает три цели: то, что эти задачи надо решить, то, что надо понимать разные способы решения задач, то, что оформлять надо по-человечески. Эти три маленькие учебные цели переформулируются в критерии. Что это за критерии? Я назвала их так: базовые знания по теме, аналитические навыки, навыки коммуникации. Пример этот условный. Я его придумал, когда готовился к предыдущей встрече. По тому же самому принципу оцениваются и любой другой даже по формально заданным критериям.

Я делаю рубрикаторы, делаю описание. В чём цель оценки по базовым знаниям? Учащиеся используют, во-первых, он знает, и использует все законы правил решения и не допускает ошибки, то есть не только понимает, но и умеет это правильно сделать. Аналитические навыки: приводит несколько разных решений, то есть понимает, что можно решить не одним образом, ищет эти решения, помимо этого умеет сравнивать, выбирать оптимальный и описывать то, что он делает, проводит проверку. И навыки коммуникации. Здесь совсем конкретно, что должно быть в задаче, чтобы считать её хорошо оформленной? Должно быть дано, необходимые формулы, методы решений, задач, проверка, ответ, чтоб чертёж был и для каждой величины указана размерность. Я как предметник определил, что на данном этапе мне очень важно, чтобы вот эти вот вещи были, поэтому я их описал. Почему мне важно, чтобы они вообще были? Это разговор про предметные цели вообще, про задачи предметной группы и про задачи в конце концов образовательной организации, образовательных задач. Это критерии, которые ребёнка выдаются вместе с заданиями.

Теперь давайте пробуем детализировать и описать уровни. Что такое высокий уровень? Помечу, что у высокий уровень будет отметка 3. Здесь могло быть 8, 12, мог быть зайчик нарисован. Высокой уровень: ошибок не делает, законы, правила знает, написал их, более того, записал только нужные законы и правила и использовал для решения задачи, а не вообще всё, что в памяти есть, выдал. Средний уровень: есть какие-то ошибки, но при этом законы и правила всё равно знаем и используем. Низкий уровень: ошибок очень много, какие-то законы и правила я помню, какие-то использую, а какие-то даже написать не могу. Соответственно, есть нулевой уровень, когда не достиг ни одного из этих уровнец, даже низкого не достиг, ошибок очень много.

 Точно таким же образом я расписывал аналитические навыки и навыки коммуникации. Вот я сделал дескриптор для того, чтобы оценить уровень. Теперь представим, что ребёнок решил эту, назовём её контрольную, и у меня получились такие результаты. Вот я даю оценку по первому критерию. Задания все решены верно, законы выписаны, правильное использованы. Помните рубрикатор, какой отметке соответствует это описание? Кто-нибудь помнит? Никто не помнит. Никто не хочет со мной общаться. Это троичный уровень, такой сарказм небольшой, уровень 3, высший уровень по критерию. Беру аналитические навыки и смотрю: задачи решены единым образом, но при этом он указывает, что можно так и можно так, но использует только один метод. Беру навыки коммуникации: вообще как курица лапой написал, ответ даже не выписал, понятно, что решение правильное, чертежа не сделал, в общем, решил сам для себя. Что это за описание? Это описание является оценкой, то есть это та информация, которая оценивает успешность его работы.

Я бы здесь остановился, но формальные требования требуют от меня перевести это в какой-то балл, дать какую-то отметку. Я сравнил с рубрикаторами и выписал те отметки, которые у меня получились по каждому критерию. Теперь вот у меня мои критерии. Я введу новые понятия, потому что для меня базовые знания по теме — это существенно более важное, чем, например, оформление, а аналитические навыки еще более важные, чем базовые, поэтому я сделал критерии разновесными. Пусть у меня базовые знания весят полтора, аналитические навыки — три, а навыки коммуникации – 0,5. Я для себя решил, точнее мы на методическом совете решили, что в конкретном случае для успешности движения ребёнка к заданной цели мы будем учитывать вот с такими весами. Пропишу отметки, которые у меня получились, придумаю какое-нибудь правило перевода простое. Перемножил, сложил, поделил,  округлил. В результате получил по нашей пятибалльной системе тройку. Почему? Человек вроде всё правильно решил, а получил тройку. Так вот, если бы цель оформления и цель развития аналитических навыков не стояла бы вообще, он бы получил пятёрку, но так как цели у меня немножко другие, он в этой работе получил тройку, потому что аналитические навыки хоть и были продемонстрированы, но продемонстрированы на низком уровне.

Ещё один отдельный момент. Хотел обратить внимание вот на эту зону, зона пересечения. Почему она вообще пересекается? Потому что в отдельных случаях отметки и оценки могут совпадать. Это совпадение зависит от тех целей, которые я поставил. Я не хочу долго и подробно на этом останавливаться. После примера будет достаточно понятно. Мы привыкли, что «хорошо» — это отметка, которая может обозначать уровень освоения темы. Хорошо освоил, не отлично, но лучше, чем удовлетворительно. А может быть «хорошо» оценкой, которая может означать то, что это задание сделано, можно приступить к следующему заданию. Пример с землекопом и прорабом. «Начальник, яму выкопал». Прораб посмотрел: «Хорошо». Значит, можно уже сажать дерево или копать другую яму. А можно более сложный вариант, что, в общем, ты тему освоил, молодец, но если будут более сложные задачи, проблемы у тебя могут возникнуть. То есть интерпретация отметки очень сильно зависит от цели и выражается в описании критерия. В общем и целом, лучше оценку и отметку разводить, когда это возможно.

Может быть, я неправильно понял тему нашей встречи, подготовил ещё пару слайдов по поводу работы и оценивания на дистанте.

Наталья Андреева: Очень хорошо. Спасибо огромное, всё очень актуально и всё в тему. Я думаю, что дополнительное тоже будет в тему, потому что у всех наболело, всем сейчас новый год планировать и это важно.

Виталий Лебедев: Здесь выводов достаточно мало, здесь в основном фактология. У нас есть дистанционные задания для самостоятельного выполнения. То есть как мы его выдали, а потом наша задача – его оценить. И тут просто я постарался выписать характеристики. Сначала типы заданий, я их разбил на две части: типовое и оригинальное. Если мы хотим проверять фактологическую память, то, к сожалению, для типового задания очень высока вероятность академической нечестности: мама подсказала, в интернете нашёл, кто-то другой сделал. Но при этом достаточно низкая трудоемкость. Учитель взял из интернета готовую работу, опубликовал, ребёнок её выполнил. Если мы хотим оценивать не фактологию. Об этом чуть-чуть попозже.

Если мы хотим оценивать умение или понимание, то на типовых задачах возможность академической нечестности достаточно высокая, но трудоемкость остаётся низкой. Если я хочу уменьшить возможность академической нечестности, мне придется делать оригинальные задания. Чем более оригинальные задания делаю, тем выше трудоемкость. То есть те задания, которые нельзя списать.

То же самое касается навыков. Здесь похожая табличка. Соответственно, мета-уровни. Я немножко по-другому, чем Алексей, пониманию понятие мета. Это не то, что вне предмета касается всех предметов, типа учебной самостоятельности, а это то новое качество, которое получается в результате некого перехода потенциальной энергии в кинетическую. Вот я учился, учился и тут понял какие-то вещи или научился каким-то вещам. То есть просто иное качество состояния объекта. Задания на мета-уровне бывают только оригинальными, делать их достаточно трудно. Но зато списать их достаточно сложно. Во-первых, потому то неоткуда. Во-вторых, потому что родители практически не могут помочь. И единственный вариант списания — это когда репетитору подсовывают: вот это как? То есть опытный человек в предметном направлении пытается понять и выполнить. Вероятность списывания остаётся. Если мы переходим на онлайн-режим, то ситуация улучшается и с академической нечестностью, но зато повышается трудоёмкость. То есть, помимо того, что задание нужно подготовить, его нужно как-то контролировать. Но при этом если мы сидим и наблюдаем за ребёнком, тем более наблюдаем за его экраном и слушаем звук вокруг, грубо говоря, списать становится тяжелее. На эту табличку я хотел наложить другой график. Уровень образовательных результатов. Если мы проверяем только запоминание, если мы проверяем только фактологию, уверенности в том, что человек будет понимать, уметь, тем более выработает навык, достаточно низкая. Соответственно, с оригинальными заданиями уровень образовательных результатов растёт, с типовыми — падает. Самый высокий уровень образовательных результатов достигается, когда задания мета-уровня, на который не существует правильного ответа, и этот правильный ответ должен родиться в голове ребёнка.

Теперь я на этот же график попробую наложить уровень достоверности результатов. Соответственно, если высока вероятность академической нечестности, то доверять таким результатам достаточно сложно. Если возможность академической нечестности мала, то достоверность таких результатов будет высокая. При онлайн-режиме график чуть-чуть более смещается, но при этом обращаю внимание, что увеличится трудоемкость. Надо ли сделать вывод? Я не знаю, здесь всё очевидно. Высокая трудоемкость дает достоверные результаты, но требует больших усилий. Низкая достоверность получается с помощью слабых усилий, то есть можно взять учебник и задать ребёнку номера с первого по пятнадцатый, но и достоверность низкая, зато не напрягался, здесь каждый сам для себя выбирает, чего он хочет достичь: сэкономить силы и время или получить хорошие образовательные результаты.

Про техники чуть-чуть, я думаю, что должно быть полезно. Что такое прокторинг? Прокторинг — система контроля приема экзаменов. Есть дорогущие прокторинговые системы, «Летово», например, используют для вступительных экзаменов. Буквально пару рекомендаций, как можно достигнуть почти таких же результатов при дистанционном режиме. Самый простой — контроль звука. Я слышу, а подсказывает кто-нибудь ребёнку или нет. Этот уровень настолько примитивный, что его даже бессмысленно использовать. Следующее — визуальный контакт. Я вижу, что ребёнок делает, у меня включён экранчик, он сидит перед экранчиком, я вижу, что мама не подсказывает, я вижу, что в учебник не залез. Достаточно продвинутые в первом-втором классе дети, вполне могут открыть на экране google и спокойно оттуда списывать, если нужно.

Дополнительная система контроля — это ограничение по времени. То есть контроль длится 20 минут, через 20 минут перестает давать задания. Вопрос повторных попыток, можно настроить систему, чтобы она давала повторные попытки, можно настроить систему штрафов, а можно их просто запретить, то есть первого раза давать. Следующее — контроль экрана, о котором я говорил. То есть я не только вижу ребёнка, но вижу его экран, вижу, что он не залез в Гугл, не пользуется автопереводчиком или прости читает с экрана. Последнее из таких систем — боковой визуальный контакт, я вижу не только с камеры компьютера ребёнка, но и с какой-то дополнительной камеры, которая находится сбоку, вижу, что на столе нет учебника, с которого он списывает. Технические решения: контроль звука. Даже останавливаться не хочу, хотя, может быть, для сельских школ, у которых плохая связь, это может быть актуально — связаться по телефону и просто беседовать с ребёнком, слушая, что ему никто не подсказывает. Для визуального контакта есть очень много разных решений, здесь я выписываю не вообще все, а которыми я лично пользовался, они для личных целей вполне подходят. Есть опять-таки много решений для организации теста с ограничением времени по попыткам, но решил, что я вношу сюда то, чем лично пользовался, лично пользовался системой moodle, она вполне меня устраивает по этому параметру. Контроль экрана – с зумом становится проблема. Есть бесплатный Хэндсаут на 10 человек. Что такое контроль экрана? Вы видите экраны всех детей, прямо что они делают, не только их рожицы. Или google meet, но она, к сожалению, платная или надо иметь корпоративный учебный аккаунт. Тоже дает такую возможность. Это принципиальное отличие от зума. Если хочется дополнительных элементов прокторинга, то с зума придётся соскочить. Боковой визуальный контакт — это второй телефон или вторая камера, которая ставится рядом и снимает ребенка сбоку. Получить достоверный результат, используя эти методы контроля вполне возможно. Другой вопрос, если вернуться, что мы хотим оценивать? Если мы хотим оценить фактологию, то это одно, а если мы хотим оценить по высокому уровню, то надо придумывать сложные задания, которые неоткуда списать.

На этом всё.

Наталья Андреева: Посмотрите, пожалуйста, в чат, тут есть несколько вопросов.

Тутнемного поднималась тема таксономии Блума. Наверное, многие, посмотрев на этот рубрикатор, увидели что-то знакомое — знания, понимание, применение и так далее.

Виталий Лебедев: «Но ведь сами задания не должны содержать условия, чтобы обучающийся должен продемонстрировать данные вами навыки? Учитываете этот аспект?» Конечно. Хорошо составленные задания, как правило, длинные. Или если подобного рода задания уже встречались неоднократно, то необязательно писать длинные задания, но критерии и рубрикатор должны быть. То есть из формулировки задания критериев и рубрикатора ребёнок чётко должен понимать, что ему предстоит сделать и как это будет оценено. Детальные рубрикаторы и детальные задания приводят к резкому повышению качества работ детей. Мы проводили эксперимент, правда это было очень и очень давно, на двух параллельных классах. Одним выдавали критерии, другим не выдавали. Сравнили их результаты, результаты с критериями у похожих детей, которые показывали примерно такие же образовательные результаты, просто несравнимы. Почему? Потому что критерии дают понимание того, к чему стремиться, куда идти, подспудно, как его будут оценивать, если он просто за отметку работает.

Да, сложность формулировки заданий есть, безусловно.

«Таксономия Блума здесь актуальна при создании рубрикатора». Нет, я боюсь, что это ортогональные вещи — таксономия Блума и создание рубрикатора. Рубрикатор создается под критерии. Критерии — это переформулировка целей. Если это критерии конкретной работы, то это переформулировка целей темы. Таксономия Блума существует параллельно с этим, они не коррелируют друг с другом.

Наталья Андреева: Я уточню тогда. Есть довольно известное видео Натальи Любомирской, где она рассказывает, как таксономию Блума используют для построения рубрикаций, она рассказывает про разные виды учебных целей и дальше переходит от этого к рубрикаторам.

Виталий Лебедев: Я готов поспорить с Натальей Вениаминовной, не в рамках этой беседы.

«Говорить, но не называет». Если у вас таксономия Блума легко и хорошо ложится на разработку рубрикаторов, ради бога, Просто я часто сталкивался с ситуацией, когда нижний уровень не соответствует таксономии Блума, особенно когда речь идет о мета-результатах, человек выходит на понимание каких-то сложных вещей, при этом не помня о каких-то элементарных вещах. Такое тоже возможно. Поэтому, в общем-то, наверное, можно туда таксономию Блума натянуть, но далеко не во всех случаях, поэтому я с этим не согласен. То есть я бы не стал бы отталкиваться от Блума для того, чтобы строить рубрикаторы.

Антон Скулачев: Если позволите вопрос, можно?

Виталий Лебедев: Да, конечно.

Антон Скулачев: Спасибо вам огромное, было интересно. Презентацию, я надеюсь, можно будет посмотреть.

Виталий Лебедев: Да, она там уже выложена.

Антон Скулачев: Если можно, две точечные реплики, а потом сложный вопрос. Реплика раз: кажется, есть более актуальнее, чем Блум. Действительно, мне кажется, очень правильно сказали, что легко можем перепрыгнуть, много используя не понимая и не зная, вроде бы используем на высшем уровне, а тем не менее в жизни очень часто перепрыгиваем. 2 точечная реплика по поводу вашей последней мысли про контроль в условиях дистанта. Очень был хороший был про это вебинар Института педагогики СПбГУ. Елена Ивановна Казакова рассказывала про шесть, по-моему, стратегий возможных работы с контролем на дистанте, очень интересно. В чём-то вы пересекаетесь, какие-то моменты она тоже интересные давала.

Вопрос к вам такой. Я про него думаю всё время, всё время, когда мы обсуждаем это оценивание, мы всё время об этот вопрос спотыкаемся. Интересно, как вы к этому подходите. Мне кажется, что развилка давать критерии или не давать критерии не такая страшная. Давать лучше, чем не давать, да, вы это блистательно показали, но мне кажется, что всё гораздо проблемнее. Я хочу задать вопрос, чтобы проблематизировать все. Потому что что происходит плохого, когда нет критериев, не будем обсуждать, понятно. А вот что плохого происходит, когда критерии есть? Я сразу скажу, что я говорю про гуманитарную область. Происходит в пределе то, что ученик подверстывает свой текст в нашем случае под критерии. Он прекрасно знает, как его будут оценивать, чего от него ждут, и думает, что вот здесь вот это, вот здесь вот это, а здесь чтобы высший балл, мне нужно вот это. В результате получается, что критериальноть напрочь убивает в пределе творческую свободу. Это во-первых. Во-вторых, как следствие дальше влияет на мотивацию, потому что мотивация у нас возникает тогда, когда у меня есть поле свободы какой-то, непредсказуемости, когда мне хочется сделать свой собственный шаг, не допрыгнуть до. Сразу скажу, что я задаю вопрос изнутри собственного опыта, всегда критерии даю, подробно их прописываю, стараюсь то, о чём вы говорили, делать, но меня всё время свербит вот этот вопрос, что вилка другая, на мой взгляд. С одной стороны, полный субъективизм и непонятно, за что ставится отметка, ученику непонятно, что от него хотят, а с другой стороны, ученику понятно, что от него хотят, и мы очередную образовательную тюрьму делаем, только теперь клетка этой тюрьмы не отметка, а критерии. Как бы вы с этим противоречием работали?

Виталий Лебедев: Я понял. Спасибо. Мне в этом плане повезло больше, я технарь, предмет у меня почти технический. Это digital design, там очень много интересных вещей, связанных с гуманитарными аспектами. Я попробую начать ответ с простого примера. Нависший у всех на зубах пример с клеточками в первом-втором классе: надо отступать две клеточки, не надо отступать клеточки, откуда вообще возникли эти две клеточки. Это вполне себе формальный критерий, который, как многие родители, как многие педагоги считают, вообще он же правильно решает, он же хорошие диктанты, сочинения пишет. Откуда возникают эти две клеточки? Если учитель понимает, если он осознанно это делает, вопрос: для чего возникают две клеточки? Моя личная практика показывает, что ребёнок, приученный аккуратно оформлять, когда происходит переход от более простых тем к более сложным, у него существенно меньше проблем в освоении сложно логических каких-то понятий, тем и так далее.

К чему я это все? Безусловно, критерии, рубрикаторы — это формальность. Но без негативной коннотации. Это, грубо говоря, те привычки, если о предмете говорить, которые неплохо бы в себе развить. Если человек привыкает писать дано, решение, ответ, это хорошая привычка. Он может изменять этой привычке в каких-то конкретных ситуацях, когда это не требуются. Но если эта привычка есть, она играет в плюс, а не в минус.

Я бы рассматривал критериальные направления, куда тебя толкает критерий, с одной стороны, как выработку правильных привычек, для гуманитарной сферы оценка — источник информации, использование грамотных импликаций, то есть предпосылка может быть и ложной, и истинной, а вывод все равно может быть истинным. Если эти правильные привычки потом войдут в жизнь, я смогу когда-то их использовать, а когда-то использовать, в зависимости от ситуации. Повлияют ли негативным образом эти привычки на меня? Наверное, могут повлиять, но если речь идет о неком художественном, творческом полете мысли, в том числе художественном, то, на мой взгляд, это ограничения, которые легко преодолеваются, то есть я знаю, чтобы написать ЕГЭ по русскому на пять, ну не на пять, на 100 баллов, надо, чтобы в тексте были такие-то формальные вещи. Когда я пишу собственное произведение, если у меня в голове есть такие формальные вещи, я вполне могу их не использовать, но я как минимум знаю о них, помню могу использовать, могу не использовать.

Второй тезис, который я хотел сказать, достаточно сложный, всё зависит от детализации формулировки критерия. С одной стороны, можно формализовать критерий, рубрикатор к нему написать достаточно абстрактно, изложение логично, ребенку будет не очень понятно. То есть с одной стороны, понимаешь, что нужно логику какую-то соблюдать, с другой стороны, понимаешь, что такое логично? Я должен расписать, что подразумеваю под словом «логично» — что данные предикаты, данные выводы, одни импликации не противоречат другим импликациям. Но при этом, например, я могу ввести, что рассмотрены разные точки зрения. Убивает ли твою творческую свободу? На мой взгляд, это приучает к культуре обсуждения. Соответственно, формулировка критериев должна держать ту грань, которая, с одной стороны, избегает совсем жесткой конкретики, с другой стороны, формулирует те вещи, которые должны быть в любой хорошей работе. Не всегда это бывает легко. Это я согласен. То есть это такая цель. Извините, несколько сумбурно. Не знаю, удовлетворились ли моим ответом.

Антон Скулачев: Спасибо огромное. Мне тоже близка эта мысль. Я так резко ответил коллеге, но мне кажется, что рассуждение из серии «сначала научись воспроизводить чужое, а потом сам твори» — это несерьёзно, потому что это просто раз и навсегда отвратить детей от школы, творчества, если мы так затыкаем. Это, мне кажется, методологические базовые какие-то вещи, либо мы школа свободных людей, либо у нас школа рабов. А то, что вы говорите про широту критериев, это, мне кажется, очень серьезно. Когда я смотрю на критерии IB, иногда у меня ощущение, что есть базовые противоречия фундаментальные между этими критериями и декларациями про субъектность. Вот то, что вы говорите про клеточки, про дисциплину ума, с этим я согласен на 200%. А когда я вижу критерии, я пока это дочитал, я уже хочу повеситься. Это всё очень серьёзный вопрос. Я понимаю, что это дискуссионное поле. Мы, словесники, пытались несколько раз пропахивать поле, как говорится, и всегда тупик. Всегда ощущение не о том, каких-то готовых ответов. Спасибо огромное. Просто важно было поговорить, согласен с вами про широту, это важная история — не слишком широко, не слишком узко.

Виталий Лебедев: Я совершенно не апологет международного бакалавриата. Я понимаю, что международный бакалавриат — это такая же образовательная организация, как многие другие образовательные организации. Там много формализма и противоречий декларации и реализации. Это всё понятно. Просто на текущий момент международный бакалавриат — наиболее целостная система из мне неизвестных такого масштаба, которая массово может применяться в школе. Мне кажется, что в данном случае даже жесткие критерии международного бакалавриата, там есть такая фраза, что для конкретных работ рубрикаторы в отношении критериев могут прописываться свободным образом, то есть вы можете сами прописать, что конкретно в этой работе будет оцениваться, главное, чтобы это не противоречило общему пониманию этого критерия, и в результате вело к его воплощению, более того, я застал счастливый период, это был 96-97 год, когда критерии разрабатывала сама школа. Вот этот процесс разработки критериев настолько людей вдохновил и дал им понять, что вообще происходит, с тех пор люди того периода, которые пришли в бакалавриат, с тех пор и остались, несмотря на многие формальные ограничения, которые с тех пор были внесены, остаются таким верными сторонниками этого. Это был тот заряд, который позволил школе на протяжении многих лет существовать и передавать эту идеологию, связанную с ценностями, с движением к некоему общему образовательному результату в виде личности человека, портрет ученика — описание личности. Поэтому, мне кажется, что вполне возможно, даже в системе международного бакалавриата, использовать свои собственные расшифровки, которые вам кажутся более правильными, если вы думаете, что это приведет к правильным результатам, которые от вас требуются.

Наталья Андреева: Спасибо огромное. У меня последний вопрос. Ещё Антон комментирует: разработка критерия — это важнейшая практика создания рабочих программ, точно важнее, чем про количество часов. Я тоже согласна. Раз уж речь зашла и про Мудл, и про критерии, тут в начале озвучила, сейчас ещё раз озвучу. Опять пришли к нам некоторое количество директоров с инициативой, с вопросом, что давайте попробуем объединить усилия и разработаем для средней и старшей школы, объединим материалы, потому что есть школы, у которых разработаны учебные Мудл по одним предметам, есть учителя, у которых по другим предметам, есть те, которые готовы привлекать своих учителей к разработкам летом. Можно попробовать объединиться и по крайней мере чтобы отдельным школам не разрабатывать всё целиком, попробовать, с одной стороны, договориться по предметам о ценностях. Понятно, что кто-то отпадет, понятно, что кто-то выпадет из этого процесса, но те, кто договорятся, может быть, смогут создать рабочий продукт для себя, для внутреннего использования. Что вы думаете об этом? Я просто помню, что эта тема у нас возникла, когда на конференции, когда было общее обсуждение, не помню. Я могу ошибаться. Мне казалось, что вы были.

Виталий Лебедев: Я был, уже отвечал на этот вопрос, это было на какой-то онлайн-конференции.

Наталья Андреева:  У Эпштейна в альтернативном.

Виталий Лебедев: Где-то это было. С тех пор мнение не поменял. Я начну с примера. Я 25 лет работаю по критериям одного и того же предмета. За это время мы переработали раз 10, наверное, наши задания, то есть ты вводишь задание, год-два существует, потом ты понимаешь, что оно не очень удачное, точно так же с формулировками критериев. Работа надо критериями — это живой процесс, они очень плохо транслируются, то есть транслируются идеи, а сами конкретные наработки… Наталья, помните, публиковал свои примеры, я вас уверяю, что по этим примерам вряд ли кто-то когда-то будет работать. Почему? Потому что есть небольшая специфика в конкретных предметных целях мало того что у разных школ, у разных людей. То, каким путём каждый учитель ведет своих детей к результату, может сильно отличаться. Более того, мне кажется совершенно неправильным брать и использовать чужие наработки не с точки зрения авторского права, я выложил в сеть, мне не жалко, а с точки зрения того, что это не родное, он это не выстрадал, значит до конца не понял. Когда вдруг что-то начнёт сбоить, он не поймёт, как там подкрутить. Поэтому на уровне идей, мне кажется, такое деление возможно, нужно, правильно, но реализовывать конкретные рубрикаторы, мне кажется, каждый должен сам.

Наталья Андреева: Тут как раз идея в том, чтобы собрать межшкольные предметные кафедры, то есть обсудить, что есть готовое, готовы они это взять не готовы, соответствует ценностям или нет, готов кто-то или не готов сделать раздел, который объясняет отличие одного от другого, произвести там то, что всех устраивает или то, что устраивает другую часть. То есть фактически иметь некоторое многообразие, описанное, в котором будет достаточно легкая навигация, учитель может найти для него что близко или принять участие в разработке. Нет задачи сделать большую помойку, как МЭШ, были эти цифровые материалы, собирались в кучу. Не хочется повторять этот путь, но при этом хочется, чтобы это было для людей, и для конкретных людей, которые в этом примут участие.

Виталий Лебедев: Я так завидую вашему оптимизму, честное слово. Но я пессимист.

Наталья Андреева: У нас же есть директора оптимисты.

Виталий Лебедев: Это отлично. Мне кажется, надо приглашать на такую работу, и те, кто приходит на эти семинары, коллеги, присоединяйтесь. Это правда интересно, здорово. Может быть, результат и не будет транслирован, но результат этой работы столько дает для понимания и оттачивания собственных навыков. Так что призываю всех следовать за Натальей Андреевой и принять участие в этой безумно интересной и здоровской работе.

Наталья Андреева: Спасибо. Да. Коллеги, если есть какие-то вопросы, можно задавать их здесь, можно задавать в группе. Виталий с нами есть в группе и Алексей тоже, в принципе, приходит. Спасибо огромное. Если есть желание кому-то высказаться, буду признательна. Вроде все пишут «спасибо», «спасибо».

Виталий Лебедев: Я маленькую саморекламку сделаю. Там в группе опубликована ссылка на предыдущую мою презентацию, она более широкое про идею возникновения критериального оценивания, откуда она идёт. Если кому-то стало известно, то потратьте 13 минут, посмотрите.

Наталья Андреева: Почти всё рассылали ещё тем, кто подписывался на вебинар, и слушателям прошлого вебинара, который был по критериалке. У нас есть сейчас такой список людей, которым была актуальна тема оценивания, поэтому мы рассылали.

Виталий Лебедев: Я просто статистику просмотров посмотрел – 13.

Наталья Андреева: Мы не рекламировали youtube. Это просто те, кто увидели, те, кто подписаны на канал. Дальше мы это выложим и всё должно вырасти. Мы видим, что люди заходят, люди смотрят, те материалы, которые мы выкладываем, люди смотрят.

Виталий Лебедев: Наталья, спасибо большое за организацию, всегда приятно принимать участие в ваших мероприятиях. Я готов ответить на вопросы, если у кого-то есть.

Наталья Андреева: Плюшки для Мудл. Мы с Алексеем списались, как он соберется, он готов поделиться разными штучками, которые нашли, которые можно сделать. Спасибо. Тогда мы завершаем нашу встречу. До свидания.

Смешанное обучение в России