04.01.2021 — Расшифровка видео zoom-кафе “Смешанное обучение”
Спикер: Лия Султанова — директор школы “Взмах”
Лия Султанова: Любая трансформация или оргизменения происходят в двух главных альфа проекта — в команде и в методе. Для меня открытием было то, что достаточно большую сложность испытывают коллеги в образовании. Потому что методы, которыми они пользуются в своей операционной, педагогической деятельности и т.д., имеют версию 80-го года, даже если это сотрудник, например, вышедший из педколледжа или вуза.
Основная трудность, которую испытывают большинство организаций, сталкиваясь с трансформацией образовательных организаций и цифровизацией, это как раз альфа — это метод.
Ключевым тезисом этого доклада будет то, что нужно предельно внимательно относиться к тому, какую практику мы применяем в перечисленных областях, в операционной деятельности, во всем, что касается администрирования образовательной организации.
Я думаю, что у многих руководителей будет много таких же инсайтов, как у меня. Меня осенило, что главная проблема — что методики, которые используются, – они достаточно древние. А еще нужны силы и вдохновение, чтобы перестроиться. То есть то, с чем мы сталкиваемся с детьми, когда пытаемся переучить, – мы сами с этим сталкиваемся. Те, вещи, которыми были научены в институтах или где-то в жизни от своих учителей, к сожалению, устарели.
Я бы рекомендовала книгу “Танец перемен”. Эта книга – исключение из правил, потому что она написана 20 лет назад, в 1999-ом году. Но для управленца она, можно сказать, Библия изменений, потому что там описаны все ключевые вещи. И самое главное: в ней предложены конкретные решения, каким образом можно работать с изменениями в окружающей среды, как быстрее адаптировать команду, как отвечать на вопросы команды и понимать причины возмущений или причины того, почему изменения идут достаточно медленно. Я рекомендую эту книгу, которая мне в моей практике предельно помогла. Она помогла даже не только в операционной деятельности, в руководстве садиком и школой, но и в личном стратегировании. Я руководила детским садом шесть лет, затем произошли изменения в моей карьере: я стала руководить школой. Конечно, это две разные сферы, предельно разные. Но эта книга мне помогла достаточно быстро адаптироваться.
Дальше я бы хотела коротко рассказать про те цифровые двойники, которые удалось реализовать. Когда имеешь дело с операционной деятельностью детского сада либо школы, по аналогии можно сказать, что это тот же самый завод, у которого есть поставки, производство, операционная деятельность. Ключевая мысль, которую я бы хотела донести на этой встрече: задача любой организации — это произвести часть изменений в мозге ребенка, взрослого. Это цель, для которой приходят в образование, за которую платят.
Если говорить про детский сад, то был такой опыт применения очень необычного инструмента искусственного интеллекта YVA. YVA — достаточно интересный искусственный интеллект. Мы были первым детским садом, который внедрил искусственный интеллект у себя. Задача, которую мы решали с его помощью, была достаточно банальна. Обычно в крупных организациях есть эйчары, которые занимаются развитием персонала, поддержкой всего жизненного цикла: от найма до увольнения. Естественно, ни один садик, практически ни одна школа не могут себе позволить отдельного человека для этих целей, а в больших организациях это обычно целые отделы, которые занимаются блоками процессов. Потому что процесс управления персоналом достаточно масштабный: это и найм с аналитикой, с большим ресурсом в подборе, в поиске, это и управление, как в крупных организациях, это и 1-й день сотрудника, погружение, это и развитие персонала. Все наши сложности из-за того, что те методы, которыми мы пользуемся, достаточно быстро устаревают. С этим мы регулярно сталкиваемся и наблюдаем. Сначала нужно было научиться пользоваться кнопочным телефоном, потом появились смартфоны. Естественно, поколение, которое рождается с этими смартфонами в руках, не имеет такой проблемы, а нам нужно забыть старое и выучить новое. То же самое по отношению к нашему персоналу. Когда мы работаем с нашими коллегами, то наша задача – также выявить дефициты, восполнить, составить образовательную траекторию – все то же самое, что с детьми. Вовремя заметить талант этого сотрудника, раскрыть, перевести на другую должность, предложить интересные функции – это тоже будет сказываться на прибыльности предприятия. Потому что там, где интерес, там и энергия. Где интерес и энергия, там и и наша организация захватывает рынок и приносит пользы больше, чем можно.
Получается достаточно длинная цепочка. В детских садах и школах эту цепочку осуществляет либо завуч, либо директор, но чаще – директор. Мы столкнулись с такой задачей, что у нас достаточно много операционных ресурсов уходит на этот процесс, много внимания, много энергии, а это уже достаточно рутинное занятие, которое нам понятно и прозрачно. Настал тот момент, когда приходит цифровизация. Цифровизация и автоматизация адекватна только там, где процесс понятен, внятен и его можно алгоритмизировать. Когда жизненный цикл расписан, только тогда есть смысл его автоматизировать. А когда бардак и непонятно, откуда какие данные поступают, кто какую роль выполняет, то автоматизация тут не поможет, она только активизирует тот хаос, который существует. Когда для нас стал понятен процесс найма, рекрутинга, обучения, то мы внедрили искусственный интеллект YVA.
Бюджет на среднюю организацию количеством около 100 человек — около 300000 руб. Если мы посчитаем среднюю зарплату одного сотрудника отдела кадров, мы получим сумму намного больше в год. Соответственно, этот искусственный интеллект взял на себя часть функций. Конечно, что-то приходилось делать вручную. Найм искусственный интеллект не заменит. У нас были боты, которые в телеграме подыскивали необходимых людей на определенные вакансии, проводили первичный опрос.
YVA взяла на себя самое главное, на мой взгляд, в сфере образования — она взяла на себя такой большой блок наблюдения за выгоранием. Даже не наблюдение, а пульсометр. Нас достаточно сильно пугает, что наблюдение — это плохо, это лишение свободы и прочее. Достаточно болезненно мы реагируем. При грамотной коммуникации с персоналом YVA достаточно хорошо “садится”. Я видела на протяжении трех лет удачное ее внедрение не только в образовательных организациях, но и в крупных компаниях: потихонечку картина мира меняются у сотрудников, они лояльнее относятся к таким инструментам.
На основании данных с ежедневной переписки искусственный интеллект безоценочно делает себе определенные заметки и вовремя предупреждает руководителя или сотрудника (сотрудник имеет доступ к этим данным), о том, что у него либо выгорание начальной стадии, либо 4-й финальной, что позволяет удерживать талантливых сотрудников. Это предельно важно, потому что мы все знаем, сколько нам стоит найти, привлечь такого сотрудника. Потеря талантливых людей из-за того, что мы вовремя не заметили процесс выгорания, очень дорого потом нам сказывается. Она сказывается либо на времени, если это бюджетная организация, либо на деньгах, если частная.
Я не буду превращать нашу конференцию в промо этого инструмента. Насколько мне известно, была даже такая возможность во время пандемии пользоваться им бесплатно полгода. На этом рассказ об искусственном интеллекте я закончу и перейду в более глобальное, относящееся к методу. Когда мы столкнулись с тем, что наши методы управления персоналом немного устарели и они достаточно рутинны и затратны, мы поменяли технологию, подход, и это позволило нам сократить достаточно много издержек, и наладить эмоциональный фон. Вторая ключевая вещь — когда сотрудники в курсе таких конкретных данных, им становится достаточно спокойно и появляется возможность сфокусироваться на тех ключевых и ролевых задачах, которые перед ними стоят.
Если мы помним, 20 лет назад в сфере ИТ было только два типа специалистов — сисадмин, который занимался железяками, и программист, который мог все запрограммировать, сменить операционную систему, программы установить. Насколько нам известно, сейчас ролей в ИТ достаточно много. Смысл в том, что из двух базовых процессов развилось достаточно много ролевой практики. В образовании – то же самое. Раньше, если в садике был воспитатель, который выполнял роль методиста, то в его роль входило подготовиться к проверке либо проверить рабочие программы. Сейчас происходит расслоение и утончение этих ролей. Я бы хотела отметить, что сейчас есть методолог, который разрабатывает учебные стандарты, – мы все прекрасно знаем, чем он занимается. Есть достаточно новая для этого рынка, в этом году максимально себя проявившая роль, — это разработчик курсов. На фоне тех изменений, которые произошли в прошлом году, появилось достаточно много курсов в компаниях. Сейчас в бюджете от 200 до 100000 руб. можно обучиться этой профессии, которая предельно востребована. Если отслеживать вакансии в образовании, то это самая востребованная профессия наряду только, наверное, с СММ-менеджером, потому что продвигать образовательный продукт так же сложно, как разрабатывать. Это предельно новые сейчас практики, которые требуют отдельной компетенции и отдельных знаний.
Я хочу заметить, что у преподавателя есть две подроли — он и лидер, и консультант. Лидерство в образовании – отдельная глобальная тема, которую хотелось бы кратко обозначить. Если смотреть на нашу картину мира, в которой мы выросли или в которой мы существуем, лидер — это некий вождь, который ведет за собой, который либо диктатор, либо не диктатор. Лидерство, в принципе, это немножко про другое. И практики, которые применяют, больше про мастерство, которое наряду с устаревшими методами тоже болевая точка в образовании. Это про мастерство, применив которое, человек помещает другого человека в роль ученика. Но мы все сталкиваемся с тем, что не всегда это получается. Обычно 90% имеет какие-то сложности и проявляют их в разных аспектах. Лидерство конкретного преподавателя – это отдельное мастерство, которое состоит из определенных дисциплин, которые позволяют понимать, каким образом конкретного человека ввести в роль ученика. Когда он в роли ученика, его можно консультировать в рамках зоны ближайшего развития, но это немножко другое мастерство, которое нам предельно знакомо.
Тьютор, коуч — это тоже в последние годы распространенные роли в образовании, даже в бизнесе, скорее всего. Соответственно, все эти роли в образовательной организации, если нет отдельных должностей, обязательно должен выполнять какой-то человек, потому что без этого сам жизненный цикл ребенка неощутим, потому что мы не можем часть мозга рассматривать только как матрицу, в которую только нужно что-то вложить. Это личность с определенными аспектами. Если смотреть на жизненный цикл ученика, что является целевой системой для любой образовательной организации, то где-то у него есть стадия, когда мы его принимаем, зачисляем, где-то у него есть огромный блок операционный, где мы обучаем, сопровождаем, корректируем какие-то вещи. Это все отдельные процессы, которые базируется на определенных практиках и дисциплинах, и хорошо было бы, если бы был либо отдельный человек, либо даже целый отдел, который этим занимается. Соответственно, в конце этого жизненного цикла ученик отчисляется с каким-то документом, завершает обучение. И задача образовательной организации — так выстроить операционный процесс, чтобы методические, педагогические практики обеспечивали не только изменение мозга, но еще и генерализацию. То, что мы вложили, что нам удалось вложить, что мы привили детям, должно существовать за пределами садика и школы.
Такая достаточно простая мысль часто отсеивает какие-то практики, которыми мы сами порой вдохновляемся, которые нас самих заражают. Такая модель жизненного цикла ребенка помогла мне самой ответить на вопросы, которые у меня возникали как у управленца, когда на рынке появлялась ментальная арифметика, скорочтение. Мне тоже было предельно интересно, хотелось самой первой у себя в образовательной организации это иметь. Но когда я более трезво смотрела на навыки, которые должны быть у ребенка, за которые, в том числе, родители платят, понимала, что это все прекрасно, но практически ничего не меняет в ребенке. А даже если меняет, то генерализовать этот навык предельно невозможно, и соответственно, отсутствует образовательный результат. Сколько бы денег мне ни платили, получается обман: мне платят, но в жизни это не работает. Если говорить про такие управленческие вещи, я считаю, что перед цифровизацией, оптимизацией процесса обязательно нужно понимать, как описана целевая система, жизненный цикл: какие этапы учащийся проходит, кто это обеспечивает, какими операционными процессами это поддерживается, какие риски. Соответственно, из этого вытекает модель образовательной организации. У каждого процесса достаточно много подпроцессов. И сама архитектура предприятия занимает около четырех листов А4, потому что каждый процесс нужно осознать, поставить в нужное место. Это прямая аналогия со строительством.
Возможно, есть какие-то вопросы?
Алексей: А можно вопрос?
Лия Султанова: Да, Алексей. Конечно.
Алексей: Это именно сугубо техническое уточнение. Все-таки под какую модель жизненного цикла это все простроено и какие его цели?
Лия Султанова: Модель предприятия с этими практиками у каждой образовательной организации разная. Вот тут у меня школа, вот тут процессы садика. Операционка везде практически одинаковая, но цифровой двойник разный. Например, в садике мы используем CRM для отслеживания системы для управления конфигурацией. У нас был Transparent Classroom, в котором отображался статус каждого навыка: он либо в процессе освоения, либо освоен, либо не практиковался еще, либо нужно повторить. В садике было 170 предметных навыков, 3 – субъектных, 6 – универсальных. Целевая система, с точки зрения параметров, была достаточно простая. Когда в предыдущем проекте у меня была школа для ребят с особенностями развития и с опытом сиротства, там уже значительно больше система была. Целевая система отличалась тем, что там много параметров, которые не так сложно описывать, потому что ФГОС с этой точки зрения проработанный, распарсить любой предмет на поднавыки несложно. Что касается школы для детей с ОВЗ, то там была такая особенность, что нужно было учитывать ограничения, которые описаны в МКБ с МКФ, ограничения по функционалу. Априори, здоровый ребенок может развить максимальное количество предметных навыков. А когда есть сильно разные дефициты функциональности, начиная от физических, заканчивая ментальными, то тут немножко сложнее. Но когда есть этот проход, когда есть возможность распарсить целевую систему на параметры, которые тебе нужно изготовить, если говорить инженерным языком, то все достаточно просто.
В школе жизненный цикл был пошире, потому что там был дошкольник, школьник, выпускник. Выпускников нужно обязательно поддерживать, поэтому там было 3 целевых системы, над которыми мы работали.
Я ответила на ваш вопрос, Алексей?
Алексей: В этой части, да. Только у меня есть следующий вопрос, уточнение на основе этого.
Если мы смотрим на тот же самый детский сад, как на аналог некоего производства с какими-то конкретными целями и задачами, это принимается. Вы упоминали, что такой подход может годиться и для государственной системы образования. И здесь мне вот что хотелось бы понять. Если мы берем образовательную организацию, то те процессы, о которых вы говорите, что занимает руководителя образовательной организации, – это процентов пять того, что его беспокоит, потому что это, как правило, отлаженный процесс, за него отвечает какой-то завуч. Основные его головные боли — это что сегодня надо кормить детей горячим питанием, что сегодня у нас изменения, связанные с дистанционнкой и новые требования СанПиН, что сегодня пришел Рособрнадзор, плюс жалобы от родителей в прокуратуру и так далее. Как эти процессы у вас учитываются, если мы берем именно модель образовательной организации?
Лия Султанова: У меня большая зависть к крупным корпорациям, потому что у них там есть архитекторы. Я самостоятельно прописываю архитектуру. Это отдельный навык, на который я отучилась. Не могу сказать, что у меня получается так же блестяще, как у каких-нибудь корпоративных архитекторов, но так или иначе я встаю в роль архитектора и прописываю процессы и подпроцессы.
На опыте трех организаций я могу сказать, что это и есть основная задача директора — видеть все, что происходит, видеть эти данные и управлять процессами, которые идут или не идут.
То, что вы сказали, — типичная операционка. Любой руководитель, неважно, в образовании, в нефтянке, в банкинге, в сфере финансов, — это джокер. Ему в той или иной ситуации нужно вставать в определенную роль, если конкретного человека, обученного этой роли, нет. Если нет повара, который занимается организацией питания, директор будет заниматься обеспечением горячего питания. Если нет айтишника, конечно, директор будет заниматься внедрением. На предыдущем и на текущем проекте я вручную разворачивала Тимс на пятьсот с лишним лицензий, а сейчас – около 3000 лицензий. Просто готовила подробный чек-лист с датами и потихонечку все делала. Это больше про компетенции руководителя.
Руководитель использует достаточно устаревшие управленческие методы. Пример, который вы привели, – это больше про ручное управление. Если говорить про образовательные организации государственного формата, то это еще и достаточно серьезная бюрократическая работа. Соответственно, когда используются старые методы, то ни до какой цифровизации дела не будет, лишь бы не трогали. Нужно по отношению к себе изменять эти практики. Если привык человек к ручному методу управления, то управление с помощью экзокортекса будет запредельным стрессом. Поэтому он берет книжку, читает, что с собой делать, а потом делает не только с собой, но и с сотрудниками, с рынком, в том числе.
Алексей: Можно сказать, как это делается, на каком-то примере? Модель у вас выстроена под управление образовательным процессом. Хорошо, приняли. Но вы берете реальную деятельность организации и понимаете, что там есть еще и другие аспекты ее деятельности. Вы начинаете их рассматривать, а дальше что? Вы выясняете, что постоянно жалобы родители идут. Вы заводите на жалобу какую-то отдельную роль? Она есть в этой книжке? Или есть кто-то, кто будет заниматься работой с Обрнадзором, с Водоканалом, или еще с кем-то? Теория понятна, а как вы это сделали, можете какие-то примеры?
Лия Султанова: Мне хотелось бы вопросом на вопрос ответить. Вы рассказываете про такие стандартные вещи, которые со мной, в том числе, происходят на протяжении 8 лет, сколько я в образовании. В банковской сфере также были проверки ЦБ, те же самые недовольные клиенты и коллеги бывали.
Алексей: Смотрите, есть разница: там эти процедуры уже расписаны. А когда мы переводим на эту систему образовательную организацию, как это делается, по-вашему?
Лия Султанова: Похоже, я не очень понимаю. Для меня это настолько банальные вещи, которыми каждый день занимаешься.
Алексей: У вас есть какая-то проектная роль, связанная с соблюдением СанПиНа. Можно в схемке посмотреть, не покажете?
Лия Султанова: Проектные роли в образовательной организации? Я – руководитель, и если у меня нет конкретного человека, который за что-то отвечает, я исполняю все, что необходимо.
В детском саду было 60 проектных ролей описано, в школе – уже 300, потому что практик, которые нужно выполнять, намного больше. Про проектные роли чуть-чуть здесь было рассказано.
Алексей: А которые связаны с работой обеспечивающей системы? Вы рассказали о том, как выстроить проект с точки зрения целевой системы, когда целевая система – ребенок. Но если мы говорим про цифровую трансформацию образования, или директоров чем трясут, когда им надо построить именно обеспечивающую систему, для них целевой системы становится именно обеспечивающая, то как это может выглядеть? Какие-то примеры можно?
Лия Султанова: Видимо, у нас либо терминология разная, либо вопрос меняется в процессе того, как я отвечаю.
Наталья Андреева: Давайте сначала уточним и сформулируем. Спрашивает в чате директор школы: что такое цифровой двойник в школе, как он работает, зачем он нужен? Давайте от этого пойдем. Потому что как раз многим слушателям этот момент непонятен. Я тоже не очень поняла.
Алексей: Как учить ученика и какие для этого нужны роли – это понятно. Чтобы сделать из куска железа подкову, мы должны ее разогреть, обковать, согнуть и так далее. И мы можем расписать, что для этого нужно, что для этого должен быть кто-то, кто будет молотком долбить. Функция кузнеца – это вопрос. Чтобы кузнец исполнил эти технологические операции, у него должна быть площадь, оборудование, материалы, он должен проходить проверки контролирующих органов и так далее. Я пытаюсь понять, эту систему как выстраивать?
Лия Султанова: Описывать архитектуру предприятия.
Алексей: Она где-то есть, как пример?
Лия Султанова: Да, она есть, но конкретно в этой презентации я ее не показывала.
Наталья Андреева: Вы можете отдельно встретиться по этой тематике.
Лия Султанова: Я училась на курсе “Системный менеджмент стратегирования” у Анатолия Игоревича. Наверное, более подробно и с последними изменениями в практиках лучше смотреть у него на курсе.
В роли архитектора моя квалификация из трех – единичка. Мне еще в этом расти и расти. Но мне достаточно той архитектуры предприятия, которую я описала. Мне этого достаточно, чтобы осуществлять свою операционную деятельность.
Если бы у меня была задача описывать образовательные организации с точки зрения архитектуры, я бы прокачивала навыки системного архитектора или инженера по требованиям.
Должен был человек, который должен выполнять такую-то практику, отвечать родителям и прочее. Это роль инженера по требованиям, который говорит, что ты такой-то сотрудник, у тебя должно быть такой-то KPI.
Если бы мы в образовательных организациях как-то вычленяли в конкретных отделах или для себя в целом, как организации, KPI, мы бы точно не взлетели. Не устану повторять, что эта оранжевая зона, все эти дашборды, мониторы с разными типами данных, — это некая приборная доска боинга. Соответственно, если ориентироваться только на один показатель, это то же самое, что лететь по барометру. Будет показатель равен трем, все будет идеально, но никуда не прилетим и ничего не получится.
Я поняла, что ни в одной образовательной организации на KPI смотреть не буду, буду смотреть на другие параметры.
Вопрос про цифрового двойника я поняла, про что задают. Здесь крупными мазками, как ребенок если бы рисовал домик. Вот крупными мазками архитектура, те процессы, которые есть. Понятно, что они детализированы. Когда это описано и отработано, когда максимальное количество ошибок устранено, тогда я вижу смысл переходить к цифровизации. Потому что мы понимаем, какие данные нужны, какая нужна среда, которая должна иметь определенные параметры.
Есть я, есть мой Macbook, по которому я сейчас общаюсь с вами. Условно, с вами взаимодействует часть моего мозга и часть моего экзокортекса. Когда я беру телефон, смотрю на расписание, часть моего мозга, упорядочение своего дня вынесено в планировщик, и это часть моя, я ею пользуюсь. Поэтому в организации есть архитектура предприятия, которая функционируют, есть цифровой двойник, который отображает результаты этой деятельности.
В цифровую среду мы выносим часть операционки, которая, на моем опыте, глобальная цель и идея, что чем максимальнее я выношу какие-то рутинные процессы в экзокортекс, тем больше я могу быть человеком.
Я как директор безумно люблю общаться с коллегами, с детьми. Процесс общения, творчества и прочего доставляет мне огромное удовольствие. А когда операционка сжирает, то становишься не человеком. У меня был год, когда было гигантское количество проверок и ремонтов. Я как руководитель тридцати человек, имея под собой 3000 квадратных метров и полгектара земли, конечно, в какой-то период не очень чувствовала себя человеком, готовым общаться, в том числе, с нежным возрастом. Поэтому ключевая задача цифровизации конкретно в сфере образования и моя миссия — это максимальное количество процессов и данных выносятся в экзокортекс. Мы становимся людьми, этим пользуемся, все время обновляем свои методы и живем счастливо и прекрасно.
Наталья Андреева: Я могу привести пример, дополнить. Представьте себе, коллеги, что у вас есть много задач. Вы понимаете, что вы постоянно их помните, вам приходится жонглировать всем этим в голове, удерживать, планировать и так далее. Чтобы вам было легче это визуализировать и видеть, вы выписываете их на листочек, наклеиваете на доску. Вы делаете скрам-доску, приходите в кабинет, видите ее и сразу вспоминаете, что вам надо делать. Точно так же вы можете это выгрузить, например, в Трелло. Трелло становятся тем самым экзокортексом для ваших задач. Правильно объясняю?
Лия Султанова: Да, абсолютно верно.
Наталья Андреева: Михаил Кушнир спрашивает: “Почему цифровой двойник? То, что я слышу, — это цифровая тень. Я вижу, как рубились года два назад на тему цифровых двойников. Бывшие мои коллеги, которые в тот момент работали в Росатоме, обсуждали, что такое цифровой двойник атомной станции, что нужно сделать, для того чтобы все это взлетело.”
Лия Султанова: Вы для меня, Михаил, большой человек, большая личность, которая сильно на меня повлияла, когда я была молодым специалистам.
Касаемо цифровой тени и цифрового двойника, я сошлюсь на Анатолия Игоревича. У него есть тезис, что слова важны и не важны одновременно. Мы сейчас нашу беседу можем свести к терминологической баталии, которая, боюсь, оставит всех при своем: кто-то останется при цифровой тени, кто-то – при двойнике. Наверное, мы говорим про разные этапы проектирования. Конечно, между архитектурой предприятия и реальными процессами, которые происходят, есть прослойка проектирования и организации проектирования, потому что мы предприятие проектируем и реализовываем, когда строим. Хотя тут чего проектировать двойника – у нас уже есть предприятие.
Термины важны и не важны. Эта дискуссия вряд ли нас приведет к каким-то серьезным изменениям в нашем мозге.
Алексей: Как ситуация выглядит примерно:
У нас есть цех, где дядя Вася, слесарь, и дядя Петя, фрезеровщик, стоят за своими станками. Есть начальник цеха, который отвечает за производство. К нему приходят и рассказывают: “Смотри, если вместо дяди Пети и дяди Феди поставишь робо-техническую линию, ты экономишь на зарплате, у тебя растет качество, все здорово”. Классно, я согласился. Как мне это сделать? При том, что продукция должна выпускаться непрерывно, есть план и есть ответственность перед поставщиками, перед сотрудниками и я должен обеспечивать им условия работы, есть утвержденное штатное расписание. Вот как это сделать? Я директор образовательной организации. Все, что вы рассказываете, мне нравятся. Какие мои действия, если я решаю сделать то, что вы мне предлагаете?
Лия Султанова: У вас такие длинные вопросы. Я хочу разделить их на кусочки. Я хочу ответить на первую часть вопроса. Как мне кажется, вопрос в методе. Есть прекрасная книга “Цель”. У Голдратта есть теория ограничений. В этой книжке есть прекрасный момент, когда автоматизировали часть завода, но оказалось, что все равно он не прибыльный, плохо работает, потому что там были узкие места, горлышки, и производительность этого узкого места сказывалась на всем заводе, то есть вся производительность завода была равна узкому месту.
У вас вопросы концептуального характера. Очень мало данных.
Алексей: Я не понимаю, как это делать. Я посмотрел эту книжку, не понял, пригласил вас. Вы ко мне пришли – ваши какие шаги? Вы говорите, что вы эту работу уже сделали. К вам тоже ходили проверки, прокуратура. Сейчас они у вас зашиты у вашего цифрового двойника? И если вам приходят жалобы в Рособрнадзор от кого-то из родителей, где у вас загорается эта самая красная лампочка на вашей панели управления?
Михаил: Простите, коллеги, мне кажется, что наша беседа уже перешла в жанр индивидуального функционирования. И мы чувствуем себя немного лишними на этом празднике жизни.
Лия Султанова: Все-таки мои опасения были частично верны. Я наблюдала дискуссию с Анатолием Игоревичем, моим ментором, который более компетентный.
На каждый тип клиента есть Customer Journey Map, по-русски сейчас не смогу сформулировать.
Алексей: Как я определяю клиентов образовательной организации? Вы говорите, что на каждого клиента нужно завести. А кто клиенты? Сначала их надо определить. Каким образом?
Лия Султанова: Я где-то в середине выступления говорила про то, что в саду есть определенное количество проектных ролей, внешних и внутренних.
Алексей: Где они для образовательной организации? Можно посмотреть?
Наталья Андреева: Их только что показывали: их 60 – для садика, 300 – для школы.
Алексей: Наталья, вы там увидели тех, кто работает с Рособрнадзором или Росводоканалом?
Наталья Андреева: У нас есть видео. Вы можете это видео промотать, найти нужный слайд, посмотреть на нем. Мы специально записываем трансляцию в хорошем качестве, она есть на нашем Youtube-канале. Вы можете посмотреть всю презентацию, которую показывала Лия, детально увидеть всех, кто работает с Рособрнадзором, Роспотребнадзором, с пожарными и с кухней.
Вы можете записаться на консультацию к Лие, и она покажет все 60 детально. У нас нет возможности сейчас развернуть все 300 ролей и зачитать их. Но я уверяю вас, что они там точно есть.
Мы тоже делали в одной школе выделение стейкхолдеров: начинали с укрупненных, а дальше расписывали детально. Когда мы все расписали (мы это делали с командой от школы и от управляющего совета), родители вздрогнули и больше не пытались вмешиваться во взаимодействие с этими органами.
Алексей: Я вам говорю ровно про это. Можно рисовать самые красивые картинки, а приходит к вам прокуратура и все идет лесом. Тогда в чем смысл?
Наталья Андреева: Там прописаны все скрипты взаимодействия. Просто это интеллектуальная собственность Лии, и она не показывает нам в данный момент все это. Но вы можете с ней связаться, если она будет не против.
Алексей: Наталья, получается, что та методология, которая предлагается, красивая, но не работает, никто не способен сделать ее сам. Цель нынешней конференции: ребята, смотрите, как классно, если надо, приходите к Лие. Так?
Лия Султанова: Я не возьмусь за консультацию вас. И цель этой конференции не распиарить меня как консультанта образовательной организации. Поэтому я предлагаю коммуникацию свернуть. Если вам интересно, как реализовывается системное мышление, реализация цифровых двойников, то это есть на курсе Анатолия Игоревича. Есть какие-то вопросы?
Михаил: Насколько я понимаю, ученик описывается как n-параметрическая система, где n — около 2000?
Лия Султанова: Желательно, конечно, больше, но пока тянут машины приблизительно столько.
Михаил: Замечательно. Это просто какой-то массив, который мы заполняем коллективно? Или внутри этого встроена какая-то модель ученика или модель ученического коллектива, которая позволяет делать прогнозы управляющего воздействия? Или же такой модели нет и мы просто заполняем массив данными? И по мере того, как к нам приходят новые данные (условно говоря, человек сдал зачет по ленте времени), мы ставим птичку, что он овладел этим навыком или овладел до какой-то степени, и все, мы не можем предсказать? То есть никакой встроенной модели пока еще нет или вообще ее не будет?
Лия Султанова: Отвечаю последовательно. Это только одна сотая часть портянки, в Transparent она больше.
Отвечаю на другой ваш вопрос: что сюда можно дополнять – это пока модель… Сейчас я покажу, где субъектные навыки у дошкольников. Это искусственно наращенное, это не родная штука из Transparent. Да, наращивать, да, заполнять. Прогноз — моя мечта.
Мы все знаем теорию Выготского про зону ближайшего развития. У меня есть гипотеза: есть искусственный интеллект по заданиям по математике, который на основании этих данных, прорешенных задач выстраивает зону ближайшего развития. Я туда глубоко не копала, но когда я вижу такой большой объем упорядоченных данных, у меня руки чешутся все это автоматизировать. Но боюсь, что тут я достаточно ограничена в ресурсах финансовых и людских.
Поэтому если задать вопрос, интересно было бы это сделать? Конечно, да. Матрица огромная есть. Либо это кто-то реализует, либо самостоятельно придет время сделать. Это просто машинное обучение. Вычислительное мышление — это тренд этого года. Я думаю, появятся другие ресурсы, искусственный интеллект, который это реализует. Просто это дорого.
Наталья Андреева: Спасибо. Еще был вопрос от директора школы Валентина Макарова. Была просьба привести более детальный пример про цифрового двойника ученика. Я приводила пример со скрам-доской. Правильно я понимаю, что для ученика это будет МЭШ, Гугл Классрум, фактически весь его цифровой след, который доступен и школе, и учителю?
Валентин Макаров: Вопрос уточняющий можно? Я так понимаю, что дети, учитывая сегодняшнюю ситуацию, оставляют цифровые следы на разных платформах. Понятно, что если это бюджетная организация города Москвы, то это, в основном, МЭШ. Но не только. Наталья Андреева назвала ряд других платформ, которые используют учителя. Получается, что те цифровые следы, которые дети оставили в разных платформах, должны ручками вбиваться в какую-то дополнительную базу данных, и на основании этого мы что-то делаем. Вопрос возникает следующий: на сколько нужно затрачивать эти ресурсы? Понятно, что интегратора платформ, который интегрирует эти результаты, у нас нет. Это делают учителя, школа. Я вас правильно понимаю?
Лия Султанова: Нет. У меня как раз был опыт на предыдущем проекте. У нас была написанная система на базе 1С, где происходила миграция данных. Она была настроена автоматически. Это можно сделать руками. Большую часть вещей, которую я делала, я делала руками, самостоятельно. Там глобальных знаний программистских не требуется. Это прекрасный ресурс, правда сомнительный. Я не знаю, как у вас, коллеги, но у меня на дистанте ребята пользуются Гуглом. Я бы подумала, использовать вообще эти данные или нет. Тут вопрос не о том, что вводить что-то руками или не вводить. Есть способы, как мигрировать данные в большом объеме, в маленьком, в разном, из одной системы в другую. Поэтому цифровой след — это хорошо, но сомнительно.
Валентин Макаров: Я услышал следующее, что для школы не проблема будет создать программу, которая берет из разных платформ цифровые следы ребенка? Это не зависит от того, открытая ли база, типа МЭШ, или закрытая?
Лия Султанова: Естественно. Вам uchi.ru никакое не даст.
Валентин Макаров: Но и МЭШ тоже не даст.
Лия Султанова: Если вы админ вашей школы, то вам даст. А какую задачу мы решаем?
Валентин Макаров: Мы создаем программу руками, вкладываем все цифровые следы ребенка в какую-то базу данных. В данном случае я вижу страшную табличку, которую вы показываете либо для школьника и дошкольника, где какие-то темы по предметам. Там отмечается, на каком уровне ребенок знает тему по экспертной оценке учителя либо по данным той или иной базы.
Лия Султанова: Это не уровень. Это стадия освоения. То есть не практикует, а практикует и освоен.
Валентин Макаров: Это экспертная оценка навыков ребенка?
Лия Султанова: Да. Дальше мы получим к концу первого полугодия вот такую картинку по каждому ребенку. Она разная у всех детей. И по каждому навыку у них разные стадии. Мне, как управленцу, много чего это скажет. Это разновозрастная среда. Нужно понимать, что для ребенка 3-х лет в этой среде этот перечень навыков — нормально. Но если совсем ничего нет, а он отходил полгода, то у меня вопросы либо к педагогу, либо к родителю.
Надо смотреть на другой дашборд, на посещаемость, на то, он опаздывает или нет. Для меня такие портянки — это дикое количество вариантов действий для меня, как операционного менеджера, педагога либо руководителя, который над педагогами стоит. Я вижу, что у педагога совсем западает, например, шнуровка: все только практикуют, никто не освоил, хотя должны были освоить.
Валентин Макаров: Что мешает прийти к воспитателю и спросить, почему там все западает? Он все сразу расскажет. Зачем это директору школы?
Лия Султанова: Как зачем? Это очень-очень надо.
Валентин Макаров: Я не очень представляю, зачем мне нужно знать, что у Васи Пупкина плохо с причесыванием. Потому что я с Васей Пупкиным никак не общаюсь, с ним общаются воспитатели. У меня школа не очень большая, всего лишь две с половиной тысячи человек. А есть школы по 10000 человек – зачем это директору про всех детей знать?
Лия Султанова: Потому что директор общается с родителями, у него есть конфликтные ситуации. Здесь у вас есть объем данных.
Валентин Макаров: Приходит ко мне мама и говорит: “Ваш воспитатель ударил моего ребенка”. Я смотрю на это дело, и что вижу? Что у него плохо со шнуровкой? Как мне это поможет в разрешении конфликтной ситуации? Эта ситуация может быть красивой для познавания. Можете принести какой-то пример, который поможет директору этой табличкой большой?
Лия Султанова: Второй раз я слышу тезис про “красиво”, и он меня смущает. У меня всегда под руками полный объем информации: я не буду плавать, а буду в сильной позиции перед родителем. У меня будет устойчивая позиция, потому что у меня больше объем данных по ребенку, чем у родителей. Я прекрасно знаю, в чем его сложности, где его зона роста. Это вызывает доверие и снижает тревогу родителей.
Валентин Макаров: Для чего нужна эта система для директора?
Лия Султанова: Для двух вещей. Для многих часто в голову приходит коммуникация с родителями, работа над взращиванием персонала, пониманием узких мест – задач достаточно много.
Пока все вопросы, которые задаются, больше теоретического характера. А это реальная система, которая работает. И если говорить про частные образовательные организации, то это куча фишек, которые, в первую очередь, снижают цену, выделяют организацию на фоне других образовательных организаций. Я не знаю ни одного родителя, который бы предельно верил электронному дневнику. А это реально работающая система. У нас освобождаются ресурсы для чего угодно, смотря как мы распределимся.
Михаил: Наталья сказала, что это фактически отслеживание ФГОС.
Лия Султанова: Конечно. Если мы вернемся к тому слайду, где разные образовательные роли, там есть методолог, который разрабатывает, дорабатывает либо базируется на стандарте. Конечно, мы далеко от ФГОСа не уйдем – это наш стандарт, на который мы опираемся. Мы стараемся максимально реализовать в рамках тех временных ресурсов, в том числе, по отношению к ребенку, которые у нас есть.
Михаил: Метафора предприятия, к которой мы сегодня охотно прибегаем, может иногда вводить нас в заблуждение. Потому что на предприятии мы имеем вещественный или не вещественный объект для наших манипуляций, который не оказывает нам сопротивления. Это тот самый кусок железа, о котором говорил коллега. Мы можем более или менее удачно обработать кусок железа, но кусок железа в любом случае не вырвется у нас из рук. Во всяком случае, он сознательно не ударит нас по лбу. Он не может принять решение ударить нас по лбу, это может только по законам физики произойти по нашей неосторожности. Что касается ученика, то история совершенно другая. Если вся эта система вызывает, например, непонимание или возмущение ученика, то ученик может сознательно сопротивляться нашему такому воздействию. Здесь, может быть, метафора предприятия уже не так работает, а работает какая-нибудь метафора войны. Не знаю, являлось ли это предметом ваших размышлений.
Лия Султанова: Я тоже на протяжении нашей встречи регулярно ссылаюсь на определенные методы. У меня в физическом мире есть, что показать, сказать, что теория такая, версия ее новая или старая и так далее. Слова важны и не важны. Двойник это или не важно, как мы это назовем. Если брать жизненный цикл учащегося, то есть стандартные процессы: зачислить, оформить, договор подписать. Есть прямые процессы. Один из процессов, который отыгрывает педагог в роли лидера, — это процесс вовлечения. Если он у нас пропущен, то мы получаем те системные ошибки, которые вы сейчас перечислили. Для меня ответ на ваш вопрос предельно простой, для меня все понятно. Такое происходит, когда пропускается адекватная последовательность шагов по отношению к конкретному ребенку. Преподаватель в роли лидера должен осуществить, с помощью какого-то метода или процесса, вовлечение ребенка. Это все равно больше какие-то менеджерские вещи, они не касаются того, что мы сегодня обсуждаем, как мне кажется.
Наталья Андреева: Я хочу передать слово Марии Васильевой.
Мария Васильева: Лия, позвольте выразить реальное восхищение тем, что вы представляете. Почему это для меня важно? Я из-под шапки руководителя большой государственной школы могу оценить вашу деятельность. У меня был опыт руководства в частной школе. Также у меня есть свой собственный бизнес, консультационный сервис, который я делаю, по выбору школ и по оценке школ, который делаю последний год.
У меня тоже много вопросов по поводу того, насколько все роли соотносятся с реальными людьми, которые всегда имеют какой-то лимит ресурсов. Исходя из моего опыта, есть конкретные вопросы, как соотносятся эти траектории с реальной системой оценивания, которая есть в школе. Понятно, что в детском саду как таковой системы оценивания нет, но есть система обратной связи с родителями. Как с конкретным ребенком, с конкретной семьей эта системы коммуницирует, какая взаимосвязь, как это на практике осуществляется?
Лия Султанова: Все верно, в дошкольном образовании оценок нет, но у нас есть возможность распарсить навыки, которые мы можем отслеживать. У меня пример конкретно подвязан под одно программное обеспечение, под Transparent. Второе я показать не могу, потому что это интеллектуальная собственность.
Конечно, тут две большие разницы с точки зрения использования информации. Тут то, что реально родители могут увидеть, то, чем я говорила, – генерализацию навыков за пределами садика. Часто родитель говорит: “Он у вас лапочка, умничка, а дома ничего не делает”. Или мы говорим, что у ребенка 1500 навыков, которые он отработал, а родитель говорит: “Где?” Эта система позволяет, когда внутрь заходишь, увидеть каждый навык и как его поддержать дома. Она для школы предельно проработана, с моей точки зрения.
Что касаемо той системы, которую мы развернули на основе 1С, которая подгружает оценки, то там, где меньше параметров в садике, там проще это отслеживать и прорабатывать. В оценочной системе у меня нет такой четкой позиции: то я противник, то я не очень противник. На данном проекте, на котором я сейчас работаю, я вижу, что оценки работают. Но там настолько гармонично проработана архитектура, что эта оценочная система является частью мотивирующей. Конечно, когда я говорю с родителями, они понимают, что это оценки честные. Оценочная система имеет место жить. Хотя спроси меня пять лет назад, я говорила бы, что оценки — это плохо. Есть опыт школ, которые отказались от опыта оценок.
Мария Васильева: Отметок или оценок? Отметки — плохо, а оценки чем виноваты?
Лия Султанова: Мы сейчас уйдем в дискуссию.
Что в этом организационном блоке брать за параметры? Пока мы не определились, оно не появится, будет мучением, горем. Для многих руководителей эти оценки — как тот самый один барометр, на который они ориентируются: у них самолет летит по одному показателю — 100% на ЕГЭ. Поэтому система может работать не так хорошо.
В общем, с садиком проще, а со школой сложнее, потому что нужна достаточно уверенная позиция. Это все завязано под педагогические практики: то есть как выставляются оценки, как родители это воспринимают, как это доносится.
Мария Васильева: Я хотела услышать конкретные практики. Например, выгрузка репорта раз в полгода.
Лия Султанова: Это из области архитектурного решения. Я рада, что в моей жизни появилась школа, которая для меня стала золотым стандартом, в которой на протяжении 30 лет я вижу, что оттачивалось, и это работает. Сейчас я увидела педагогическую архитектуру, которая состоит из грамотных педагогических практик. В нашей школе есть и репорты, и обратные связи, и интенсивы внесессионные. Это больше из этой организационной части, которую можно потом выносить в любую автоматизацию.
Мария Васильева: Здорово. Тогда еще вопрос из-под шапки исследователя, человека, который оценивает школы на основе данных. Данных мало. Когда Валентин Макаров говорил, нафига вообще директору знать это, – директор, может, и не хочет это знать, но родителям точно это хочется знать. И не только про своего ребенка им хочется знать, а вообще.
Данных про школы категорически мало. Когда американский директор управляет школой, у него 1000 всяких показателей. У российского директора нет практически ничего. Соответственно, для исследователей данных очень мало. Есть числовые данные — ЕГЭ и олимпиады. Мы пытаемся постоянно найти и что-то еще.
И что-то еще — это взаимоотношение внутри школ и как школы себя позиционируют, их организационная культура. Вы в рамках архитектуры, которую разрабатываете, думаете про это? Про ценности, про взаимоотношения? Или этот пласт пока только отдельно существует? Цифровизовался ли он у вас каким-то образом?
Лия Султанова: У меня вопрос аудита организации — это базовая схема любого проекта. Когда мы говорим про все, что касаемо ученика, про все эти заполненные дневники, системы — это альфа.
Я приведу аналог из проектного управления. Там есть V-диаграмма прекрасная, где родитель либо сам ученик что-то декларирует. Он говорит, что готов оплатить, чтобы были такие-то параметры системы, потом показываем пальцем, как это сделано. Это как в техсервис мы пригоняем машину и говорим “почините движок” или сами говорим, где починить. Это процесс приемки. У нас в образовательных организациях этот процесс приемки происходит, когда мы даем обратную связь ученику либо родителям, либо семье. И за это мы деньги налогоплательщиков либо личные деньги наших клиентов потратили. Этот процесс приемки предельно важен. Предыдущие дашборды, как в техсервисе, дают нам репорт: машина подчинена, работает на 100%, либо не на 100%, надо детали заказать.
В образовательной организации это присутствует. И все это нужно отслеживать. Если мы что-то упускаем, то получаем проблемы. Нам намного проще реагировать на изменения в жизни, когда к нам приходят какие-то службы. Они для нас становятся понятными и нормальными, потому что мы понимаем, как у нас система устроена и что мы производим. Для нас это прозрачно.
Для меня корпоративная культура, коммуникация с внешними и внутренними проектными ролями — это большой период моей жизни, когда мы в детском саду прописывали целую книжечку корпоративной культуры, в которую зашивали наши ценности. Это был болезненный период. Мне дико больно, страдательно и стрессово было.
Сначала вроде была идея клевая: мы сейчас выработаем ценности и будем такие крутые. Оказалось, это так больно, так грустно расставаться с теми, кто не соответствует твоим ценностям, дотягивать до своих собственных ценностей, которые декламировали.
В тот период я встретила книгу, которая мне во многом помогла, объяснила, почему тут болит, там болит, почему сотрудники на это и на то реагируют. Но это все-таки разговор не про архитектуру предприятия. Это больше из области ролевого мастерства управленца, который где-то в роли операционного менеджера, где-то – в роли того же самого лидера.
Я знаю управленцев, которые классные хозяйственники, у них все отлично с приказами или с другой операционной деятельностью, у них идеальное хозяйство, но они не ориентированы на целевую систему — на ребенка. У них чисто в школе, у них хорошие отношения с проверяющими органами, но это не целевая система. Но целевая система — это ребенок, это куча параметров в нем, это генерализованные в жизни навыки.
Мария Васильева: Понятно. Я организационную культуру рассматриваю шире, чем просто корпоративную культуру. И в основе человеко-ориентированной культуры лежит в принципе человек, а не только ребенок. Мне кажется, что это вопрос о ценностях. Я просто выскажусь, что ценности и архитектура оттуда вытекают. То есть организации надо определиться: что важное, что самое важное, что она несет. И потом возникнет правильная архитектура, исходя из тех ценностей, а не наоборот, что сначала функционал собрали, а потом подумали, зачем он нужен. Это мое мнение.
Лия Султанова: Абсолютно согласна. Я хотела добавить, что в рамках того же самого управления ресурсной книгой будет книга Хэтти.
Наталья Андреева: Спасибо большое.
Правильно я понимаю, что там аналитика строится на каких-то микро-опросах?
Лия Султанова: Там есть автоматизированные системы, которые не подвергаются аналитике. Они супер-классные, я по ним скучаю: такие веселые, лайтовые, легкие, эмоциональные, не похожие на сложные, которые я проходила в банке. Поэтому в этом плане автоматизированная часть приятная и занимает буквально полторы-две минуты.
А другая, основная часть, базируется на коммуникации.
Если кто-то будет обращать внимание на YVA: важен цифровой след в корпоративных мессенджерах. Она еще более сейчас крутая, отслеживает какие-то цифровые привычки, которые есть у человека: например, он приходит в 9, начинает писать в 10, заканчивает в 5. И, базируясь на исследованиях, ребята заложили в искусственный интеллект вероятности, и искусственный интеллект предсказывает.
У меня была куча замечательных историй веселых, связанных с предсказаниями. Например, что у этой сотрудницы начинает расти вероятность того, что она уволится. Я ее приглашаю, чтобы пообщаться, выяснить, в чем сложность. Она говорит, что не собирается увольняться. YVA за полгода предсказала три беременности, когда девушки даже еще о них не знали. Там просто начинает чуть-чуть меняться фон на человека, как он начинает отвечать на письма. Она фиксирует эти колебания. Процедура вовлечения нового сотрудника очень дорогостоящая и трудоемкая. Система мне облегчила в каком-то плане жизнь, т.к. дала на поиск нового сотрудника 9 месяцев. Это ни плохо, ни хорошо, это такой нюанс.
В системе есть куча метрик про выгорание. Выгорание может влиять в последней стадии, в том числе, на увольнение. Я распределяла проекты, когда я видела, что человек в ресурсе. Я видела, что у него все хорошо по показателям, и понимала, что ему можно дать тот или иной проект. Если я понимала, что человек не в ресурсе, то это либо будет его провальный проект, либо будет провалена его нервная система. Я – за гуманное отношение к людям. Я хожу по коридорам, общаюсь с коллегами, а система делала это круглосуточно, без больничных и отпускных.
Но нужна хотя бы какая-то коммуникация в корпоративной почте. У нас в почте было много коммуникаций. Любая ситуация, которая у нас была не описана, через систему кейсов и корпоративную почту обсуждалось, попадало в работу. На основе кейса либо появлялся скрипт, либо не появлялся. Поэтому это я больше про корпоративную коммуникацию.
Наталья Андреева: Спасибо огромное. Рада, что есть люди, которые взяли эту систему, потестили в образовании, получили интересные результаты по построению архитектуры предприятия. Но я некоторые люди писали мне в чат, что стало сложно, я пойду. Многим было сложно. Надо искать какие-то простые способы объяснять это на пальцах.
Лия Султанова: Я соглашусь, что сложно. Когда мы с коллегами коллективно погружались в обучение, то плакали, получали от менторов серьезные замечания. От этого было обидно: как же так, мы такие прекрасные и могучие, а здесь не могучие и не прекрасные. Но это тоже процесс изменения. И это неизбежно. Это раз.
А второе — это, наверное, еще определенный тип мышления. Возвращаясь к первому тезису, его обязательно нужно прокачивать. Мы имеем дело с душой и мозгом человека, с его телом, и мы несем гигантскую ответственность за это. Когда ответственность эту принимаешь, то другого выхода, кроме как прокачивать мышление, выносить рутину, чтобы быть с этим человеком в контакте, вырабатывать привязанность, вовлекать в процесс, заниматься этими практиками, нет. Когда такой масштаб ответственности, это будет сложно, легких путей точно не будет.
Наталья: Спасибо. Мы завершаем нашу встречу.