Кейс: как AI помогает оценивать проведение онлайн-уроков в IT-академии для детей

Учеба — непростой процесс даже для взрослых. Что и говорить о детях и подростках, которые уже овладевают «компьютерными» специальностями. Чтобы сделать обучение максимально интересным и плодотворным, нужно тщательно следить за профессионализмом учителей и консультантов. Читайте, как IT-академия GoITeens внедрила продуманную и всеобъемлющую систему контроля, снизив время на него. И как в этом помог Ringostat AI Супервайзер.

Предыстория

GoITeens — международная онлайн-академия, обучающая детей и подростков разным IT-специальностям. Учащиеся могут пройти 12 полноценных курсов и еще 9 мини-курсов. Учебная программа охватывает самые разные темы и специальности: от Python и GameDev до рисования до Мастерской лидерства. За 8 лет работы академии ее прошли более 50000 детей. Подход к обучению у GoITeens действительно масштабный — здесь работают около 700 преподавателей, которые всего за год провели более 90 000 занятий.

Компании очень важно предоставлять качественное образование и делать все, чтобы будущий ученик правильно выбрал направление обучения. Для этого нужно контролировать, как работает колл-центр, отдел индивидуальных консультаций и непосредственно преподаватели. Однако при «ручном» контроле такого объема данных компания неизбежно столкнулась с проблемами.

1. Большие затраты времени. Первый телефонный разговор с будущим студентом или его родителями длится около 10 минут. Консультация и пробное занятие — около часа, занятия — до 1,5 часов, а иногда и 3. Только на прослушивание 10 разговоров ежедневно, включая примечания по работе менеджера, команда тратила около двух часов.
2. Потребность в дополнительном персонале. Например, только анализом работы отдела индивидуальных консультаций занимались четыре асессора и еще один специалист.
3. Риск упустить что-то важное или, наоборот, анализировать не требующие внимания разговоры. Далеко не все диалоги нужно контролировать — ведь они могут не содержать без ошибок. Однако сразу это невозможно никак понять. Поэтому асессоры были вынуждены слушать диалоги и анализировать уроки выборочно. Так часть времени время тратилась зря — на контроль того, с чем и так все было хорошо. И наоборот, всегда была вероятность упустить случаи, нуждавшиеся во вмешательстве.

GoITeens искали инструмент, который бы сократил время на контроль и позволил автоматизировать этот процесс. Таким решением стал искусственный интеллект – Ringostat AI Супервайзер. Как отмечает руководство GoITeens: «Технология ИИ очень интересная и многообещающая, ей можно найти применение уже сейчас. Она экономит время сотрудников, ускоряет процессы работы в разы и помогает развитию и улучшению всех отделов компании».

По результатам использования Ringostat AI Супервайзер GoITeens мы еще в апреле 2024 года написали «Кейс: искусственный интеллект вместо супервайзера в IT-академии для детей». Однако с этого времени компания сделала большой шаг вперед, усовершенствовав систему контроля и настройки Ringostat AI Супервайзер для своего проекта.

Что такое Ringostat AI Супервайзер, и работа каких отделов GoITeens анализируется с его помощью

Ringostat AI Супервайзер — это услуга, в рамках которой искусственный интеллект настраивается под конкретный бизнес. Пользователь предоставляет нашим разработчикам ТЗ, скрипты разговоров, внутренние правила своей компании. Или если этого нет, описывает свои процессы и объясняет, какой анализ ему нужен. В итоге компания получает цифрового помощника, который максимально адаптирован под нужды бизнеса и хорошо разбирается в его особенностях.

GoITeens требовались именно такие индивидуальные настройки, потому что в работе академии много нюансов, которые важно учесть при оценке разговоров и уроков. В первую очередь это разнообразие отделов и их сценариев разговоров.

1. Колл-центр принимает обращения клиентов, которые звонят с сайта, из рекламы и т. д. Его задача – предоставить первичную консультацию клиенту и достаточно заинтересовать, чтобы тот записался на первый пробный урок. Если же звонит человек, который уже хорошо знает GoITeens и не нуждается в пробном уроке, оператор должен переключить его на менеджера по продажам.
2. Отдел индивидуальных консультаций более основательно общается с будущим студентом и его родителями во время онлайн-встречи. Методист тщательно расспрашивает об опыте, предпочтениях, навыках и помогает выбрать соответствующий курс, если ребенок еще не определился. Также он проводит пробный урок.
3. Отдел продаж общается с клиентами по телефону и также перезванивает пользователям, которые оставляют заявки на сайте GoITeens. Кроме того, sales-департамент связывается с клиентами, которые по какой-то причине не записались на курсы сразу после пробного занятия.
4. Преподаватели проводят онлайн-занятия со студентами по видео.

Сценарии разговора различаются не только в зависимости от отдела, но и от обсуждаемой темы во время диалога. Например, урок по подготовке проектов имеет совсем иную структуру, чем, допустим, занятия по дизайну. Групповые и индивидуальные занятия также нужно оценивать по-разному. Поэтому AI должен понимать, диалог какого отдела и на какую тему следует проанализировать. В соответствии с этим он будет использовать необходимые критерии оценки.

Каким образом происходит оценка

Один из плюсов Ringostat AI Супервайзер – то, что он анализирует 100% диалогов с клиентами. Причем это касается не только разговоров колл-центра и отдела продаж, но и консультаций и уроков, которые проходят во время онлайн-встреч в Google Meet. Для этого видео, залитые на Google Drive, загружаются в Ringostat — об этом будет подробно дальше, и потом их анализирует искусственный интеллект. Мы же сосредоточимся на том, как проводится оценка учебного процесса.

Транскрибация диалогов

Искусственный интеллект превращает все разговоры и видеовстречи в текст. Благодаря этому их не нужно слушать или просматривать целиком. Достаточно быстро просмотреть текстовую расшифровку, содержащую анализ диалога. Удобство еще и в том, что специалист, контролирующий работу отдела, может поиском найти нужное слово в диалоге и почитать реплики, где оно фигурировало. Например, это пригодится, если нужно проконтролировать, как учитель проверил домашнее задание. Для этого достаточно ввести это словосочетание в поиск и почитать нужный фрагмент диалога.

Если нажать на текст конкретной реплики, аудио диалога начнется проигрываться с момента, когда она звучит. Это может помочь, например, понять, каким тоном ее произнес преподаватель.

Общая оценка за урок и краткий смысл разговора

В GoITeens есть продуманная система оценки разговоров, в зависимости от того, какой отдел общается со студентом и на какую тему. В частности, она состоит из критериев, которым должен отвечать разговор — это определенные действия и реплики работника. Например, проведение урока по теме разработки приложений оценивается почти по 20 критериям.

Также анализ содержит краткое резюме, которое можно прочесть, вместо того, чтобы полностью анализировать текст диалога. Из него можно узнать:

• чему был посвящен урок;
• что обсуждалось во время него;
• что преподаватель сделал правильно в течение урока;
• какие моменты можно было бы улучшить.

Оценка соблюдения структуры урока

ИИ «знает», какую структуру имеет идеальный урок, и легко замечает, если преподаватель от нее отклоняется. Если специалист совершил все обязательные действия на каждом этапе урока, он получит 5 баллов. Например, AI следит, чтобы преподаватель:

• сначала актуализировал знания и проверил домашнее задание;
• сделал поступление на урок и в конце подвел его итог;
• разобрал домашнее задание и сделал инструктаж к нему;
• сделал интересный анонс следующего урока, чтобы учащемуся захотелось его посетить;
• придерживался последовательности элементов урока, утвержденной в онлайн-академии.

Соблюдение критериев общения

Общение с детьми требует особых навыков и умения заинтересовать, постоянно поддерживая фокус ученика на предмете урока. Поэтому GoITeens уделяет большое внимание тому, как учитель ведет себя во время общения с учениками. В частности, искусственный интеллект ставит оценку за:

• настроенность учителя на урок;
• организованность и дисциплину;
• индивидуальный подход к учащимся;
• качество объяснения;
• знание языка — преподаватель не должен долго подбирать слова, употреблять жаргон и т. д.

Кроме того, учитель должен обращаться к каждому ученику по имени на протяжении урока, развернуто отвечать на вопросы, привлекать студентов к дискуссии с помощью открытых вопросов. Также преподаватель должен хвалить учащихся, когда это уместно, при чем похвала должна быть персонализированной и разнообразной.

Если специалист не придерживается какого-либо из критериев, он недополучает балл. Список ошибок преподавателя собирается в отдельном блоке. Так что команда, которая контролирует разговоры, может мгновенно понять, что пошло не так на уроке.

Развернутая оценка знаний, профессиональной подготовки учителя и других сопутствующих критериев

Урок не только получает оценку согласно критериям, которые мы упомянули выше. В анализе звонка содержится подробное описание работы учителя, описанное через призму конкретного критерия.

1. Знания и опыт. Искусственный интеллект описывает, насколько учитель разбирался в теме, которую преподавал в течение урока. Были ли понятны его объяснения и соответствовали ли они стандартам отрасли.
2. Актуальность и методы обучения. Были ли примеры актуальными и практическими, соответствовал ли контент современным практикам. Как был организован учебный процесс и подготовил ли учитель заранее учебные материалы.
3. Динамичность и интерактивность урока. Важно, чтобы обучение было увлекательным и ученик не успел соскучиться. Поэтому AI оценивает, насколько выдержан баланс между теорией и практикой в течение урока. Также анализ учитывает, насколько активно учитель поддерживал взаимодействие с детьми.
4. Профессиональная подготовка и поведение учителя. В результатах анализа можно прочитать, насколько хорошо преподаватель был подготовлен к уроку и давал ли практические примеры.

Подробности и детали урока

Искусственный интеллект не просто дает оценку и краткое описание ситуации, но и обосновывает свои выводы. Ringostat AI Супервайзер, например, показывает, в каком фрагменте онлайн-встречи учитель подводит итог уроку. Для каждого этапа приведен тайм-код – то есть время, когда он начался в данном диалоге. Ниже дается объяснение, что именно происходило на конкретном этапе. Если нажать на таймкод, аудио разговора автоматически промотается на нужный фрагмент. Это очень удобно, если супервайзер видит, что у преподавателя низкая оценка за определенный этап, и он хочет проанализировать именно его.

Также асессоры отдельно оценили, что искусственный интеллект показывает, какие студенты присутствуют на уроке и сколько раз преподаватель к ним обращался.

Как команда GoITeens оценивает качество разговоров, и как этот процесс со временем упростился

Чтобы получить подобный анализ, специалисты GoITeens, ответственные за контроль, сначала отбирают нужные диалоги. Например, учитываются разговоры, получившие низкую оценку. Или определенное количество диалогов конкретного отдела, который нужно планово проконтролировать.

Ранее для анализа каждого диалога необходимо было скопировать ссылку на нужный урок или консультацию и вставить в интерфейс для анализа. Там также нужно было указывать информацию об уроке и много дополнительных параметров. Это требовало немало времени, поэтому наши разработчики сделали отдельный интерфейс, позволяющий массово анализировать диалоги. Менеджеру GoITeens теперь достаточно:

• собрать в одной таблице диалоги, требующие контроля;
• указать темы уроков, сценарий, данные преподавателей или методистов – чтобы AI применил нужные критерии;
• скачать таблицу в интерфейс для анализа.

«На выходе» онлайн-академия получает результаты анализа всех нужных разговоров без лишних действий.

Также у GoITeens теперь есть доступ к инструменту, позволяющему самостоятельно редактировать критерии для оценки разговоров. Например, здесь можно описать, какие действия должен совершить учитель или методист на каждом этапе диалога или урока по определенной теме. Также сюда можно загрузить скрипт разговора и задать, какой может быть оценка каждого пункта. Таким образом, онлайн-академия не должна каждый раз обращаться к техподдержке, если нужно внести правки в существующие настройки или осуществить дополнительные, когда появляется новый курс. Всё это можно делать самостоятельно.

Как данные искусственного интеллекта помогают усовершенствовать процесс обучения и консультации

Для компании важно, чтобы разговоры каждого отдела анализировали специалисты, хорошо разбирающиеся именно в процессах этого департамента. Поэтому работу учителей оценивают одни асессоры, методистов индивидуальной консультации — другие и т. д. Специалисты по контролю качества должны ежемесячно анализировать около 300 консультаций и 650 уроков. То есть один асессор анализирует 100-140 занятий. И это уже не говоря о том, что также контролируются звонки колл-центра и отдела продаж. В этом плане искусственный интеллект значительно упрощает работу. Ведь он ставит оценку или указывает, в каких разговорах или уроках есть проблемные моменты.

Благодаря этому, асессор может не уделять много времени разговорам или этапам, с которыми все хорошо, и сфокусироваться только на проблемах. Когда специалист замечает и анализирует ошибки работника, он составляет отзыв для тимлида отдела. Таким образом, работники академии могут улучшить свои навыки и повысить профессионализм. Если же методист по индивидуальной консультации или учитель не согласен с фидбеком, он может подать апелляцию. В таком случае специалист еще раз анализирует разговор, обращая внимание на возражения работника.

Также асессоры GoITeens собираются еженедельно, чтобы обсудить моменты, которые они заметили при анализе, и способы усовершенствования работы. Таким образом, представители разных отделов могут делиться удачными практиками и улучшать работу онлайн-академии в целом.

Отзыв клиента: как Ringostat AI Супервайзер позволил сэкономить время и уменьшить команду, которая занимается контролем

«Раньше со мной работала команда из четырех человек, которые оценивали только проведение консультаций. Благодаря AI, работу отдела индивидуальных консультаций теперь могу контролировать я один. Коллеги, которые ранее были асессорами, сейчас перешли в другие отделы, усилив их.

Например, на подготовку 95 видео с продолжающимися часами консультациями у меня уходит 3 часа. Также 3 часа нужно искусственному интеллекту, чтобы проанализировать эти записи. Раньше без ИИ эта работа занимала весь месяц. К тому же мы используем речевую модель Claude Sonnet, и она работает еще быстрее. Если сравнивать с тем, как мы работали до AI, то на анализ только одного видео раньше уходило более 30 минут».

Максим ВойтенкоAI manager GoITeens

«Благодаря Ringostat AI Супервайзер мы имеем готовые отчеты с подробным описанием того, как происходило обучение. Это помогает как асессорам в проверке урока, так и тимлидам при проверке апелляций.

Также мы гибко настроили искусственный интеллект под свои нужды. Добавили в программу дополнительные категории по программе: знание и опыт преподавателя, актуальность и методы обучения, динамичность и интерактивность урока, профессиональная подготовка и поведение учителя. Благодаря этому мы смогли проверять и техническую составляющую урока. Супервайзеры, проверяющие работу преподавателей, ускорились в работе на 10%. Таким образом, они могут дважды оценивать преподавателей, имеющих низкие баллы».

Анастасия ДудкинаTeamLead Quality Control GoITeens