Навчання — непростий процес навіть для дорослих. Що й казати про дітей та підлітків, які вже опановують «комп’ютерні» спеціальності. Щоб зробити навчання максимально цікавим та плідним, треба ретельно стежити за професіоналізмом вчителів та консультантів. Читайте кейс про те, як IT-академія GoITeens впровадила продуману та всеосяжну систему контролю, зменшивши час на нього. І як в цьому допоміг Ringostat AI Супервайзер.
- Передісторія
- Що таке Ringostat AI Супервайзер, та робота яких відділів GoITeens аналізується з його допомогою
- Яким чином відбувається оцінка
- Як команда GoITeens оцінює якість розмов, і як цей процес з часом спростився
- Як дані штучного інтелекту допомагають вдосконалити процес навчання та надання консультації
- Відгук клієнта: як Ringostat AI Супервайзер дозволив заощадити час та зменшити команду, яка займається контролем
Передісторія
GoITeens — міжнародна онлайн-академія, що навчає дітей та підлітків різним IT-спеціальностям. Учні можуть пройти 12 повноцінних курсів і ще 9 міні-курсів. Навчальна програма охоплює найрізноманітніші теми та спеціальності: від Python та GameDev до малювання до Майстерні лідерства. За 8 років роботи академії її пройшли понад 50 000 дітей. Підхід до навчання у GoITeens справді масштабний — тут працюють близько 700 викладачів, які лише протягом року провели більш ніж 90 000 занять.
Компанії вкрай важливо надавати якісну освіту та робити все, щоб майбутній учень правильно обрав напрямок навчання. Для цього потрібно контролювати, як працює кол-центр, відділ індивідуальних консультацій та безпосередньо викладачі. Проте при «ручному» контролі такого обсягу даних компанія неминуче стикнулася з проблемами.
- Великі витрати часу. Перша телефонна розмова з майбутнім студентом чи його батьками триває близько 10 хвилин. Консультація та пробне заняття — близько години, заняття — до 1,5 годин, а іноді й 3. Тільки на прослуховування 10 розмов щодня, включно з примітками щодо роботи менеджера, команда витрачала близько двох годин.
- Потреба в додатковому персоналі. Наприклад, тільки над аналізом роботи відділу індивідуальних консультацій працювали чотири асесори та ще один спеціаліст.
- Ризик упустити щось важливе або, навпаки, аналізувати розмови, що не потребують уваги. Далеко не всі розмови треба контролювати — адже вони можуть бути проведені без помилок. Однак, одразу це ніяк не зрозуміти. Тому асесори змушені були слухати діалоги та аналізувати уроки вибірково. Через це значна кількість часу витрачалася даремно — на контроль того, що і так було добре. І навпаки, завжди була ймовірність упустити випадки, які потребували втручання.
GoITeens шукали інструмент, який скоротив би час на контроль та дозволив би автоматизувати цей процес. Таким рішенням став штучний інтелект — Ringostat AI Супервайзер. Як зазначає керівництво GoITeens: «Технологія ШІ дуже цікава та багатообіцяюча, їй можна знайти застосування вже зараз. Вона економить час співробітників, пришвидшує процеси роботи в рази та допомагає розвитку і покращенню всіх відділів в компанії».
За результатами використання Ringostat AI Супервайзер GoITeens ми ще у квітні 2024 року написали «Кейс: штучний інтелект замість супервайзера в IT-академії для дітей». Проте з цього часу компанія зробила великий крок вперед, вдосконаливши систему контролю та налаштування Ringostat AI Супервайзер для свого проєкту.
Що таке Ringostat AI Супервайзер, та робота яких відділів GoITeens аналізується з його допомогою
Ringostat AI Супервайзер — це послуга, в рамках якої штучний інтелект налаштовується під конкретний бізнес. Користувач надає нашим розробникам ТЗ, скрипти розмов, внутрішні правила своєї компанії тощо. Або, якщо цього немає, описує свої процеси та пояснює, який аналіз йому потрібен. У підсумку компанія отримує цифрового помічника, що максимально адаптований під потреби бізнесу та добре «розуміється» на його особливостях.
GoITeens потрібні були саме такі індивідуальні налаштування, бо в роботі академії багато нюансів, які варто врахувати при оцінці розмов та уроків. В першу чергу, це розмаїття відділів та їхніх сценаріїв розмов.
- Кол-центр приймає звернення клієнтів, які телефонують з сайту, реклами тощо. Його завдання — надати первинну консультацію клієнту та достатньо зацікавити, аби той записався на перший пробний урок. Якщо ж телефонує людина, яка вже добре знає GoITeens та не потребує пробного уроку, оператор має переключити її на менеджера з продажів.
- Відділ індивідуальних консультацій більш ґрунтовно спілкується з майбутнім студентом та його батьками під час онлайн-зустрічі. Методист ретельно розпитує про досвід, вподобання, навички та допомагає обрати відповідний курс, якщо дитина ще не визначилася. Також він проводить пробний урок.
- Відділ продажів спілкується з клієнтами телефоном та також передзвонює тим користувачам, які залишають заявки на сайті GoITeens. Крім того, sales-департамент зв’язується з клієнтами, які з певної причини не записалися на курси одразу після пробного заняття.
- Викладачі проводять онлайн-заняття зі студентами по відео.
Сценарії розмови розрізняються не тільки залежно від відділу, але й від теми, яка обговорюється під час діалогу. Наприклад, урок з НМТ та підготовки проєктів має зовсім іншу структуру, ніж, припустимо, зайняття, з дизайну. Групові та індивідуальні заняття також мають оцінюватися по-різному тощо. Тому AI має розуміти, діалог якого відділу та на яку тему треба проаналізувати. Відповідно до цього він буде використовувати потрібні критерії оцінки.
Яким чином відбувається оцінка
Один з плюсів Ringostat AI Супервайзер — те, що він аналізує 100% діалогів з клієнтами. Причому це стосується не тільки телефонних розмов кол-центру та відділу продажів, але й консультацій та уроків, що відбуваються під час онлайн-зустрічей в Google Meet. Для цього відео, залиті на Google Drive, завантажуються в Ringostat — про це докладно буде далі, і потім їх аналізує штучний інтелект. Нижче ми зосередимося на тому, як проводиться саме оцінка навчального процесу.
Транскрибація діалогів
Штучний інтелект перетворює усі розмови та відеозустрічі на текст. Завдяки цьому їх не потрібно слухати чи переглядати цілком. Достатньо пробігти очима текстову розшифровку, яку містить аналіз діалогу. Зручність ще й в тому, що спеціаліст, який контролює роботу відділу, може пошуком знайти потрібне слово в діалозі та почитати репліки, де воно фігурувало. Наприклад, це стає у пригоді, якщо треба проконтролювати, як вчитель перевірив домашнє завдання. Для цього достатньо ввести це словосполучення в пошук та почитати потрібний фрагмент діалогу.
Якщо натиснути на текст конкретної репліки, аудіо діалогу почнеться програватися з моменту, коли вона звучить. Це може допомогти, наприклад, зрозуміти, яким тоном її промовив викладач.
Загальна оцінка за урок та стислий сенс розмови
У GoITeens є продумана система оцінки розмов, залежно від того, який відділ спілкується зі студентом та на яку тему. Зокрема вона складається з критеріїв, які має містити розмова — певні дії та репліки працівника. Наприклад, проведення уроку на тему розробки додатків оцінюється майже за 20 критеріями.
Також аналіз містить стисле резюме, яке можна прочитати, замість того, щоб аналізувати текст діалогу цілком. З нього можна дізнатися:
- чому було присвячено урок;
- що обговорювалося під час нього;
- що викладач зробив правильно протягом уроку;
- які моменти можна було б покращити.
Оцінка за дотримання структури уроку
ШІ «знає», яку структуру має ідеальний урок, і легко помічає, якщо викладач від неї відхиляється. Якщо спеціаліст здійснив усі обов’язкові дії на кожному етапі уроку, він отримає за нього 5 балів. Наприклад, AI перевіряє, чи викладач:
- спочатку актуалізував знання та перевірив домашнє завдання;
- зробив вступ до уроку та наприкінці підбив його підсумок;
- розібрав домашнє завдання та зробив інструктаж щодо нього;
- зробив цікавий анонс наступного уроку, щоб учню захотілося його відвідати;
- дотримувався послідовності елементів уроку, яка затверджена в онлайн-академії.
Дотримання критеріїв спілкування
Спілкування з дітьми потребує особливих навичок та вміння зацікавити, при цьому постійно підтримуючи фокус учня на предметі уроку. Тому GoITeens приділяє велику увагу тому, як вчитель поводиться під час проведення навчання. Зокрема, штучний інтелект ставить оцінку за:
- налаштованість вчителя на урок;
- задавання тону уроку;
- організованість та дисципліну;
- індивідуальний підхід до учнів;
- якість пояснення;
- знання мови — викладач не має довго підбирати слова, вживати жаргон, русизми тощо.
Крім того, вчитель має звертатися до кожного учня на ім’я протягом уроку, розгорнуто відповідати на питання, залучати студентів до дискусії через відкриті запитання. Також викладач має хвалити учнів, коли це доречно, при чому похвала має бути персоналізованою та різноманітною.
Якщо спеціаліст не дотримується якогось з критеріїв, він недоотримує бал. Перелік помилок перекладача збирається в окремому блоці. Тож команда, яка контролює розмови, може миттєво зрозуміти, що пішло не так під час уроку.
Розгорнута оцінка знань, професійної підготовки вчителя та інших супутніх критеріїв
Урок не тільки отримує оцінку згідно з критеріями, які ми згадали вище. В аналізі дзвінка також міститься докладний опис роботи вчителя, описаний через призму конкретного критерію.
- Знання та досвід. Штучний інтелект описує, наскільки вчитель знався на темі, яку викладав протягом уроку. Чи були зрозумілими його пояснення, та чи відповідали вони стандартам галузі.
- Актуальність і методи навчання: Чи були приклади актуальними та практичними, чи контент відповідав сучасним практикам. Як був організований навчальний процес і чи підготував вчитель заздалегідь навчальні матеріали.
- Динамічність та інтерактивність уроку. Важливо, щоб навчання було захопливим та учень не встиг засумувати. Тому AI оцінює, наскільки був витриманий баланс між теорією та практикою протягом уроку. Також аналіз враховує, наскільки активно вчитель підтримував взаємодію з дітьми.
- Професійна підготовка та поведінка вчителя. В результатах аналізу можна прочитати, наскільки добре викладач був підготовлений до уроку та чи надавав практичні приклади. Також окремо оцінюється, чи не було ознак непрофесійної поведінки. Наприклад, якщо вчитель зненацька відволікся на власні справи протягом уроку.
Подробиці та деталі уроку
Штучний інтелект не просто дає оцінку та стислий опис ситуації, він також надає обгрунтування свого висновку. Ringostat AI Супервайзер виявляє, наприклад, в якому фрагменті онлайн-зустрічі вчитель підбиває підсумок уроку. Для кожного етапу наведено тайм-код — тобто час, коли він почався в даному діалозі. Нижче надається пояснення, що саме відбувалося на конкретному етапі. Якщо натиснути на таймкод, аудіо розмови автоматично промотається на потрібний фрагмент розмови. Це дуже зручно, якщо супервайзер бачить, що у викладача низька оцінка за певний етап, і він хоче проаналізувати саме його.
Також асесори окремо оцінили, що штучний інтелект показує, які студенти присутні на уроці й скільки разів викладач до них звертався.
Як команда GoITeens оцінює якість розмов, і як цей процес з часом спростився
Щоб отримати подібний аналіз, спеціалісти GoITeens, відповідальні за контроль, спочатку відбирають потрібні діалоги. Наприклад, до уваги беруться розмови, які отримали низьку оцінку. Або певна кількість діалогів конкретного відділу, який треба планово проконтролювати.
Раніше для аналізу кожного діалогу потрібно було скопіювати посилання на потрібний урок чи консультацію та вставити в інтерфейс для аналізу. Там також треба було вказувати інформацію про урок та багато додаткових параметрів. Це вимагало чимало часу, тому наші розробники зробили окремий інтерфейс, який дозволяє масово аналізувати діалоги. Менеджеру GoITeens тепер достатньо:
- зібрати в одній таблиці діалоги, які потребують контролю;
- вказати теми уроків, сценарій, дані викладачів чи методистів — щоб AI застосував потрібні критерії;
- завантажити таблицю в інтерфейс для аналізу.
«На виході» онлайн-академія отримує результати аналізу усіх потрібних розмов без зайвих дій.
Також GoITeens отримав доступ до інструменту, який дозволяє самостійно редагувати критерії для оцінки розмов. Наприклад, тут можна описати, які дії має здійснити вчитель чи методист на кожному етапі діалогу або уроку на певну тему. Також сюди можна завантажити скрипт розмови та задати, якою може бути оцінка за кожен пункт. Таким чином, онлайн-академія не мусить щоразу звертатися до техпідтримки, якщо потрібно внести правки в існуючі налаштування або здійснити додаткові — коли з’явився новий курс. Все це можна робити самостійно.
Як дані штучного інтелекту допомагають вдосконалити процес навчання та надання консультації
Для компанії важливо, щоб розмови кожного відділу аналізували спеціалісти, які добре знаються саме на процесах цього департаменту. Тому роботу вчителів оцінюють одні асесори, методистів з індивідуальної консультації — інші тощо. Спеціалісти з контролю якості мають щомісячно аналізувати близько 300 консультацій та приблизно 650 уроків. Тобто один асесор аналізує 100-140 занять І це вже не кажучи про те, що також контролюються дзвінки кол-центру та відділу продажів. В цьому плані штучний інтелект значно спрощує роботу. Адже він ставить оцінку або вказує на те, в яких розмовах чи уроках є проблемні моменти.
Завдяки цьому, асесор може не приділяти багато часу тим розмовам чи етапам, з якими все добре, та сфокусуватися тільки на проблемах. Коли спеціаліст помічає та аналізує помилки працівника, він складає відгук для тімліда відділу. Таким чином, працівники академії можуть покращити свої навички та підвищити професіоналізм. Якщо ж методист з індивідуальної консультації чи вчитель не згоден з фідбеком, він може подати апеляцію. В такому випадку спеціаліст ще раз аналізує розмову, звертаючи увагу на заперечення працівника.
Також асесори GoITeens збираються щотижня, щоб обговорити моменти, які вони помітили при аналізі, та способи вдосконалення роботи. Таким чином, представники різних відділів можуть ділитися вдалими практиками та покращувати роботу онлайн-академії в цілому.
Відгук клієнта: як Ringostat AI Супервайзер дозволив заощадити час та зменшити команду, яка займається контролем
Наприклад, на підготовку 95 відео з консультаціями, що тривають годину, у мене йде 3 годин. Також 3 годин потрібно штучному інтелекту, щоб проаналізувати ці записи. Раніше без ШІ ця робота займала весь місяць. До того ж ми зараз використовуємо мовну модель Claude Sonnet, і вона працює ще швидше. Якщо порівнювати з тим, як ми працювали до AI — то на аналіз лише одного відео раніше йшло понад 30 хвилин».
Також ми гнучко налаштували штучний інтелект під свої потреби. Додали в промт додаткові категорії по програмі: знання та досвід викладача, актуальність і методи навчання, динамічність та інтерактивність уроку, професійна підготовка і поведінка вчителя. Завдяки цьому ми змогли перевіряти ще й технічну складову уроку. Супервайзери, які перевіряють роботу викладачів, пришвидшились в роботі на 10%. Таким чином, вони можуть двічі оцінювати викладачів, які мають низькі бали»
