Nauka to złożony proces nawet dla dorosłych. Co dopiero mówić o dzieciach i nastolatkach, którzy już uczą się „komputerowych” specjalności. Aby uczynić naukę jak najbardziej interesującą i owocną, należy dokładnie monitorować profesjonalizm nauczycieli i konsultantów. Przeczytaj, jak akademia IT GoITeens wdrożyła przemyślany i kompleksowy system kontroli, redukując czas na niego. I jak pomógł w tym Ringostat AI Supervisor.
- Historia
- Czym jest Ringostat AI Supervisor i jakie działy GoITeens są analizowane z jego pomocą
- W jaki sposób odbywa się ocena
- Jak zespół GoITeens ocenia jakość rozmów i jak ten proces z czasem się uprościł
- Jak dane sztucznej inteligencji pomagają udoskonalić proces nauczania i udzielania konsultacji
- Opinia klienta: jak Ringostat AI Supervisor pozwolił zaoszczędzić czas i zmniejszyć zespół zajmujący się kontrolą
Historia
GoITeens to międzynarodowa akademia online, która uczy dzieci i nastolatków różnych specjalności IT. Uczniowie mogą ukończyć 12 pełnych kursów i 9 minikursów. Program nauczania obejmuje różnorodne tematy i specjalności: od Pythona i GameDev po rysunek i Warsztat Przywództwa. W ciągu 8 lat działalności akademii ukończyło ją ponad 50 000 dzieci. Podejście do nauczania w GoITeens jest naprawdę kompleksowe ― pracuje tu około 700 nauczycieli, którzy tylko w ciągu roku przeprowadzili ponad 90 000 zajęć.
Dla firmy niezwykle ważne jest zapewnienie wysokiej jakości edukacji i robienie wszystkiego, aby przyszły uczeń właściwie wybrał kierunek nauki. W tym celu konieczne jest kontrolowanie pracy call center, działu konsultacji indywidualnych i bezpośrednio nauczycieli. Jednak przy „ręcznej” kontroli takiej ilości danych firma nieuchronnie napotkała problemy.
- Duże nakłady czasowe. Pierwsza rozmowa telefoniczna z przyszłym uczniem lub jego rodzicami trwa około 10 minut. Konsultacja i zajęcia próbne ― około godziny, zajęcia ― do 1,5 godziny, a czasem nawet 3. Samo odsłuchanie 10 rozmów dziennie, włącznie z notatkami dotyczącymi pracy menedżera, zajmowało zespołowi około dwóch godzin.
- Potrzeba dodatkowego personelu. Na przykład, nad samą analizą pracy działu konsultacji indywidualnych pracowało czterech asesorów i jeszcze jeden specjalista.
- Ryzyko przeoczenia czegoś ważnego lub przeciwnie ― analizowania rozmów niewymagających uwagi. Nie wszystkie rozmowy wymagają kontroli ― mogą być przeprowadzone bez błędów. Jednak od razu nie da się tego stwierdzić. Dlatego asesorzy musieli słuchać dialogów i analizować lekcje wybiórczo. Przez to znaczna ilość czasu była marnowana ― na kontrolę tego, co i tak było dobre. I odwrotnie, zawsze istniało prawdopodobieństwo przeoczenia przypadków wymagających interwencji.
GoITeens poszukiwało narzędzia, które skróciłoby czas kontroli i pozwoliło zautomatyzować ten proces. Takim rozwiązaniem stała się sztuczna inteligencja ― Ringostat AI Supervisor.
Jak zauważa kierownictwo GoITeens:
„Technologia SI jest bardzo interesująca i obiecująca, można znaleźć dla niej zastosowanie już teraz. Oszczędza czas pracowników, przyspiesza procesy pracy wielokrotnie i pomaga w rozwoju i ulepszaniu wszystkich działów w firmie”.
Na podstawie wyników wykorzystania Ringostat AI Supervisor przez GoITeens napisaliśmy jeszcze w kwietniu 2024 roku „Case study: sztuczna inteligencja zamiast supervisora w akademii IT dla dzieci”. Jednak od tego czasu firma zrobiła duży krok naprzód, doskonaląc system kontroli i konfigurację Ringostat AI Supervisor dla swojego projektu.
Czym jest Ringostat AI Supervisor i jakie działy GoITeens są analizowane z jego pomocą
Ringostat AI Supervisor to usługa, w ramach której sztuczna inteligencja jest konfigurowana pod konkretny biznes. Użytkownik przekazuje naszym programistom specyfikację techniczną, skrypty rozmów, wewnętrzne zasady swojej firmy itp. Lub, jeśli ich nie ma, opisuje swoje procesy i wyjaśnia, jakiej analizy potrzebuje. W rezultacie firma otrzymuje cyfrowego asystenta, który jest maksymalnie dostosowany do potrzeb biznesu i dobrze „rozumie” jego specyfikę.
GoITeens potrzebowało właśnie takich indywidualnych ustawień, ponieważ w pracy akademii jest wiele niuansów, które należy wziąć pod uwagę przy ocenie rozmów i lekcji. Przede wszystkim jest to różnorodność działów i ich scenariuszy rozmów.
- Call center przyjmuje zgłoszenia klientów, którzy dzwonią ze strony internetowej, reklamy itp. Jego zadaniem jest udzielenie wstępnej konsultacji klientowi i wystarczające zainteresowanie go, aby zapisał się na pierwszą próbną lekcję. Jeśli dzwoni osoba, która już dobrze zna GoITeens i nie potrzebuje lekcji próbnej, operator powinien przełączyć ją do menedżera sprzedaży.
- Dział konsultacji indywidualnych bardziej szczegółowo rozmawia z przyszłym uczniem i jego rodzicami podczas spotkania online. Metodyk dokładnie wypytuje o doświadczenie, preferencje, umiejętności i pomaga wybrać odpowiedni kurs, jeśli dziecko jeszcze się nie zdecydowało. Prowadzi też lekcję próbną.
- Dział sprzedaży komunikuje się z klientami telefonicznie i również oddzwania do użytkowników, którzy zostawiają zgłoszenia na stronie GoITeens. Ponadto dział sprzedaży kontaktuje się z klientami, którzy z jakiegoś powodu nie zapisali się na kursy od razu po lekcji próbnej.
- Nauczyciele prowadzą zajęcia online z uczniami przez wideo.
Scenariusze rozmów różnią się nie tylko w zależności od działu, ale także od tematu omawianego podczas dialogu. Na przykład, lekcja z przygotowania do egzaminów i projektów ma zupełnie inną strukturę niż, powiedzmy, zajęcia z projektowania. Zajęcia grupowe i indywidualne również muszą być oceniane inaczej. Dlatego AI musi rozumieć, którego działu i na jaki temat należy przeanalizować dialog. Zgodnie z tym będzie wykorzystywać odpowiednie kryteria oceny.
W jaki sposób odbywa się ocena
Jedną z zalet Ringostat AI Supervisor jest to, że analizuje 100% dialogów z klientami. Dotyczy to nie tylko rozmów telefonicznych call center i działu sprzedaży, ale także konsultacji i lekcji odbywających się podczas spotkań online w Google Meet. W tym celu filmy wideo przesłane na Google Drive są ładowane do Ringostat ― o tym szczegółowo będzie dalej, a następnie analizuje je sztuczna inteligencja. Poniżej skupimy się na tym, jak przeprowadzana jest ocena procesu nauczania.
Transkrypcja dialogów
Sztuczna inteligencja przekształca wszystkie rozmowy i spotkania wideo w tekst. Dzięki temu nie trzeba ich słuchać ani oglądać w całości. Wystarczy przebiec oczami transkrypcję tekstową zawartą w analizie dialogu. Wygodne jest również to, że specjalista kontrolujący pracę działu może wyszukać potrzebne słowo w dialogu i przeczytać repliki, w których ono występuje. Na przykład, to się przydaje, gdy trzeba sprawdzić, jak nauczyciel sprawdził pracę domową. Wystarczy wpisać to wyrażenie w wyszukiwarkę i przeczytać odpowiedni fragment dialogu.
Jeśli kliknąć na tekst konkretnej repliki, audio dialogu zacznie się odtwarzać od momentu, gdy ona brzmi. Może to pomóc na przykład zrozumieć, jakim tonem wypowiedział ją nauczyciel.
Ogólna ocena lekcji i zwięzły sens rozmowy
W GoITeens istnieje przemyślany system oceny rozmów, w zależności od tego, który dział komunikuje się z uczniem i na jaki temat. W szczególności składa się on z kryteriów, które powinna zawierać rozmowa ― pewne działania i repliki pracownika. Na przykład, prowadzenie lekcji na temat tworzenia aplikacji jest oceniane według prawie 20 kryteriów.
Analiza zawiera również zwięzłe podsumowanie, które można przeczytać, zamiast analizować tekst dialogu w całości. Można się z niego dowiedzieć:
- czemu była poświęcona lekcja;
- co omawiano podczas niej;
- co nauczyciel zrobił prawidłowo podczas lekcji;
- jakie momenty można by ulepszyć.
Ocena przestrzegania struktury lekcji
AI „zna” strukturę idealnej lekcji i łatwo zauważa, gdy nauczyciel od niej odbiega. Jeśli specjalista wykonał wszystkie obowiązkowe działania na każdym etapie lekcji, otrzyma za nią 5 punktów. Na przykład, AI sprawdza, czy nauczyciel:
- najpierw zaktualizował wiedzę i sprawdził pracę domową;
- zrobił wstęp do lekcji i na końcu podsumował ją;
- omówił pracę domową i zrobił instruktaż dotyczący niej;
- zrobił ciekawą zapowiedź następnej lekcji, aby uczeń chciał ją odwiedzić;
- przestrzegał kolejności elementów lekcji, która jest zatwierdzona w akademii online.
Przestrzeganie kryteriów komunikacji
Komunikacja z dziećmi wymaga szczególnych umiejętności i zdolności zainteresowania, przy jednoczesnym utrzymywaniu koncentracji ucznia na przedmiocie lekcji. Dlatego GoITeens przywiązuje dużą wagę do tego, jak nauczyciel zachowuje się podczas prowadzenia nauczania. W szczególności sztuczna inteligencja wystawia ocenę za:
- nastawienie nauczyciela do lekcji;
- nadawanie tonu lekcji;
- organizację i dyscyplinę;
- indywidualne podejście do uczniów;
- jakość wyjaśnienia;
- znajomość języka ― nauczyciel nie powinien długo dobierać słów, używać żargonu, rusycyzmów itp.
Ponadto nauczyciel powinien zwracać się do każdego ucznia po imieniu podczas lekcji, szczegółowo odpowiadać na pytania, angażować studentów w dyskusję poprzez pytania otwarte. Nauczyciel powinien również chwalić uczniów, gdy jest to stosowne, przy czym pochwała powinna być spersonalizowana i różnorodna.
Jeśli specjalista nie przestrzega któregoś z kryteriów, nie otrzymuje punktu. Lista błędów tłumacza jest zbierana w osobnym bloku. Dzięki temu zespół kontrolujący rozmowy może natychmiast zrozumieć, co poszło nie tak podczas lekcji.
Rozszerzona ocena wiedzy, przygotowania zawodowego nauczyciela i innych kryteriów towarzyszących
Lekcja nie tylko otrzymuje ocenę zgodnie z kryteriami, które wymieniliśmy powyżej. W analizie rozmowy znajduje się również szczegółowy opis pracy nauczyciela, opisany przez pryzmat konkretnego kryterium.
- Wiedza i doświadczenie. Sztuczna inteligencja opisuje, jak bardzo nauczyciel znał się na temacie, który wykładał podczas lekcji. Czy jego wyjaśnienia były zrozumiałe i czy odpowiadały standardom branży.
- Aktualność i metody nauczania: Czy przykłady były aktualne i praktyczne, czy treść odpowiadała współczesnym praktykom. Jak był zorganizowany proces nauczania i czy nauczyciel przygotował wcześniej materiały dydaktyczne.
- Dynamika i interaktywność lekcji. Ważne jest, aby nauka była fascynująca i uczeń nie zdążył się znudzić. Dlatego AI ocenia, jak bardzo była zachowana równowaga między teorią a praktyką podczas lekcji. Analiza uwzględnia również, jak aktywnie nauczyciel utrzymywał interakcję z dziećmi.
- Przygotowanie zawodowe i zachowanie nauczyciela. W wynikach analizy można przeczytać, jak dobrze wykładowca był przygotowany do lekcji i czy podawał praktyczne przykłady. Osobno oceniane jest również, czy nie było oznak nieprofesjonalnego zachowania. Na przykład, jeśli nauczyciel nagle odwrócił uwagę na własne sprawy podczas lekcji.
Szczegóły i detale lekcji
Sztuczna inteligencja nie tylko wystawia ocenę i zwięzły opis sytuacji, ale także przedstawia uzasadnienie swojego wniosku. Ringostat AI Supervisor wykrywa na przykład, w którym fragmencie spotkania online nauczyciel podsumowuje lekcję. Dla każdego etapu podany jest timestamp ― czyli czas, kiedy rozpoczął się w danym dialogu. Poniżej podane jest wyjaśnienie, co dokładnie działo się na konkretnym etapie. Jeśli kliknąć na timestamp, audio rozmowy automatycznie przewinie się do potrzebnego fragmentu rozmowy. Jest to bardzo wygodne, jeśli supervisor widzi, że nauczyciel ma niską ocenę za pewien etap i chce przeanalizować właśnie ten fragment.
Asesorzy GoITeens docenili również to, że sztuczna inteligencja pokazuje, którzy uczniowie są obecni na lekcji i ile razy nauczyciel zwracał się do nich.
Jak zespół GoITeens ocenia jakość rozmów i jak ten proces z czasem się uprościł
Aby otrzymać taką analizę, specjaliści GoITeens odpowiedzialni za kontrolę najpierw wybierają potrzebne dialogi. Na przykład, pod uwagę brane są rozmowy, które otrzymały niską ocenę. Albo określona liczba dialogów konkretnego działu, który trzeba rutynowo skontrolować.
Wcześniej do analizy każdego dialogu trzeba było skopiować link do potrzebnej lekcji czy konsultacji i wkleić go w interfejs do analizy. Tam również trzeba było podawać informacje o lekcji i wiele dodatkowych parametrów. Wymagało to sporo czasu, dlatego nasi programiści stworzyli osobny interfejs, który pozwala masowo analizować dialogi. Menedżerowi GoITeens teraz wystarczy:
- zebrać w jednej tabeli dialogi wymagające kontroli;
- wskazać tematy lekcji, scenariusz, dane wykładowców czy metodyków ― aby AI zastosował potrzebne kryteria;
- załadować tabelę do interfejsu do analizy.
„Na wyjściu” akademia online otrzymuje wyniki analizy wszystkich potrzebnych rozmów bez zbędnych działań.
GoITeens otrzymało również dostęp do narzędzia, które pozwala samodzielnie edytować kryteria oceny rozmów. Na przykład, można tu opisać, jakie działania powinien wykonać nauczyciel czy metodyk na każdym etapie dialogu lub lekcji na określony temat. Można też załadować skrypt rozmowy i określić, jaka może być ocena za każdy punkt. W ten sposób akademia online nie musi za każdym razem zwracać się do wsparcia technicznego, jeśli potrzebne jest wprowadzenie poprawek w istniejących ustawieniach ― gdy pojawił się nowy kurs. Wszystko to można robić samodzielnie.
Przykład interfejsu dla ustawień Ringostat AI Supervisor
Jak dane sztucznej inteligencji pomagają udoskonalić proces nauczania i udzielania konsultacji
Dla firmy niezwykle ważne jest, aby rozmowy każdego działu analizowali specjaliści, którzy dobrze znają się właśnie na procesach tego departamentu. Dlatego pracę nauczycieli oceniają jedni asesorzy, metodyków z konsultacji indywidualnych ― inni itp. Specjaliści ds. kontroli jakości muszą miesięcznie analizować około 300 konsultacji i około 650 lekcji. Jeden asesor analizuje 100-140 zajęć. I to nie mówiąc już o tym, że kontrolowane są również połączenia call center i działu sprzedaży. Pod tym względem sztuczna inteligencja znacznie upraszcza pracę. Ponieważ wystawia ocenę lub wskazuje, w których rozmowach czy lekcjach są problematyczne momenty.
Dzięki temu asesor może nie poświęcać dużo czasu tym rozmowom czy etapom, z którymi wszystko jest w porządku, i skupić się tylko na problemach. Gdy specjalista zauważa i analizuje błędy pracownika, składa opinię dla team leadera działu. W ten sposób pracownicy akademii mogą poprawić swoje umiejętności i podnieść profesjonalizm. Jeśli metodyk z konsultacji indywidualnej czy nauczyciel nie zgadza się z feedbackiem, może złożyć odwołanie. W takim przypadku specjalista jeszcze raz analizuje rozmowę, zwracając uwagę na zastrzeżenia pracownika.
Asesorzy GoITeens spotykają się też co tydzień, aby omówić momenty, które zauważyli podczas analizy, i sposoby udoskonalenia pracy. W ten sposób przedstawiciele różnych działów mogą dzielić się udanymi praktykami i poprawiać pracę akademii online jako całości.
Opinia klienta: jak Ringostat AI Supervisor pozwolił zaoszczędzić czas i zmniejszyć zespół zajmujący się kontrolą
Na przykład przygotowanie 95 filmów z konsultacji, które trwają godzinę, zajmuje mi 3 godziny. Również 3 godziny potrzebuje sztuczna inteligencja, aby przeanalizować te nagrania. Wcześniej bez SI ta praca zajmowała cały miesiąc. Do tego używamy teraz modelu językowego Claude Sonnet, który działa jeszcze szybciej. Jeśli porównać z tym, jak pracowaliśmy przed AI ― to na analizę tylko jednego filmu wcześniej szło ponad 30 minut».
