Секреты удержания в EdTech

Первое эссе посвящено метрике удержания (retention), которая показывает, сколько студентов продолжают пользоваться продуктом спустя определённое время после регистрации или другого ключевого взаимодействия. Высокий уровень retention свидетельствует о том, что пользователи находят продукт полезным, вовлекаются в процесс обучения и продолжают его использовать для достижения своих образовательных целей. Работа с retention крайне важна в EdTech-бизнесе, поскольку она напрямую влияет на доходы компании. Для более глубокого понимания этой метрики я рекомендую ознакомиться с материалами GoPractice.

Анализ удержания на разных временных интервалах помогает локализовать проблемные зоны продукта, в которых компания теряет клиентов. Устранение этих зон – одна из ключевых задач менеджера по продукту. Этот процесс включает поиск причин низкого retention, проверку гипотез продуктовых решений для устранения этих причин и, наконец, реализацию продуктового решения на основе подтверждённой гипотезы.

Но при чем здесь психометрика и что это вообще такое? Психометрика – это наука о педагогических и психологических измерениях. За последние полтора столетия учёные разработали методы для измерения знаний, способностей, склонностей и других характеристик человека. Несмотря на популярное мнение о психометрике как науке о тестах, она охватывает более широкий спектр – исследование скрытых от наблюдения характеристик человека. Например, мы можем легко определить, кто из двух людей выше (рост – это наблюдаемая характеристика), но не можем сказать, кто из них лучше знает испанский язык или обладает большими математическими способностями (знания и способности – это ненаблюдаемые характеристики). Психометрика основывается на систематическом сборе данных (например, ответов на тестовые задания или вопросы анкеты, а также логов поведения в учебных тренажерах) и обработке этих данных с помощью специальных статистических инструментов. В результате невидимые характеристики человека обретают свою меру, которая становится основой для различных организационных решений – от выдачи водительского удостоверения до приёма в университет.

Теперь о связи психометрики и retention в образовательных продуктах. За прошедшие четыре года я неоднократно убеждался, насколько retention связан с одной из психометрических метрик – успеваемостью студента. Успеваемость как метрика отражает, насколько успешно студент справляется с учебной программой. Студент считается успешным, если он чаще решает задания правильно и делает это быстрее. Однако важно учитывать, что успеваемость должна рассчитываться для каждого учебного продукта отдельно, принимая во внимание такие особенности учебного процесса, как количество попыток, использование подсказок и другие элементы. Например, задача, решённая с первой попытки, и задача, решённая с пятой, – это разные ситуации, которые необходимо учитывать по-разному. Другими словами, успеваемость как метрика должна отражать взаимодействие студента с учебным продуктом.

Как связана успеваемость с retention? Если успеваемость рассчитана корректно, мой опыт показывает, что примерно четверть случаев отсева студентов можно объяснить уровнем их успеваемости (в этом случае корреляция составляет 0,5). Такая корреляция указывает на то, что чем реже студент сталкивается с трудностями в обучении, тем выше его вероятность продолжить обучение. Эти данные подтверждаются в разных продуктах – как в буткемпах по программированию для взрослых, так и на курсах по подготовке к экзаменам для детей. Это означает, что работа над повышением успеваемости студентов за счёт оптимизации контента и внедрения поддерживающих элементов может помочь сохранить до четверти студентов в продукте.

Интересен также динамический аспект связи между удержанием и успеваемостью. В первые дни (в коротких продуктах) или недели (в длинных продуктах) обучения коэффициент корреляции между отвалом и успеваемостью достигает 0,7, что свидетельствует о том, что на начальном этапе учебные трудности играют решающую роль в решении студента остаться в курсе (до половины удержания объясняется только успеваемостью). Затем практически на протяжении всего обучения корреляция стабилизируется на уровне 0,5, но ближе к завершению программы связь ослабевает до незначительных значений 0,05-0,1. Это связано с тем, что на поздних этапах на первый план выходят другие факторы, такие как мотивация завершить обучение и снижение восприимчивости к трудностям в ожидании скорого успеха.

В Яндекс Практикуме и TripleTen мне удалось выделить и валидировать четыре сегмента студентов по их успеваемости: сегмент фрустрированных учебными трудностями студентов, субоптимальный и оптимальный сегменты, и сегмент скучающих студентов. Если посмотреть на retention этих сегментов, то можно увидеть, что фрустрированные и скучающие студенты очень быстро принимают решение бросить обучение. Это связано с тем, что содержание и дизайн учебной программы не подходят этим студентам: первым слишком сложно, а вторым настолько легко, что становится скучно. Соответственно, первым требуются курсы-пререквизиты, а вторым – более продвинутые курсы (хотя смена трека в целом может быть решением для обеих групп). Дольше всех продолжают учиться и чаще успешно завершают обучение студенты оптимального сегмента. В этом сегменте доля завершивших в 3-5 раз превышает долю завершивших из субоптимального сегмента. При этом численность студентов в субоптимальном сегменте в 2-3 раза выше, чем в оптимальном сегменте. Ключевая продуктовая задача заключается в том, как с помощью различных механизмов перевести студентов из субоптимального в оптимальный сегмент, потому что именно оптимальный сегмент приводит к максимальному удержанию. Важно отметить, что референсные значения успеваемости, разделяющие сегменты, варьируются от продукта к продукту, поскольку успеваемость – это продуктоспецифичная метрика.

Есть ещё один важный нюанс о связи успеваемости и retention: если на начальном этапе обучения важна текущая успеваемость, то в середине курса важно отслеживать её динамику. В группе риска оказываются студенты с ухудшающейся успеваемостью, особенно те, кто переходит из оптимального в субоптимальный сегмент. Если студент демонстрирует снижение успеваемости, он с высокой вероятностью примет решение прекратить обучение.

Студенты по-разному воспринимают свои успехи в обучении. В исследованиях, проведённых на данных курсов Вышки на Coursera в 2015-2017 годах, я обнаружил значительные различия в восприятии своей успеваемости и отношении к учебным трудностям. Например, некоторые студенты с низкой успеваемостью, которым требовалось 5-7 попыток для сдачи теста, считали тему несложной. В то же время другие студенты, столкнувшись с неудачей на одной попытке, воспринимали это как обескураживающий опыт и считали тему непосильной. Это показывает, что при опросе студентов, прекративших обучение, мы часто получаем ответы, связанные с учебными трудностями. Однако такие ответы могут не отражать реальную картину: студенты могут указывать на трудности там, где их не было, и наоборот, не упоминать о них, когда они действительно присутствовали. Только психометрический анализ, включающий расчёт успеваемости и дальнейшее исследование этой метрики, может дать объективное представление о происходящем.

Ещё один важный аспект заключается в том, что студенты по-разному понимают слово "трудность". Например, в TripleTen мы проанализировали случаи, когда причиной отсева студенты называли учебные трудности. В ходе исследования я обнаружил группу студентов с высокой успеваемостью, что свидетельствовало об отсутствии у них реальных учебных проблем. Однако эти студенты имели специфический учебный паттерн – они занимались только один раз в неделю, по субботам, ближе к ночи. В таких ситуациях возрастала именно нагрузка и хотя реальных учебных трудностей не было, что мы выяснили по метрике успеваемости, в анкетах студенты указывали: "мне было трудно". Таким образом, только психометрический анализ может различить реальные трудности, связанные с процессом обучения, и те ощущения “трудностей”, которые возникают из-за неправильного распределения нагрузки. Без такого анализа мы рискуем сделать неверные продуктовые выводы, где вместо корректировки контента нужно было бы просто внедрить механизмы равномерного распределения нагрузки, такие как напоминания или учебный календарь.

О чём нам всё это говорит? Хотя основное правило продуктового менеджера при поиске причин снижения retention – "общайтесь с вашими клиентами", обратная связь от пользователей часто бывает искажённой и неполной. В EdTech многое остаётся скрытым от прямого наблюдения и даже от самих студентов. Психометрика позволяет выявить эти скрытые проблемы задолго до того, как они становятся очевидными, и валидировать обратную связь, выявляя расхождения между заявленными причинами и реальными. Она также помогает разрабатывать поддерживающие механизмы и находить точки их эффективного применения в продукте. Таким образом, психометрика становится важным инструментом для менеджеров по продукту в образовательных проектах, открывая новые возможности для повышения качества образовательных услуг и увеличения удержания студентов.

В следующих эссе я расскажу о связи психометрики с другими аспектами образовательных продуктов. Если вам нужна моя консультация по этой теме, пишите в телеграм. Работа с образовательными проектами помогает мне собирать материал для новой книги.

Дмитрий Аббакумов

3 февраля 2025 года