Меряем юзабилити правильно: коэффициент выполнения

Маркетологи и веб-специалисты регулярно говорят о необходимости делать сайт удобным для пользователей и непрерывно работать над его юзабилити. Все это, безусловно, здорово, но как не быть голословным и подкреплять собственные гипотезы фактами и конкретными показателями? Для этого существует комплексный набор специальных метрик в юзабилити-тестах.

коэффициент выполнения

Продолжая серию публикаций о метриках юзабилити, сегодня мы поговорим о фундаментальном показателе —  коэффициенте выполнения (completion rate). Делать его замеры можно на любом этапе работы сайта, в том числе и на стадии бета-релизов. Рассчитывается он довольно просто — как процент пользователей, который сумел справиться с конкретным заданием из общего потока тестеров (например, 12-ти из 15-ти респондентов удалось пригласить друзей через социальные сети для регистрации на сайте нового сервиса микрокредитования — значит, показатель выполнения составляет 0.8 или 80%). Для того, чтобы значение было адекватным крайне важно в сценарии теста четко прописывать все критерии «успешности» во избежание возникания двояких трактовок выполнения/невыполнения задания. Кроме того, следует брать во внимание размер выборки и учитывать вероятную статистическую погрешность. Давайте остановимся на этом пункте немного подробнее, даже если понятие распределений и доверительных интералов сродни дремучему лесу для вас.

Говоря простым языком, математика не позволяет сделать однозначный вывод, что, скажем, если при тестировании вашего сайта 7 из 10 человек справились с заданием (коэффициент выполнения = 70%), а на сайте конкурента целых 9 из 10 смогли выполнить аналогичную задачу (90%) — то ваш сайт якобы хуже, а у конкурента все в шоколаде. С некоторой долей вероятности это действительно так, но показатели могут быть искажены погрешностью (например, из-за попадания в пул тестеровщиков одного-двух неудачных или какого-то другого фактора). Естесственно, чем больше выборка (больше тестеров), тем результаты становятся более репрезентативными — уверенность в их правдивости стремится к 100%. Для тех, кто любит хардкор, рекомендуем познакомиться с научными публикациями Джеффа Сауро об измерении юзабилити.

Если у вас нет возможности сделать тест на большом количестве респондентов и получить широкий доверительный интервал, для сбора инсайтов о доступности той или иной функции сайта, попробуйте разбить тестирование на бОльшее количество мелких заданий и мерять коэффициент выполнения для микроконверсий, а не только макроконверсии. Кроме того, не забывайте анализировать видео и голосовые комментарии респондентов для целостного понимания происходящего во время тестирования. Для коэффициента выполнения важным моментом также является контекст задания. Если пользователи не могут воспользоваться новой формой поиска товаров, но все-равно находят нужный им через страницы категорий — это не так страшно, как если они не могут оформить заказ и речь идет о недополучении реальных денег. Приоритезируйте фиксы багов и модернизацию своего сайта в соответствии с обнаруженными в тестах проблемах и степени их критичности.

Подведем итоги: коэффициент выполнения — фундаментальная метрика в юзабилити-тестах. Тем не менее, очень важно грамотно походить к аналитике, поскольку нужно учитывать репрезентативность выборки тестеровщиков. Не забывайте также брать во внимание контекст заданий и в первую очередь работать над устранением проблем, которые связаны с потерей потенциальных доходов.