Сколько пользователей нужно для хорошего юзабилити теста?

Наши клиенты часто спрашивают, сколько пользователей требуется для того, чтобы юзабилити тестирование было репрезентативным. В этом посте мы попробуем окончательно разобраться с этим вопросом, а также развенчать всевозможные мифы вокруг оптимального количества респондентов.

Изначально крайне важно понимать, что юзабилити тесты преимущественно представляют из себя исследования качественного характера. Безусловно, в аудите юзабилити сайта или приложения много данных оцифровуется, о чем мы говорили в наших постах о юзабилити метриках, однако, в основном речь все же идет о поведении аудитории, поиске непонятных элементов, проверке работоспособности конкретных модулей, выяснении причин отказов и т.д. Все это – качественный вид анализа, который требует соответствующей методологии. В этом контексте отметим, что в отличии от распространенных A/B тестов, где репрезентативность результатов прямо коррелирует с количеством тестируемых пользователей, показательность юзабилити-тестов зависит от правильно сформулированных заданий, грамотного сценария и подобранной аудитории.

Существует мнение, что для юзабилити теста достаточно 5 человек. Якуб Нильсен предполагает, что 5 человек смогут обнаружить 85% с тестируемым интерфейсом. В юзабилити тестах действует закон убывающей отдачи: каждый последующей тестер наверняка обнаружит какие-то новые проблемы, но вместе с тем повторит что-то из уже найденного прошлыми пользователями, потому его уникальный вклад в общий пул обнаруженных проблем становится меньше. Уже на 15-м пользователе общее количество найденных проблем будет стремиться к 100%. Специалист по UX-исследованиям Лаура Фаулькнер провела эксперимент, где 60 пользователей учавствовали в одном и том же тестировании юзабилити. После этого случайным образом выбиралось 5 респондентов из общей массы, чтобы оценить риски использования только 5 тестеров и преимущества их увеличения в рамках одного теста. Некоторые комбинации выборки из 5 респондентов обнаруживали 99% всех проблем тестируемого объекта, некоторые – 55%. С 10 пользователями нижний порог обнаружения проблем увеличился до 80%, с 20 – до 95%.

Совместив мнения выше с нашим опытом проведения юабилити исследований, можно сделать вывод, что оптимальным количеством тестеров для 1 теста является 5-10 респондентов, что мы обычно и рекомендуем нашим клиентам. Дизайн интерфейсов – процесс итеративный, что подразумевает постоянные изменения и обновления. Иногда лучше провести 2 отдельных теста с 5 респондентами каждый, чем 1 на 10 респондентов, при этом второй тест лучше делать после устранения обнаруженных первой партией тестеров проблем. Если ваша целевая аудитория состоит из нескольких групп, можно тестировать отдельно каждую группу и формировать уникальные паттерны их поведения.

Подведем итоги: несмотря на разные точки зрения, большинство специалистов по UX-исследованиям сходится во мнении, что 5-10 респондентов будет достаточно для проведения качественного тестирования юзабилити. Понятное дело, что чем больше респондентов – тем полнее будет представление об удобстве сайта для конечных пользователей. Однако, не стоит забывать, что иногда лучше провести несколько мелких тестов или разделить целевую на группу для отдельных тестов, чтобы быстрее обновлять сво продукт и делать его лучше для клиентов.