Отчетные результаты теста

 

Огромные усилия,знания и время затрачиваются на разработку и проведение тестов на удобство применения, а также анализ и отчет по полученным результа­там. Руководители и проектировщики проекта считают, что необходимо заниматься удобством применения, чтобы улучшить продукт.

В таблице 7.6 перечислены все основные темы, которые должны рассматриваться в любом тесте на удобство применения.

 

Таблица 7.6 – Отчетная карточка по тесту на удобство применения

Темы теста на удобство применения	Вопросы по проведению тестирования
1 Спонсор теста/ исполнитель теста	Кто спонсирует тест на удобство применения? Кто действительно проводит тест?
2 Цели и задачи теста	Описываются ли задачи теста? Описываются ли цели теста? Было ли дано операционное определение задачам (можно ли их измерить)?
3 Проект теста и сами процедуры	Пригоден ли проект теста, учитывая заданные цели и задачи? Следует ли тест действующей методологии разработки экспериментов? Каковы процедуры теста (введение, тренинг, задачи, анкеты, опросы и т.д.)?
4 Программная и аппаратная платформа	Действительно ли тестируются требуемые продукты? Действительно ли используется соответствующая аппаратная платформа? Действительно ли компьютеры сконфигурированы аналогичным образом (скорость процессора, память, хранение и т.д.)?
5 Участники теста	Кто участвует в тесте? Каковы их демографические данные (возраст, пол и т.д.)? Каков уровень их навыков в работе с компьютером? Какие приложения и операционные системы они использовали? Где и каким образом были выбраны участники теста? Какие методы и критерии использовались для подразде­ления участников по категориям (начинающие, опытные и т.д.)? Как участники теста были разделены по группам? Оплачивали ли участникам теста их участие?

 

Продолжение таблицы 7.6

Темы теста на удобство применения	Вопросы по проведению тестирования
6 Задачи	Каковы задачи теста? Являются ли сценарии задач неясными или, наоборот, подсказывающими пользователям их действия? Используются ли в тесте актуальные данные или данные тестов? Соответствуют ли задачи целям теста? Выполняются ли задачи всеми участниками теста? Выполняются ли задачи на всех компьютерах? Не сориентированы ли задачи под определенный ПП?
7 Поддержка и помощь в тестировании	Прошли ли участники теста предварительный тренинг? Какой? Оказывают ли участникам помощь во время теста? Кто ее оказывает? Можно ли располагать технической поддержкой (аппаратной и программной) во время теста?
8 Оценки, проводимые во время теста	Что оценивается во время теста (качество работы, предпочтения, наблюдения)? Соответствуют ли оценки, полученные во время теста, целям и задачам теста? Каким образом собираются оценки (самооценки, хронометраж, видеозаписи и т.д.)?
9 Критерии теста	Каковы критерии каждой оценки? Что определяет успешность выполнения задач? Что определяет помощь? Что определяет ошибку пользователя?

 

Продолжение таблицы 7.6

Темы теста на удобство применения	Вопросы по проведению тестирования
10 Анализы теста, результаты и выводы	Доступны ли оригинальные данные теста? Определен и описан ли анализ теста? Пригоден и достоверен ли статистический анализ по результатам теста? Существенны ли статистические результаты теста? Основаны ли выводы по тесту на его результатах? Можно ли сделать общие выводы из проекта теста и его результатов? Соответствуют ли выводы теста целям и задачам теста?
11 Надежность против достоверности	Надежен ли тест на удобство применения (можно ли повторить результаты)? Достоверен ли тест на удобство применения (действительно ли тест и результаты дают оценку тому, что должно быть оценено)? Какова реакция со стороны на проект теста и его результаты (в отношении надежности и достоверности)?
12 Этическая сторона проведения теста	Процедуре проведения теста (формы согласия, видеозаписи, наблюдатели и т.д.)? Разрешено ли пользователям по желанию прекратить участие втесте? Подталкивают ли пользователей к использованию определенных функций или выполнению определенных задач? Советуют ли пользователям не торопиться или выполнять задачи как можно быстрее?

 

Контрольные вопросы

7.1 Что понимают под понятием «удобство применения» ПП?

7.2 Основные причины необходимости проведения тестирования на удобство применения.

7.2 Какие существуют способы проведения тестирования?

7.4 Какие типы методов оценки на удобство применения бывают?

7.5 Какие факторы определяют удобство применения интерфейса?

7.6 Какие цели разработки удобства применения интерфейса могут быть?

7.7 Задачи разработки удобства применения интерфейса.

7.8 Какие преимущества дает тестирования на удобство применения?

7.9 Почему привлекают когнитивных психологов и специалистов по удобству применения ПП?

7.10 Что определяет успех ПП?

7.11 Что включают отчетные результаты тестирования?