ГОСТ Р ИСО/МЭК 25066-2019 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке

ГОСТ Р ИСО/МЭК 25066-2019

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системная и программная инженерия

ТРЕБОВАНИЯ И ОЦЕНКА КАЧЕСТВА СИСТЕМ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ (SQuaRE)

Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке

Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Common Industry Format (CIF) for Usability. Evaluation Report

ОКС 35.080

Дата введения 2021-01-01

Предисловие

1 ПОДГОТОВЛЕН Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 16 октября 2019 г. N 1007-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25066:2016* "Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке" (ISO/IEC 25066:2016 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for Usability - Evaluation Report", IDT).

________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

ИСО/МЭК 25066 разработан подкомитетом SC 4 "Эргономика взаимодействия человека и системы" технического комитета ISO/TC 159 "Эргономика" и подкомитетом SC 7 "Системная и программная инженерия" совместного технического комитета ISO/IEC JTC 1 "Информационные технологии"

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за идентификацию подобных патентных прав

7 Дополнительные сноски в тексте стандарта, выделенные курсивом, приведены для пояснения текста оригинала

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Человеко-ориентированный подход к проектированию, описанный в ИСО 9241-210, хорошо известен и направлен на разработку систем, удобных для использования. Удобство использования может быть достигнуто путем применения разработки, ориентированной на человека, на протяжении всего жизненного цикла. Для того чтобы применять человеко-ориентированный подход, необходимо определить и передать все соответствующие виды информации, связанные с удобством использования (информационные элементы). Определение и передача соответствующих видов информации, связанной с удобством использования, позволяют разрабатывать и проводить испытание удобства использования системы.

Настоящий стандарт определяет основу и согласованную терминологию для составления отчетности об оценке интерактивной системы. Он предназначен для того, чтобы помочь специалистам и разработчикам по человеко-ориентированному проектированию в документировании и передаче информации, связанной с удобством использования, как части жизненного цикла разработки системы.

Общий отраслевой формат (CIF) для семейства международных стандартов по удобству использования описан в ИСО/МЭК ТО 25060, который является частью серии стандартов SQuaRE "Требования и оценка качества систем и программного обеспечения", касающихся требований к системам и программному обеспечению, а также оценке их качества (ИСО/МЭК 25000, ИСО/МЭК 25001, ИСО/МЭК 25021, ИСО/МЭК 25023, ИСО/МЭК 25040, ИСО/МЭК 25041 и ИСО/МЭК 25051).

В семействе стандартов CIF используются определения, совместимые с определениями, которые приведены в стандартах серии ИСО 9241 "Эргономика взаимодействия человека и системы", поскольку эта терминология обычно используется в данной области. В некоторых случаях указанные определения отличаются от определений по ИСО/МЭК 25000.

Стандарты CIF опубликованы или планируются к опубликованию и включают в себя следующие информационные элементы:

- общий отраслевой формат (CIF) отчетов о тестировании удобства использования (ИСО/МЭК 25062);

Примечание - ИСО/МЭК 25062 содержит более подробное описание содержимого отчета о наблюдении за пользователями для измерения их производительности.

- контекст описания использования (ИСО/МЭК 25063);

- отчет о потребностях пользователя (ИСО/МЭК 25064);

- спецификацию требований пользователя (ИСО/МЭК 25065);

- отчет об оценке (ИСО/МЭК 25066);

- спецификацию взаимодействия с пользователем (планируется);

- спецификацию пользовательского интерфейса (планируется);

- отчет о полевых данных (планируется).

Стандарты CIF являются частью раздела "Расширение" серии международных стандартов SQuaRE ИСО/МЭК 25000. В таблице 1 представлен обзор структуры и содержания серии международных стандартов SQuaRE.

Таблица 1 - Организация серии международных стандартов SQuaRE

Стандарты, выделенные жирным шрифтом, представляют собой результаты процесса CIF.

Рисунок 1 - Связь документов CIF с деятельностью по человеко-ориентированному проектированию по ИСО 9241-210 и процессами жизненного цикла системы по ИСО/МЭК 15288

На рисунке 1 показана взаимосвязь информационных элементов с деятельностью по человеко-ориентированному проектированию, описанной в ИСО 9241-210, а также соответствующими процессами жизненного цикла системы, определенными в ИСО/МЭК 15288.

_______________

Заменен на ISO/IEC/IEEE 15288:2015.

Пояснения, представленные ниже, служат альтернативным описанием рисунка.

Действия на рисунке изображены в виде набора пересекающихся кругов. Пересечение кругов показывает, что действия не являются отдельными, а скорее пересекаются во времени и по объему, и результат каждого действия обеспечивает участие одного или нескольких других действий. Поскольку каждая разработка, ориентированная на человека, может предоставить входные данные для другого вида деятельности, то не подразумевается наличие какой-либо отправной точки, конечной точки или линейного процесса.

Разработка, ориентированная на человека, состоит из четырех взаимосвязанных действий, представленных в виде пересекающихся кругов на диаграмме, где потребности пользователя находятся в центре.

Первое действие включает в себя контекст использования. Разработка, ориентированная на человека, зависит от потребностей пользователя, которые изначально определяются во время анализа контекста использования. Потребности пользователя документируются в Отчете о потребностях пользователя (ИСО/МЭК 25064), являющимся промежуточным и связующим звеном Контекст описания использования (ИСО/МЭК 25063), которое содержит информацию о пользователях, их задачах, организационной и физической среде и требованиях пользователя. Эти элементы разрабатываются во время процесса определения потребностей и требований заинтересованных сторон, описанного в ИСО/МЭК 15288.

Второе действие включает в себя полученные требования. Спецификация требований пользователя (ИСО/МЭК 25065) обеспечивает основу для разработки и оценки интерактивных систем для удовлетворения потребностей пользователей. Требования пользователей разрабатываются в сочетании с общей спецификацией требований интерактивной системы.

Третье действие включает в себя разработанные решения. Деятельность "Представить проектное решение" фокусируется на разработке взаимодействия с пользователем, отвечающего требованиям пользователей. Эта деятельность выполняется во время процессов архитектурного проектирования, реализации и интеграции, описанных в ИСО/МЭК 15288, и создает информационные элементы "Спецификация взаимодействия с пользователем" и "Спецификация пользовательского интерфейса".

Четвертое действие включает в себя результаты оценки. Деятельность "Оценка" начинается на самых ранних этапах проекта и оценивает концепцию разработки, чтобы лучше понять потребности пользователей. Проектные решения могут оцениваться многократно, по мере разработки интерактивной системы, и создавать различные типы отчетов об оценке и данных об удобстве использования, таких как данные, описанные в ИСО/МЭК 25062. Эти оценки могут поддерживать процесс верификации по ИСО/МЭК 15288, который подтверждает, что система соответствует требованиям заинтересованных сторон.

1 Область применения

В настоящем стандарте определен Общий отраслевой формат (CIF) отчетов об оценке удобства использования. Он предоставляет классификацию подходов к оценке и спецификации для элементов содержимого, которые должны быть включены в отчет об оценке на основе выбранного(ых) подхода(ов) к оценке. В стандарте также определены предполагаемые пользователи отчетов об оценке удобства использования, а также ситуации, в которых может применяться отчет об оценке удобства использования.

В настоящем стандарте отчеты об оценке удобства использования применимы к программным и аппаратным системам, продуктам или услугам, используемым для определенных задач (исключая общие продукты, такие как экран дисплея или клавиатура). Элементы содержимого предназначены для использования в качестве части документации системного уровня, являющейся результатом процессов разработки, описанных в стандартах ИСО 9241-210 и ИСО/МЭК JTC 1/SC 7.

Элементы содержимого для документирования оценок могут быть интегрированы в любую модель процесса.

Примечание - В целях создания моделей процессов в ИСО/МЭК ТО 24774 и ИСО/МЭК 33020 устанавливаются требования к формату и моделям процессов соответственно. Кроме того, ИСО/МЭК 15289 определяет типы и содержание информационных элементов, разработанных и используемых в моделях процессов управления жизненным циклом системы и программного обеспечения. ИСО/МЭК 15504-5 и ИСО/МЭК 15504-6 (заменяют ИСО/МЭК 33060) определяют рабочие продукты, включая информационные элементы, для целей оценки возможностей процесса. Модели процессов и связанные с ними информационные элементы для разработки интерактивных систем, ориентированных на человека, содержатся в ISO/TR 18529 и ISO/TS 18152.

2 Соответствие требованиям

Отчет об оценке соответствует требованиям настоящего стандарта, если он содержит все необходимые элементы, представленные в разделе 5, которые применимы к типу(ам) оценки, включая:

- дополнительные необязательные элементы содержимого, которые были выбраны для оценки;

- элементы содержимого для оценки соответствия (если они используются).

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

Примечание - Семейство стандартов CIF использует определения, совместимые с определениями, приведенными в серии стандартов ИСО 9241, поскольку эта терминология обычно используется в данной области. В некоторых случаях эти определения отличаются от определений по ИСО/МЭК 25000.

3.1

3.2

3.3

3.4

_______________

Заменен на ИСО 9241-11:2018.

3.5

3.6

3.7

3.8

3.9

_______________

Заменен на ISO/IEC/IEEE 15289:2015.

3.10 оценка на основе проверки (inspection-based evaluation): Оценка, основанная на суждении одного или нескольких оценщиков, которые изучают или используют систему для выявления потенциальных проблем удобства использования (включая отклонения от установленных критериев).

Примечания

1 Оценщики, выполняющие проверки, обычно являются специалистами по удобству использования, но могут также включать в себя конечных пользователей и членов команды разработчиков.

2 Установленные критерии обычно включают в себя требования пользователей, руководящие принципы удобства использования, указанные в стандартах, соглашения о разработке, содержащиеся в инструкциях производителя и руководствах по стилям, поддерживаемые модели задач, а также стандартизированные принципы.

3 Оценка может проводиться с помощью справочных документов или без них.

4 Оценка на основе проверки является общим термином для методов, которые включают, помимо прочего, эвристическую оценку, когнитивный критический анализ, проверку стандартов, свободный критический анализ, пошаговые руководства и проверки согласованности.

5 В некоторых случаях, оценка на основе проверки может проводиться машинным оборудованием, например, когда оценивается согласованность с требуемой терминологией. В этом случае машинное оборудование является оценщиком.

3.11

_______________

Заменен на ISO/IEC/IEEE 24765:2017.

3.12

3.13

3.14

3.15

3.16

3.17 дефект удобства использования (usability defect): Свойство(а) продукта, которое(ые) приводит(ят) к несоответствию между намерениями и/или действиями пользователя, а также системными свойствами и поведением.

Примечания

1 Типичные дефекты удобства использования включают в себя следующее:

- дополнительные ненужные шаги, не требуемые как часть выполнения задачи;

- вводящую в заблуждение информацию;

- недостаточную и/или скудную информацию о пользовательском интерфейсе;

- неожиданные системные ответы;

- ограничения в навигации;

- неэффективные механизмы восстановления ошибок использования;

- физические характеристики пользовательского интерфейса, которые не подходят для физических характеристик пользователя.

2 Отклонения свойств продукта объекта оценки от установленных критериев также относятся к дефектам удобства использования.

3.18 обнаружение в отношении удобства использования (usability finding): Выявленный дефект и/или проблема удобства использования или положительное свойство, связанное с удобством использования.

3.19 проблема удобства использования (usability problem): Ситуация во время использования, которая приводит к низкой эффективности, результативности или удовлетворенности.

3.20

3.21

3.22 пользовательская оценка (user-based evaluation): Оценка, которая проводится уполномоченными пользователями, выполняющими задачи с системой, с целью выявления проблем удобства использования и/или измерения эффективности, результативности, удовлетворенности пользователей или другого пользовательского опыта.

3.23

3.24

3.25

4 Цель и типы оценок удобства использования

4.1 Цель оценки

Содержание отчета об оценке удобства использования зависит от цели оценки. Оценка может быть выполнена для проверки того, были ли реализованы определенные требования пользователя, или были ли реализованы указанные рекомендации по доступности. Оценка также может быть выполнена в качестве основы для решения о закупках. Настоящий стандарт описывает содержание отчетов об оценке удобства использования, подготовленных для широкого спектра целей оценки удобства использования.

Цель ИСО/МЭК 25062 заключается в том, чтобы облегчить включение удобства использования в процесс принятия решений о закупках программного обеспечения для оценки того, соответствует ли продукт требованиям удобства использования. Примеры решений включают в себя покупку, модернизацию и автоматизацию. ИСО/МЭК 25062 предоставляет пример отчета о наблюдениях за пользователями для измерения производительности в соответствии с приложением А настоящего стандарта. ИСО/МЭК 25062 обеспечивает общий формат для специалистов в области человеческих факторов и удобства использования в компаниях-поставщиках для предоставления возможности сообщить о методах и результатах испытания удобства использования организации-заказчику. Поскольку среда закупок является целевой аудиторией, то ИСО/МЭК 25062 более подходит по формату и необходимым элементам.

4.2 Типы оценок удобства использования

Оценка удобства использования является систематическим процессом, использующим один из подходов к оценке, описанных ниже.

Содержание отчета об оценке зависит от типа используемого подхода к оценке.

Классификация подходов к оценке, соответствующая разделу 2, включает в себя:

a) проверку для выявления дефектов удобства использования и потенциальных проблем удобства использования, в том числе:

- отклонения объекта оценки от определенных критериев, таких как требования пользователей, принципы, руководящие принципы проектирования или установленные договоренности,

- потенциальные проблемы удобства использования при попытке выполнить одну или несколько задач с целью оценки;

b) наблюдение за пользователями, в том числе:

- наблюдение за поведением пользователей для определения фактических результатов использования,

- измерение производительности и реакции пользователя (например, время, затрачиваемое на выполнение задачи, количество ошибок использования, пульс или расширение глазного зрачка);

Примечание 1 - Наблюдение за пользователями может проводиться как явное тестирование удобства использования и/или в "реальных условиях".

Примечание 2 - Проблемы удобства использования либо идентифицируются во время наблюдения, либо после последующего анализа.

c) опрос пользователей, включая:

- выявление проблем, мнений и впечатлений от пользователей (качественные опросы пользователей),

- измерение уровня удовлетворенности или восприятия пользователя, например, оценочные значения шкалы для удовлетворенности или для субъективно воспринимаемой эффективности или результативности (количественные опросы пользователей),

- другие данные, сообщенные пользователем (например, данные, собранные от человека в сочетании с данными наблюдений).

Примечание 3 - Сбор информации об участниках, такой как демографические данные, не является опросом пользователей.

Отчет об оценке удобства использования содержит информацию об одном или нескольких типах оценок, перечисленных выше.

Пример 1 - В отчете об испытании удобства использования описаны проблемы, с которыми сталкиваются пользователи при выполнении задач (тип информации: наблюдение за поведением пользователя). Количественный отчет об испытании удобства использования, основанный на ИСО/МЭК 25062, содержит меры эффективности, результативности и удовлетворенности (типы информации: измерение производительности пользователя и опрос пользователей).

При составлении отчетности о результатах, полученных при проведении оценки удобства использования, важно отделять недостатки удобства использования от их последствий. В то время как недостатки удобства использования обычно являются неприемлемыми свойствами интерактивной системы, их последствия описывают негативное влияние на пользователя, которое либо может произойти, либо было обнаружено, или зарегистрировано.

Пример 2 - Несоответствие удобства использования может заключаться в том, что в рамках веб-формы требуемые поля ввода не помечены как таковые. Последствия могут заключаться в том, что пользователи не заполняют требуемые поля ввода и поэтому неоднократно допускают ошибки в использовании.

Содержание оценки удобства использования может быть дополнительно классифицировано по типам оценки. Оценки удобства использования можно дифференцировать с точки зрения поведения оценки "на основе проверки" и "на основе пользователя". В следующих разделах представлены типы отчетов об оценке удобства использования.

4.3 Оценка соответствия объекта оценки указанным критериям

Данные отчета об оценке могут использоваться для разных целей. Одна из целей заключается в том, чтобы показать, что объект оценки соответствует определенным требованиям, называемым критериями соответствия. Оценка соответствия объекта оценки указанным критериям приведена в ИСО/МЭК 17000, как "демонстрация того, что заданные требования, касающиеся продукта, процесса, системы, человека или тела, выполнены". Оценка соответствия заключается в сравнении результатов оценки с заранее установленными критериями соответствия. Критерии соответствия могут быть определены в рамках проекта или третьей стороной (например, регулирующим органом). Для получения данных, которые могут быть использованы для оценки соответствия, требуется строгая оценка. Если используется оценка соответствия, она должна быть документирована в соответствии с требованиями настоящего стандарта.

Примечание - Формальная оценка соответствия требует определенной "схемы оценки соответствия". Формальная схема предусматривает: а) правовую защищенность; b) доказательства исполнения условий договора; с) согласованность применения и сопоставимость результатов между оценщиками и организациями. Схемы оценки соответствия осуществляются на международном, региональном, национальном и субнациональном уровнях.

Оценка соответствия может быть включена в отчет об оценке удобства использования или представлена в виде отдельного "Отчета об оценке соответствия". В таблице 2 приведены различные критерии соответствия, которые могут быть указаны в качестве основы для оценки соответствия. Для одной оценки соответствия могут существовать разные наборы указанных критериев соответствия, если базовая оценка состояла из нескольких типов оценки (например, проверка, наблюдение за пользователем и опрос пользователя).

Таблица 2 - Критерии соответствия, используемые для оценки соответствия, и соответствующие типы отчетов об оценке удобства использования

Принципы и руководящие принципы, которые могут быть использованы в качестве критериев соответствия, публикуются в различных источниках, включая серию стандартов ИСО 9241. Эти принципы и рекомендации часто применяются во всех операционных системах и средах разработки, например, "Цвет не должен использоваться в качестве единственного средства для кодирования информации" или "Обязательные поля ввода должны визуально отличаться от дополнительных полей ввода". Рекомендации, связанные с пользовательским интерфейсом, можно найти в стандартах серии ИСО 9241:

- ИСО 9241-12 "Представление информации";

- ИСО 9241-13 "Руководство пользователя";

- ИСО 9241-14 "Диалоги меню";

- ИСО 9241-15 "Диалоги команд";

_______________

Отменен.

- ИСО 9241-16 "Диалоги прямого управления";

_______________

Отменен.

- ИСО 9241-20 "Руководящие указания по доступу к оборудованию и услугам информационных и коммуникационных технологий";

- ИСО 9241-110 "Принципы диалога";

- ИСО 9241-129 "Руководство по программному обеспечению";

- ИСО 9241-143 "Формы";

- ИСО 9241-151 "Руководство по пользовательским интерфейсам World Wide Web";

_______________

Отменен.

- ИСО 9241-171 "Руководство по доступности программного обеспечения";

- ИСО 9241-303 "Требования к электронным визуальным дисплеям";

- ИСО 9241-400 "Принципы и требования к устройствам физического ввода";

- ИСО 9241-410 "Критерии проектирования для физических устройств ввода";

- ИСО 9241-920 "Руководство по тактильным взаимодействиям".

Установленные соглашения, которые также быть использованы в качестве критериев соответствия, обычно включают в себя правила, опубликованные поставщиками операционных систем (например, "Windows", "Mac OS", "iOS", "Android"), и среды разработки (например, "NET" или "Java").

Пример - Установленное соглашение: "Диалоговое окно всегда имеет кнопку "ОК" и "Отмена" в правом нижнем углу диалогового окна".

5 Элементы содержимого отчетов об оценке удобства использования

5.1 Выбор элементов содержимого

В данном разделе описываются элементы содержимого, которые могут быть включены в отчет об оценке удобства использования. Элементы содержимого описаны в подклассах, организованных на основе разделов, которые могут быть включены в отчет об оценке.

В зависимости от цели оценки отчет об оценке удобства использования может включать в себя следующие разделы:

- резюме;

- описание объекта оценки;

- цель оценки;

- метод;

- процедура;

- результаты;

- интерпретация результатов и рекомендаций (необязательно).

В каждом разделе отчета требуемые, рекомендуемые и разрешенные элементы содержимого для каждого типа оценки указываются в таблице, приведенной в конце каждого раздела отчета. Каждый элемент содержимого указан как обязательный, а именно: необходимый ("должен"), рекомендованный ("следует") или разрешенный ("может") для каждого типа оценки (т.е. проверки, наблюдения за пользователями и опроса пользователей). Требования описывают элементы, которые необходимы во всех ситуациях. Рекомендации также важны, но могут не применяться во всех ситуациях.

Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) оценки, которая должна быть проведена. Кроме того, существуют элементы, которые всегда необходимы, и условные элементы, которые могут быть выбраны для оценки, если они используются (например, статистический анализ или предоставленные рекомендации) и/или применимы (например, части объекта, которые были оценены, или меры, используемые при оценке).

Оценки часто содержат несколько типов оценки (например, наблюдения за пользователями и последующий опрос пользователей). В результате в отчет об оценке будут включены элементы содержимого для обоих типов оценок.

Порядок, в котором вводятся разделы и элементы внутри него, не предписывает требуемый порядок для отчета об оценке удобства использования. Более того, группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке).

Отчет об оценке должен предоставлять достаточную информацию для определения достоверности оценки и обоснованности результатов оценки.

Примечание - Для наблюдения за пользователями контекст использования для оценки должен воспроизводить ключевые аспекты подмножества контекста использования, чтобы результаты оценки были объективными.

В приложении А приведена таблица, которая предоставляет обзор всех необходимых и рекомендуемых элементов содержимого для каждого типа оценки.

В следующем подразделе приведено описание элементов содержимого для отчета об оценке удобства использования. Разделы отчета, описанные ниже, относятся ко всем трем типам оценки (оценка на основе проверки, наблюдение за пользователями и опрос пользователей).

5.2 Описание элементов содержимого для каждого типа оценки

5.2.1 Резюме (в случае использования)

В данном разделе отчета об оценке удобства использования содержится краткий обзор оценки. Цель этого раздела - предоставить информацию тем, кто не может ознакомиться с технической частью отчета.

Резюме может включать в себя:

a) наименование и описание объекта оценки;

b) резюме метода(ов) и процедуры;

c) резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо).

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 3.

Таблица 3 - Резюме

5.2.2 Описание объекта оценки

В этом разделе отчета об оценке удобства использования определен объект, который был фактически оценен.

Примечание - К примерам объектов оценки относятся концепции, прототипы пользовательского интерфейса, функционирующие программные системы, аппаратные продукты или компоненты продукта или услуги.

Информация об объекте оценки может включать в себя:

a) официальное наименования и номер выпуска или версии;

b) части объекта, которые были оценены (если применимо);

c) группы пользователей, для которых предназначен объект;

d) краткое описание объекта и его назначение;

e) предполагаемый контекст использования;

f) предыдущие резюме отчета об оценке удобства использования (если применимо);

g) ожидаемое воздействие (например, на производительность, безопасность, финансовый фактор) объекта;

h) цитаты к исследованию рынка для объекта.

Необходимо описать контекст использования объекта оценки. Дальнейшие указания по описанию контекста использования приведены в ИСО/МЭК 25063. Каждый из четырех компонентов контекста использования (пользователи, задачи, оборудование, окружающая среда) не всегда применимы для каждого типа оценки (например, задачи не всегда используются для оценки, основанной на проверке).

Требуемые и рекомендуемые, а также разрешенные элементы для каждого типа оценки приведены в таблице 4.

Таблица 4 - Описание объекта оценки

5.2.3 Цель оценки

В этом разделе отчета об оценке удобства использования указаны причины, по которым проводилась оценка, и то, какие части объекта были оценены и почему.

а) Описание цели

Примечание 1 - Цели оценки могут включать в себя:

- улучшение дизайна путем обеспечения обратной связи в процессе проектирования;

- выявление дефектов и проблем удобства использования;

- подтверждение/выявление требований пользователей;

- подтверждение допущений;

- концепции проведения испытаний;

- измерение уровня удобства использования (т.е. эффективности и/или результативности, и/или удовлетворенности пользователей);

- установление контрольных показателей;

- оценку соответствия продукта, системы или услуги определенным критериям соответствия/приемлемости;

- определение сильных и слабых сторон продукта, системы или услуги;

- определение последствий, которые могут возникнуть в результате недостаточного удобства использования;

- разрешение споров между пользователями и/или заинтересованными сторонами;

- определение доступности продукта, системы или услуги;

- получение сертификата:

- прохождение внутренней проверки качества для завершения фазы,

- прохождение аттестации органа по сертификации.

b) Оцененные функции и компоненты (если применимо)

Примечание 2 - Нет необходимости описывать функции и компоненты, если были оценены все функции и компоненты.

c) Причины для оценки части объекта (если применимо)

Примечание 3 - Нет необходимости описывать причины, по которым оценивалась только часть объекта, если были оценены все функции и компоненты.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 5.

Таблица 5 - Цель оценки

5.2.4 Метод

5.2.4.1 Общая информация

В этом разделе отчета об оценке описывается порядок проведения оценки. Целью описания является предоставление достаточной информации для определения правильности метода и оценки достоверности результатов, а также возможности повторения.

a) Используемый(е) тип(ы) оценки

Отчеты об оценке удобства использования могут включать в себя данные, основанные на одном или нескольких типах оценки (см. 4.2).

В отчете об оценке удобства использования указывается, какой(ие) тип(ы) оценки был(и) использован(ы).

Примечание - Типы оценок включают в себя оценку на основе проверки, наблюдения за поведением пользователей для измерения производительности пользователей и опрос пользователей.

b) Достаточная информация для повторения процедуры оценки, используемой в ходе оценки

Требуемые элементы для каждого типа оценки приведены в таблице 6.

Таблица 6 - Общая информация

5.2.4.2 Оценщики/участники

В этом разделе отчета об оценке содержится информация о лицах, принимающих участие в оценке удобства использования. Оценщики - это люди, которые проводят оценку, а также люди, которые проводят проверки. Участниками являются люди, которые являются фактическими или потенциальными пользователями объекта оценки, принимающие участие в наблюдательных исследованиях, где контролируется их поведение и/или выполнение задачи. Лица, которые предоставляют данные опроса, также являются участниками.

Информация об оценщиках и участниках позволяет пользователям отчета судить о том, применима ли представленная информация к их условиям.

a) Общее количество оценщиков/участников.

Этот элемент сообщает об общем количестве оценщиков или участников.

b) Сегментация участников испытания или оценщиков/инспекторов (если имеется более одного сегмента).

При наблюдении за поведением пользователя в качестве экспериментальной переменной можно использовать сегментацию участников испытания в группы по их характеристикам (см. 5.2.5.1). Сегментация оценщиков позволяет сравнивать результаты, полученные разными категориями оценщиков.

Пример 1 - Категории оценщиков:

- оценщик/инспектор с опытом работы в предметной области;

- оценщик/инспектор с опытом работы в области удобства использования;

- оценщик/инспектор, представляющий пользователей;

- сегментация участников испытания (если более одного).

Пример 2 - Нечастые пользователи по сравнению с обычными пользователями.

c) Основные характеристики участников испытания или пользователей, рассматриваемых для проверки.

Основные характеристики участников испытания определяют свойства целевой аудитории пользователей, которые имеют отношение к достоверности оценки.

Примечание 1 - Основные характеристики могут включать в себя:

- демографические данные, которые используются для идентификации целевых групп пользователей, представляющих особый интерес, например возраст;

- характеристики, связанные с заданием, например, обучение, уровень навыков и установленное поведение;

- физические и сенсорные характеристики, например размеры тела, сила, зрение и слух;

- психологические и социальные характеристики, например, навыки чтения для определенного возраста, привычки, язык и культура;

- социальные и организационные характеристики, например профессия или должность, сопротивление изменениям и культура принятия риска;

- членство в группе пользователей (т.е. группы, которые участник испытания представляет для указанной оценки, например, пользователи смартфонов, пользователи стационарных телефонов).

d) Различия между выборкой и контингентом пользователей (если применимо).

Этот элемент описывает любые различия между выборкой участников и фактическим контингентом пользователей.

В частности, описаны отличия в основных характеристиках.

Пример 3 - Фактические пользователи могут посещать учебный курс, тогда как испытуемые не прошли подготовку.

e) Таблица участников по характеристикам.

Таблицы помогают пользователям в понимании и обобщении основных характеристик участников.

Примечание 2 - Таблица может включать в себя:

- участников (строки) по характеристикам (столбцам), с такими основными характеристиками, как опыт работы с компьютером, возраст, пол, способности.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 7.

Таблица 7 - Оценщики/участники

5.2.4.3 Задачи (если они используются при оценке)

В этом разделе отчета об оценке описываются задачи, используемые для оценки. При наблюдении за поведением пользователей, измерении производительности пользователя или сборе данных опроса обычно указываются задачи. Проверки могут выполняться на основе задач, но не все проверки основаны на задачах. Для проверок в отчете об оценке удобства использования должно быть четко указано, используются ли задачи.

Если задачи используются, информация может включать в себя:

a) Задачи, используемые для оценки.

Задачи, используемые для оценки, выражаются в названии и предполагаемых результатах, которых люди должны достичь, не ссылаясь на какие-либо конкретные способы их достижения.

b) Сценарии для каждой задачи.

Сценарий задачи - это информация, предоставленная участникам, в том числе любые раздаваемые материалы.

c) Критерии отбора задач.

Критерии отбора задач объясняют, почему выбранные задачи считаются важными для оценки.

Пример 1 - Наиболее частые задачи для каждой выбранной группы пользователей.

Пример 2 - Задачи, которые вызывают наибольший потенциальный риск.

d) Источник выбранных задач.

Источник выбранных задач объясняет, на чем основаны задачи.

Пример 3 - Наблюдение за клиентами, использующими аналогичные продукты, спецификации маркетинга продукта, обсуждение с пользователями или командой разработчиков.

e) Данные о заданиях для участников и/или инспекторов (если применимо).

Пример 4 - Данные, подлежащие обработке.

Пример 5 - Зафиксированное моделирование запроса клиента.

f) Критерии для завершения задачи или оставления задачи для каждой задачи.

Это критерии для прекращения, либо завершения, либо оставления задачи.

Пример 6 - При продолжительности более чем 30 минут задача прекращается.

Пример 7 - После трех неудачных попыток задача останавливается.

Пример 8 - Как только пользователь полагает, что задача выполнена.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 8.

Таблица 8 - Задачи (если они используются при оценке)

5.2.4.4 Среда оценки

а) Физическая среда и объекты.

В этом разделе отчета об оценке описывается информация, связанная с физической средой и объектами:

Примечание 1 - Среда оценки может включать в себя описание настройки и типа места, в котором проводилась оценка.

Примечание 2 - Среда оценки особенно важна в ситуациях, когда контекст оценки отличается от предполагаемого контекста использования.

Пример 1 - Лаборатория удобства использования, кабинет, конференц-зал, домашний офис, домашний семейный номер, производственный участок, удаленное испытание удобства использования с использованием видео- и аудиоконференций и совместного использования рабочего стола и т.д.

- любые соответствующие особенности настройки или обстоятельства, которые могут повлиять на результаты;

Пример 2 - Оборудование для видео- и аудиозаписи, зеркала одностороннего видения или автоматическое оборудование для сбора данных.

- описание физической среды.

Пример 3 - Недостаточно освещенная среда (освещение) в радиологическом отсеке.

Пример 4 - Сообщается о выборе местоположения пользователя или окружающей среды (например, дома, в автомобиле, офисе и т.д.) для дистанционного испытания.

b) Техническая среда (если применимо).

Этот элемент описывает как программное обеспечение, так и вычислительную среду.

Примечание 3 - Этот элемент может включать в себя:

- конфигурацию компьютера, включая модель, версию операционной системы, требуемые библиотеки или настройки, в зависимости от браузера, имени и версии браузера, соответствующие имена и версии плагинов;

- любые другие устройства отображения, аудиоустройства и устройства ввода.

c) Инструменты администрирования оценки (если они используются).

Этот элемент описывает любое аппаратное или программное обеспечение, используемое для управления оценкой или для записи данных.

Примечание 4 - Он может включать в себя:

- описание или спецификацию стандартного опросника;

- любое аппаратное или программное обеспечение, используемое для контроля испытания или для записи данных.

d) Администраторы оценки (если применимо).

Этот элемент идентифицирует количество администраторов оценки, их роли и должности.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 9.

Таблица 9 - Среда оценки

5.2.5 Процедура

5.2.5.1 Проект оценки

В этом разделе отчета об оценке подробно описывается каждый шаг при выполнении оценки удобства использования. В этом разделе описывается, что и как сделано. В нем определяется тип оценки, определенные экспериментальные манипуляции, а также инструкции для участников.

a) Описание проекта оценки.

Этот элемент описывает тип выполненной оценки и экспериментальную схему оценки, план назначения экспериментальных условий участникам, включая определенные экспериментальные манипуляции, если это применимо.

Примечание 1 - Экспериментальные манипуляции могут включать в себя:

- случайное распределение;

- уравновешивание;

- другие функции управления.

b) Независимые переменные (если применимо).

Этот элемент описывает те переменные, которые обрабатываются оценщиком (независимые переменные).

Пример 1 - Различные уровни обучения, возраст участников, уровень шума, освещение, которые являются прототипом опыта участников.

c) Предопределенные критерии (для проверки или наблюдения, в случае использования).

Этот элемент используется для проверки или наблюдения.

Примечание 2 - Он может включать в себя:

- для проверки:

- принципы,

- методические рекомендации,

- установленные договоренности;

- для проверки или наблюдения за пользователями:

- требования пользователей.

Пример 2 - Указанным принципом, который должен подвергаться проверке, является "устойчивость к ошибкам".

Пример 3 - Указанный ориентир, подлежащий проверке, - это "обязательные поля ввода должны визуально отличаться от необязательных полей ввода".

Пример 4 - Указанное руководство по доступности, которое подлежит проверке, гласит: "Всякий раз, когда отображается информация о перемещении, мигании, прокрутке или автоматическом обновлении, программное обеспечение должно позволять пользователю приостанавливать или останавливать презентацию, за исключением простых индикаторов хода выполнения процесса".

Пример 5 - Указанное требование пользователя, подлежащее проверке, заключается в том, что "Пользователь должен иметь возможность сортировать полеты по продолжительности".

Пример 6 - Указанное соглашение по дизайну, которое подлежит проверке, заключается в том, что "Кнопка редактирования всегда находится в правом верхнем углу формы".

d) Меры, используемые при оценке (если применимо).

Этот элемент описывает меры, в отношении которых данные были записаны для каждого комплекса условий.

Пример 7 - Количество участников, которые совершают ошибки при выполнении задачи.

e) Оперативные определения критериев или мер (если применимо).

Этот элемент описывает, что составляет критерий или меру.

Пример 8 - Что представляет собой ошибку использования участника: "Неправильный навигационный выбор".

f) Взаимодействие между лицами, принимающими участие в каждой сессии оценки (если применимо).

Этот элемент описывает допустимые взаимодействия между лицами, принимающими участие в оценке.

Примечание 3 - Он может включать в себя:

- количество и роли тестирующего персонала и участников, которые будут взаимодействовать во время сеанса оценки;

- количество и роли участников, и как они будут взаимодействовать друг с другом во время сеанса оценки.

g) Другие лица, присутствующие при оценках (если применимо).

Этот элемент определяет любых других лиц, которые, как ожидается, будут присутствовать во время оценки, если это применимо.

h) Общие инструкции, данные участникам.

Этот элемент описывает общие инструкции, данные участникам оценки.

Примечание 4 - Он может включать в себя:

- фактические инструкции, данные участникам (здесь или в приложении);

- инструкции о том, как участники должны взаимодействовать с любыми другими присутствующими лицами, в том числе о том, как они должны обращаться за помощью и взаимодействовать с другими участниками, если это применимо.

i) Конкретные инструкции по задачам (если применимо).

Этот элемент описывает конкретные инструкции по задачам, включая временные рамки для выполнения задач, заданных участникам или оценщику(ам).

Примечание 5 - Он может включать в себя:

- краткую инструкцию по задаче;

- временные рамки для каждой задачи.

j) Последовательность действий для проведения оценки

Этот элемент описывает последовательность организационных действий для проведения каждой сессии в рамках оценки от приема участников до их увольнения.

Примечание 6 - Он может включать в себя:

- шаги, осуществляемые для выполнения сеансов испытаний и записи данных;

- сведения о соглашениях о неразглашении, заполнении формы, разминке, подготовке к задаче и подведении итогов;

- сведения о том, получали ли участники какие-либо выплаты или иные компенсации;

- проверка того, что участники знали и понимали их права в качестве испытуемых.

В таблице 10 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 10 - Проект оценки

5.2.5.2 Собираемые данные

В этом разделе отчета описываются элементы процедуры, описывающие данные, собираемые во время оценки.

a) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии).

Этот элемент определяет то, что отклонения от заданных критериев (см. 5.2.5.1) будут собраны во время оценки.

Примечание 1 - Отклонения включают в себя все свойства взаимодействия с объектом оценки, которые отклоняются от критериев и, как ожидается, вызовут проблемы удобства использования.

Пример 1 - Диалоговое окно, в котором нет кнопки "Отмена".

Пример 2 - В контексте использования, при наличии требования пользователя, эти критические элементы управления легко идентифицируются (критерий), ни один пользователь не нашел кнопку аварийного отключения (отклонение).

b) Наблюдаемое поведение пользователя.

Этот элемент идентифицирует все типы наблюдаемого поведения пользователя, которые должны быть собраны.

Эти данные могут быть использованы для определения результатов удобства использования во взаимодействии с объектом оценки.

Примечание 2 - Данные о наблюдениях за пользователями могут включать в себя ситуации, в которых:

- пользователи не знают, как выполнить задачу;

- возникают ошибки использования;

- пользователи сообщают о разочарованиях;

- пользователи участвуют в позитивном поведении;

- пользователи проявляют дискомфорт;

- существует свидетельство того, что одно или несколько определенных требований пользователя выполнены (или не выполнены).

c) Наблюдаемые данные о производительности.

Этот элемент определяет все типы данных о производительности, относящихся к эффективности и результативности, которые должны быть собраны.

Данные о производительности - это конкретный случай данных наблюдений, где числовые значения получены с акцентом на измерение.

Примечание 3 - Измерения данных о производительности могут включать в себя:

- точность и полноту результатов задачи (эффективность) (если применимо);

- завершение задания;

- время, затраченное на выполнение задачи;

- ошибки использования и частоту их возникновения;

- количество щелчков мыши, касаний или жестов;

- количество нажатий на клавишу;

- отслеживание движения глаз;

- данные о поведении (например, эмоциональный уровень, уровень беспокойства, внимания);

- физиологические данные (например, пульс, артериальное давление).

d) Качественные данные, сообщенные пользователями.

Этот элемент определяет тип(ы) качественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться.

Качественные данные, сообщенные пользователями, представляют собой заявления, сделанные пользователями по их опыту, приобретенному в отношении объекта оценки.

Примечание 4 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора качественных данных, используются открытые вопросы.

Примечание 5 - Качественные данные, сообщенные пользователями, могут включать в себя:

- проблемы;

- положительный опыт;

- как пользователи используют объект оценки;

- ожидания;

- нежелательные явления;

- предложения.

Примечание 6 - Проблемы, сообщаемые пользователями, могут сопровождаться субъективными оценками степени опасности.

е) Количественные данные, сообщаемые пользователями.

Этот элемент определяет тип(ы) количественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться для сбора.

Количественные данные, сообщенные пользователями, - это опыт, рассчитанный на заданный масштаб.

Примечание 7 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора количественных данных, используются закрытые вопросы, как правило, с соответствующей рейтинговой шкалой.

Примечание 8 - Количественные данные, сообщенные пользователями, могут включать в себя субъективные оценки объекта оценки с точки зрения:

- удовлетворения;

- комфорта;

- надежности;

- отношения;

- обращения;

- усилия;

- воспринимаемой эффективности;

- воспринимаемой результативности.

В таблице 11 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 11 - Данные, подлежащие сбору

5.2.6 Результаты

5.2.6.1 Анализ данных

В этом разделе отчета об оценке удобства использования описываются собранные данные и применяется статистическая или аналитическая обработка данных. Сообщается о достаточной детализации для обоснования выводов. В этом разделе представлены результаты, обсуждение результатов, а также последствия или следствия результатов.

a) Подход, используемый для анализа наблюдаемых, измеряемых или собираемых данных.

Этот элемент описывает, каким образом были проанализированы наблюдаемые, измеряемые или собираемые данные.

b) Различия в планируемых и собранных данных (если применимо).

Этот элемент описывает различия между данными, которые планировалось собрать, и данными, которые были фактически собраны, если это применимо.

c) Часть данных, используемых в анализе (если применимо).

Этот элемент описывает часть собранных данных, которая фактически использовалась для анализа.

Пример 1 - Как обрабатывались недостающие данные. Как обрабатывались данные в отношении исключения для резко отклоняющихся значений.

d) Оценка данных (если используется).

Этот элемент описывает сопоставление между данными, которые были собраны, и значениями, используемыми в последующем анализе.

Пример 2 - Как классифицированы ошибки использования. Как фактические возрасты сопоставляются с возрастными диапазонами. Как ошибки, связанные с использованием, сопоставляются с набором значений.

e) Сокращение данных.

Этот элемент идентифицирует метод, используемый для генерации сводок необработанных данных.

Пример 3 - Какое измерение центральной тенденции использовалось (например, среднее или режимное). Как измерялось изменение (например, стандартное отклонение или диапазон).

Пример 4 - Систематическая характеристика открытых ответов.

f) Статистический анализ (в случае использования).

Этот элемент определяет и описывает статистический анализ, используемый для анализа данных, включая статистическую процедуру.

Пример 5 - Как сравнивались группы (например, t-тест, F-тест).

Для данных, которые рассчитываются как средства, вычисляют стандартное отклонение и стандартную ошибку среднего значения.

В таблице 12 указаны требуемые элементы для каждого типа оценки.

Таблица 12 - Анализ данных

5.2.6.2 Представление результатов

В этом разделе отчета об оценке представлены данные, собранные на основе анализа данных. Отдельные оценки или необработанные данные в отчет не включаются. Для данных, которые представлены как средства, включают стандартное отклонение и стандартную ошибку ("доверительный интервал"), см. 5.2.6.1. Таблицы и графики могут использоваться для краткого представления сложных результатов. Как таблицы, так и различные графические форматы эффективны при кратком описании данных об удобстве использования. Гистограммы полезны для описания субъективных данных, например, полученных из шкал Ликерта. Разнообразие графиков можно эффективно использовать для сопоставления экспертных тестовых сроков для объекта оценки по сравнению со средним временем выполнения операции участником. При необходимости детали интерпретации описываются в "выводах и рекомендациях".

Обобщение результатов:

a) Дефекты удобства использования с точки зрения отклонения свойств объекта оценки от установленных критериев.

Этот элемент суммирует недостатки удобства использования с точки зрения отклонений свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.

Примечание 1 - Для представления результатов можно использовать сопоставление отклонений свойств объекта оценки от указанных критериев.

b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования.

Этот элемент суммирует потенциальные проблемы удобства использования (и связанные с ними обоснования для прогнозирования), которые являются результатом выявленных дефектов удобства использования, т.е. отклонения свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.

c) Результаты удобства использования, выявленные во время наблюдений.

Этот элемент суммирует результаты удобства использования, определенные во время наблюдений.

d) Данные о производительности на основе измерений.

Этот элемент суммирует собранные данные измерений, которые характеризуют результаты производительности для каждой задачи или группы задач.

Примечание 2 - Данные о производительности могут аккумулироваться при наблюдении за поведением пользователей. Они включают в себя:

- точность и полноту результатов задачи (эффективность);

- скорость завершения задачи;

- время выполнения задачи;

- результативность;

- ошибки использования и частоту возникновения;

- количество оказаний помощи;

- количество щелчков мыши, касаний или жестов;

- количество нажатий на клавишу;

- расстояние, пройденное на экране с помощью указательного устройства (например, мыши);

- отслеживание движения глаз;

- психологические данные (например, эмоциональный уровень, уровень беспокойства, внимания);

- физиологические данные (например, пульс, артериальное давление).

e) Проблемы, мнения и впечатления, сообщаемые пользователями.

Этот элемент суммирует проблемы, мнения и впечатления пользователей.

Примечание 3 - Пользователи могут сообщать о проблемах, мнениях и впечатлениях спонтанно во время наблюдения.

f) Измеренный уровень удовлетворенности или восприятия пользователя.

Этот элемент суммирует измеренный уровень удовлетворенности или восприятия пользователя.

В таблице 13 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 13 - Представление результатов

5.2.7 Интерпретация результатов и рекомендаций

В этом разделе отчета об оценке использования содержится интерпретация результатов и рекомендаций, которые помогают определить вопросы, которые будут подробно рассмотрены.

Примечание - В некоторых случаях включены только ключевые интерпретации и рекомендации.

a) Интерпретация результатов.

Этот элемент предоставляет выводы, основанные на интерпретации результатов.

b) Рекомендации.

Этот элемент предоставляет набор рекомендаций для улучшения объекта оценки на основе результатов оценки и их интерпретации.

В таблице 14 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 14 - Интерпретация результатов и рекомендаций

5.2.8 Дополнительное содержимое для оценки соответствия (как часть отчета об оценке удобства использования)

В этом разделе отчета об оценке удобства использования содержится оценка соответствия. Отчеты об оценке удобства использования для оценки соответствия включают в себя дополнительные элементы содержимого.

a) Схема оценки соответствия (в случае использования).

Этот элемент описывает схему оценки соответствия (название, версия).

Примечание - Схемы оценки соответствия могут существовать на международном, региональном, национальном или субнациональном уровнях.

b) Критерии соответствия.

Этот элемент описывает используемые критерии соответствия.

c) Декларация о соблюдении всех критериев соответствия.

Этот элемент предоставляет декорацию, в которой описывается, были ли выполнены все критерии соответствия.

d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия).

Этот элемент предоставляет результаты, которые показывают, почему определенные критерии соответствия не были выполнены (выявленные несоответствия).

В таблице 15 указаны требуемые элементы для каждого типа оценки.

Таблица 15 - Дополнительное содержимое для оценки соответствия (в случае использования)

Приложение А
(обязательное)

Обзор требуемых и рекомендуемых элементов содержимого для каждого типа оценки

Таблица А.1 - Обзор требуемых и рекомендуемых элементов содержимого для каждого типа оценки

Приложение В
(справочное)

Пример отчета об испытании удобства использования

B.1 Общая информация

В настоящем приложении приведен пример отчета об оценке.

Поскольку порядок, в котором должны располагаться разделы и элементы в отчете об оценке, не предписан, этот пример демонстрирует, что нет необходимости следовать порядку, в котором элементы содержимого были представлены в настоящем стандарте. Однако в отчет необходимо включить все необходимые элементы для соответствия. В отчете об оценке также показано, что группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке). Все заголовки, представленные в настоящем стандарте, были включены в отчет, хотя они не содержат подробной информации или в некоторых случаях включают повторение материала. Нет необходимости использовать все рекомендуемые заголовки в каждом отчете об оценке.

Оценки часто содержат более одного типа оценки, как в данном примере оценки (например, наблюдения за пользователями и последующий опрос пользователей). Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) проведенной оценки. В результате, в данном примере отчета об оценке содержатся элементы содержимого, как для наблюдения за пользователями, так и последующего опроса пользователей. "Опрос пользователей" в этом примере использует словесные комментарии, сделанные участниками при завершении каждого испытания в качестве основы для оценки. Данные, результаты и рекомендации обоих типов оценки представлены вместе в соответствующих разделах отчета.

В этом примере использованы сноски, определяющие соответствующие таблицы в настоящем стандарте, которые применяются к данному разделу, и демонстрируют, что в примере отчета содержатся все необходимые элементы для соответствия.

Это приложение было адаптировано из отчета об оценке, представленного UXQB - Международной квалификационной коллегией по вопросам удобства использования и пользовательского опыта. Названия веб-сайтов и другая определяющая информация (например, рисунки и скриншоты) были изменены или устранены для анонимности.

Примечание - Этот пример не является полным отчетом. Он не включает в себя все результаты или цифры, которые упомянуты в примере.

В.2 Отчет об испытании удобства использования веб-сайта rentmytruck

В.2.1 Резюме

_______________

Соответствует таблице 3 в отношении наблюдения за поведением пользователей и опросом пользователей.

Текущая версия www.rentmytruck.com была проверена на удобство использования в марте 2011 года пятью членами целевой группы. Оценка была основана на наблюдении за поведением пользователей и комментариях участников после выполнения семи тестовых задач. Участники ответили на множество вопросов о себе в конце теста. Метод испытания - не редактируемое удаленное испытание удобства использования, где типичные пользователи (участники испытания) выполняли задачи, пока их действия и то, что они сказали, записывались. Экран и аудиозапись сессий испытаний были проанализированы специалистами по удобству использования после проведения испытания.

Цель состояла в том, чтобы определить достоинства и недостатки удобств использования веб-сайта rentmytruck. В этом отчете описываются результаты испытания и рекомендации.

Основные положительные результаты в отношении удобства использования для www.rentmytruck.com:

- Кнопка "Назад" всегда работает без проблем.

Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад" в своем браузере.

На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.

- Веб-сайт сохраняет содержимое корзины.

Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания его не обнаружил.

Основные области, над которыми необходимо работать, для www.rentmytruck.com:

- Пользователи могут арендовать грузовые автомобили без оплаты страхования повреждения.

Несколько участников арендовали грузовой автомобиль, не увидев страницы об оплате страхования повреждения. Аренда по умолчанию включала отсутствие страхования повреждения, и веб-сайт не просил их сделать выбор.

- Не отображаются налоги, сборы и общая стоимость.

Участники хотели узнать полную стоимость аренды. Веб-сайт показывает только то, что пользователи должны заплатить в магазине, за исключением налогов и сборов. Участники были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они не могут увидеть общую цену на странице подтверждения заказа.

В.3 Результаты

_______________

Соответствует таблицам 13 и 14 в отношении наблюдения за поведением пользователей и опросом пользователей.

В.3.1 Общая информация

В.3.1.1 Положительные результаты удобства использования

- Кнопка "Назад" всегда работает без проблем.

Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад". На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.

- Веб-сайт сохраняет содержимое корзины.

Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания с ним не столкнулся.

В.3.1.2 Проблемы удобства использования

- В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений.

В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений: примеры терминов, которые путали участников испытания, например, отказ от страхового покрытия ущерба, медицинское страхование жизни, страхование ответственности. Комментарии пользователей включают в себя:

"Было бы неплохо, если бы здесь было немного больше информации, чтобы я мог разобраться в этом".

[В информационном разделе сайта, посвященному часто задаваемым вопросам,] должное пояснение отсутствует".

Рекомендации:

- Необходимо сделать термины, которые трудно понять, интерактивными. Когда пользователи нажимают на эти термины на экране, то на нем показывается всплывающее окно, которое объясняет смысл с помощью общеизвестных терминов и примеров.

В.3.2 Аренда грузового автомобиля

В.3.2.1 Положительные результаты удобства использования

- Участники испытания легко поняли, как цена на грузовой автомобиль зависит от его размера.

См. пример на рисунке 1 (не включен в приложение).

В.3.2.2 Проблемы удобства использования

- Общая стоимость не показывается на странице подтверждения заказа.

Участники испытания были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они даже не могут увидеть общую цену на странице подтверждения заказа. См. рисунок 3 (не включен в приложение). Комментарии пользователей включают в себя:

"Сегодня сбор составляет 30,45 долларов. Откуда он взялся? Было бы неплохо, если бы они дали мне знать, какие сборы включены сюда".

"Где моя окончательная цена?"

Рекомендации:

- В корзине и на странице оформления заказа необходимо указать текущие сборы, а также общую стоимость заказа, включая плату за аренду грузового автомобиля.

- Следует указать цены как с учетом налогов, так и без них. Если нет места для обоих цен, необходимо исключить цены без налогов.

- Следует запросить у пользователя ожидаемую дату окончания аренды, включенную в предложение. Чтобы вычислить общую стоимость аренды, следует использовать дату окончания аренды.

- Следует сделать систему подсчета итоговой или промежуточной цены на веб-сайте полностью понятной. Если недостаточно места для полной информации, следует добавить ссылку для разъяснения рядом с итоговой или промежуточной ценой. По этой ссылке необходимо указать полную информацию.

В.3.3 Страхование

В.3.3.1 Положительные результаты удобства использования

- ...

В.3.3.2 Проблемы удобства использования

- ...

В.4 Описание объекта оценки

_______________

Соответствует таблице 4 в отношении наблюдения за поведением пользователей и опросом пользователей.

Сайт, который подвергался оценке, www.rentmytruck.com был доступен пользователям в марте 2011 года. Домашняя страница веб-сайта во время испытания показана на рисунке 11 (не включен в настоящее приложение).

Целевой группой веб-сайта являются лица, которые имеют действующие водительские права и которые намерены арендовать грузовой автомобиль для местного или междугороднего передвижения.

Веб-сайт также продает и арендует материалы и инструменты для грузовых автомобилей. Он также обеспечивает место для хранения.

Участникам испытания было предложено воздержаться от размещения заказов. Помимо этого, ограничения веб-сайт был полностью в их распоряжении.

Веб-сайт предназначен для использования в типичной офисной или домашней среде рабочего стола.

В.5 Цель оценки

_______________

Соответствует таблице 5 в отношении наблюдения за поведением пользователей и опросом пользователей.

Цель состояла в том, чтобы определить достоинства и недостатки удобства использования веб-сайта rentmytruck.

В.6 Метод оценки

В.6.1 Обзор метода оценки

_______________

Соответствует таблицам 6 и 7 в отношении наблюдения за поведением пользователей и опросом пользователей.

В.6.1.1 Общая информация

Оценка удобства использования была сосредоточена на наблюдении за поведением пользователей. Это испытание удобства использования было проведено как не редактируемое удаленное испытание удобства использования компанией, предоставляющей "услугу по удаленному испытанию удобства использования". Эта компания специализируется на не редактируемых испытаниях удобства использования с пользователями, набираемыми с их пользовательской базы. В не редактируемом испытании удобства использования за пользователями не ведется наблюдение в режиме реального времени, пока они выполняют задачи. Вместо этого их взаимодействие с веб-сайтом и их словесные комментарии записываются для последующего анализа.

Пять пользователей выполнили семь заданий на веб-сайте в ходе отдельных сессий испытаний. В конце каждого сеанса испытаний они ответили на ряд определенных вопросов о себе.

Впоследствии видео- и аудиозаписи были проанализированы тремя независимыми исследователями удобства использования. Каждый из них определил проблемы и сильные стороны удобства использования, а также основные недостатки удобства использования. Затем они рассмотрели отдельные результаты и согласовали обобщенный набор результатов удобства использования.

В.6.1.2 Методическая основа

В этом испытании удобства использования осуществлялось наблюдение за поведением пользователей, о чем свидетельствует запись данных с экрана. Это позволило выявить успешное выполнение задач вместе с проблемами, возникающими при их выполнении. Кроме того, в качестве основы для "опроса пользователей" использовался признанный метод "мышления вслух". Этот метод описан, например, Думасом и Редишем (1999) "Практическое руководство по испытанию удобства использования" и Хартсоном и Пулой (2012) "Книга об оценке взаимодействия пользователей с приложением".

В.6.1.3 Сессии испытаний

Оценка основана на анализе записей данных с экрана в рамках пяти не редактируемых сессий испытаний www.rentmytruck.com, проведенных в конце марта 2011 года с помощью "услуг удаленного испытания удобства использования", а также анализа аудиозаписей комментариев пользователей.

Каждая сессия испытаний длилась от 13 минут до 23 минут. Общее время каждой сессии испытаний, включая ответы на вопросы, составляло менее 30 минут.

В.6.1.4 Целевая группа для системы

Целевой группой веб-сайта являются лица, которые имеют действительные водительские права и которые хотят арендовать грузовой автомобиль для местного или междугороднего перемещения. Целевая группа включает значительную часть взрослого англоязычного населения США. Ожидается, что целевая группа будет иметь некоторые знания о компьютерах и Интернете, но им не обязательно быть профессионалами в области компьютеров.

Таблица В.1 - Результаты испытания удобства использования для каждого участника испытания

В.6.1.5 Набор пользователей

Все участники испытания были наняты компанией, предоставляющей "услуги по удаленному испытанию удобства использования", которая специализируется на автоматическом испытании удобства использования. Были представлены оба пола. Участники испытаний должны были иметь действительные водительские права и рассматривать возможность аренды грузового автомобиля. В остальном, на набор участников не накладывались никакие ограничения.

В.6.2 Сценарий для испытания удобства использования

_______________

Соответствует таблицам 8 и 10 в отношении наблюдения за поведением пользователей и опросом пользователей.

В.6.2.1 Инструктирование

Компания, предоставляющая "услуги по удаленному испытанию удобства использования", не публикует инструкции для участников испытания перед сеансом испытания удобства использования.

В.6.2.2 Общие инструкции, данные пользователям

Каждому пользователю были даны онлайн-инструкции для каждой из семи задач. Их попросили выполнить задачу с условием устно описать любые проблемы, которые они заметят.

В.6.2.3 Задачи испытания

Задачи испытания были определены для проверки наиболее часто встречающихся задач на веб-сайте на основе статистики сайта. Задачи были рассмотрены специалистом по работе с пользователями, работающим на rentmytruck, и несколькими независимыми профессионалами в области удобства использования. Удобства использования тестовых заданий и инструкций для участников испытания в автоматическом испытании были испытаны дважды. После этого тестовые задачи и инструкции были улучшены на основе обратной связи.

Для всех сессий был использован следующий набор задач. Задачи выполнялись в том же порядке каждым участником:

Сценарий. Ваши друзья Майк и Анна собираются переехать из Питтсбурга, штат Пенсильвания в Денвер, штат Колорадо. У них есть квартира в Питтсбурге, состоящая из гостиной, спальни, кухни и ванной комнаты. Они хотят найти самый дешевый сервис для переезда в Колорадо. Они ожидают, что переедут с помощью нескольких друзей.

Они планируют выехать 14 апреля и ожидают, что поездка займет три дня.

Пары планируют вернуться в Питтсбург через два года, поэтому они хотят арендовать место для хранения в Питтсбурге вещей, которые не будут им нужны в Денвере.

Задача 1. Паре нужен грузовой автомобиль, который подходит для всей мебели и вещей в их трехкомнатной квартире. Пожалуйста, просчитайте общую сумму, которую пара должна будет заплатить за грузовой автомобиль.

Примечание - Они выезжают 14 апреля с ХХХ1 Роад в Питтсбурге, РА 15217 и едут на ХХХ2 Стрит в Денвере, СО 80218.

Ожидаемый ответ. Согласно rentmytruck, требуется грузовой автомобиль длиной 14 футов. Цена грузовика составляет 16165 долларов США плюс стоимость страхования в размере 196 долларов США, плюс экологический сбор в размере 5 долларов США. Налоги не включены. Ставка налога, похоже, не доступна на веб-сайте.

Задача 2. Прежде чем двигаться дальше, вы хотите проверить, нужны ли Майку и Анне специальные водительские права для вождения грузового автомобиля по всей стране. Где вы найдете эту информацию?

Ожидаемый ответ. Согласно информационному разделу сайта, посвященному часто задаваемым вопросам, "Нужны ли мне специальные водительские права?", стандартных водительских прав достаточно.

Задача 3. Они также нуждаются в помещении для хранения их вещей в Питтсбурге, в котором может поместиться 10 выдвижных коробок (18x18x16 дюймов) и большой холодильник. Рассчитайте стоимость хранения в месяц.

Ожидаемый ответ. Цена хранения в XXX Self Storage, 1-й этаж, 5 футов5 футов8 футов в течение 24 месяцев, составляет 59 долларов США в месяц.

Задача 4: [...]

Ожидаемый ответ: [...]

Задача 5: [...]

Ожидаемый ответ: [...]

Задача 6: [...]

Ожидаемый ответ: [...]

Задача 7: [...]

Ожидаемый ответ: [...]

В.6.2.4 Завершение задачи

Каждая задача считалась завершенной, как только каждый из участников испытания переходил к следующей задаче. (Поскольку модератор не присутствовал, было невозможно помочь участникам, если они застряли или пришли к неправильному ответу.)

В.6.2.5 Вопросы после сессии

После каждой сессии испытаний из участников испытания ответил на несколько вопросов, в том числе следующие:

- Вы мужчина или женщина?

- Сколько вам лет?

- Вы когда-нибудь арендовали грузовой автомобиль у этой компании?

- Где вы живете (город, штат)?

- Кем вы работаете?

- Как бы вы оценили свои знания компьютера?

- Вы проходили испытание дома или на рабочем месте или в другом месте (если в другом месте, укажите)?

- Какой тип устройства вы использовали, настольный компьютер или ноутбук (производитель и модель)?

- Какой браузер вы использовали (включая версию)?

В.7 Выводы по каждому участнику испытания

_______________

Соответствует таблице 12 в отношении наблюдения за поведением пользователей и опросом пользователей.

Для каждого участника испытания в таблице В.2 приведен анализ наблюдаемой производительности участника испытания по каждой задаче.

Задачи оценивались следующим образом.

- Задача была решена правильно без проблем; оценка - 1.

- Возникли проблемы, которые задерживали участника испытания при выполнении задачи; оценка - 2.

- Участник испытания столкнулся со значительными проблемами, но в итоге ему удалось правильно выполнить задачу; оценка - 3.

- Участник испытания не смог выполнить задачу или пришел к результату, который значительно отклонился от правильного результата; оценка - 4.

Таблица В.2 - Анализ наблюдаемой производительности участника испытания

Примечания к выводам

Проблема в задаче 1. См. следующие выводы в разделе 1:

- недостаточная помощь при выборе правильного размера грузового автомобиля;

- неточная стоимость при наличии информации о пробеге;

- не отображаются налоги и сборы;

- не показывается общая стоимость; сайт показывает только ту сумму, которую пользователь следует заплатить в магазине.

Проблема в задаче 3. См. следующие выводы в разделе 1:

- не предлагается никакая помощь в выборе правильного размера места хранения.

Проблема в задаче 5. См. следующие выводы в разделе 1:

- адекватное страхование ответственности не распространяется на все виды передвижений;

- пользователи могут арендовать грузовые автомобили без оплаты страхования.

Проблема в задаче 6. См. следующие выводы в разделе 1:

- неясно, распространяется ли страхование на вандализм;

- неясно, существует ли залог.

Библиография

Электронный текст документа

и сверен по:

, 2019