ГОСТ Р 56921-2016/
ISO/IEC/IEEE 29119-2:2013
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ
Тестирование программного обеспечения
Часть 2
Процессы тестирования
Software and systems engineering. Software testing. Part 2. Test processes
ОКС 035.080*
_____________________
* По данным официального сайта Росстандарта ОКС 35.080,
здесь и далее. - .
Дата введения 2017-06-01
Предисловие
1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного аутентичного перевода на русский язык международного стандарта, указанного в пункте 4
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 22 "Информационные технологии"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 мая 2016 г. N 332-ст
4 Настоящий стандарт идентичен международному стандарту ISO/IEC/IEEE 29119-2:2013* "Программная и системная инженерия. Тестирование программного обеспечения. Часть 2. Процессы тестирования" (ISO/IEC/IEEE 29119-2:2013 "Software and systems engineering - Software testing - Part 2: Test processes").
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .
Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5 (пункт 3.5).
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации, сведения о которых приведены в дополнительном приложении ДА
5 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в ГОСТ Р 1.0-2012 (раздел 8). Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) образуют специализированную систему для всемирной стандартизации. Национальные органы по стандартизации, которые являются членами ИСО или МЭК, участвуют в разработке международных стандартов через технические комитеты, созданные соответствующей организацией для определенных областей технической деятельности. Технические комитеты ИСО и МЭК сотрудничают в сферах, представляющих взаимный интерес. Другие международные правительственные и неправительственные организации, связанные с ИСО и МЭК, также принимают участие в работе по разработке стандартов. В сфере информационной технологии ИСО и МЭК учредили совместный технический комитет ИСО/МЭК СТК 1.
Документы стандартов Института Инженеров по Электротехнике и Радиоэлектронике (ИИЭР) разработаны в сообществах и комитетах по координации стандартов ИИЭР, входящих в состав бюро стандартов ассоциации стандартов ИИЭР. ИИЭР разрабатывает свои стандарты на основе одобренного Американским национальным институтом стандартов консенсусного процесса разработки, который для достижения конечного результата объединяет различные точки зрения и интересы добровольцев. Добровольцы не обязательно являются сотрудниками института и работают на безвозмездной основе. При том, что ИИЭР курирует процесс и устанавливает правила обеспечения справедливости в консенсусном процессе разработки, ИИЭР не проводит независимые оценку, испытание или проверку точности какой-либо информации, входящей в состав своих стандартов.
Международные стандарты разрабатываются в соответствии с правилами, приведенными в Директивах ИСО/МЭК, часть 2.
Основная задача совместного технического комитета состоит в подготовке международных стандартов. Проекты международных стандартов, принятые совместным техническим комитетом, распространяются среди национальных органов по стандартизации для вынесения решения. Для публикации в качестве международного стандарта требуется одобрение по крайней мере 75% национальных органов по стандартизации, участвующих в голосовании.
Следует обратить внимание на возможность того, что при внедрении этого стандарта может потребоваться использование предмета, защищенного патентными правами. При публикации настоящего стандарта не рассматривались вопросы существования или соответствия каких-либо связанных со стандартом патентных прав. ИСО/ИИЭР не несет ответственность ни за идентификацию существенных для стандарта патентов или патентных заявок, для которых может требоваться лицензия, ни за расследование юридической правильности или области применения патентов, или патентных заявок, ни за определение каких-либо условий лицензирования или условий предоставления гарантийных писем, или патентных заявлений и форм лицензирования, если таковые имеются, ни за какие-либо приемлемые недискриминационные лицензионные соглашения. Потребители настоящего стандарта должны принять во внимание то, что определение действия каких-либо патентных прав и риска нарушения таких прав полностью лежит на их собственной ответственности. Дополнительная информация может быть получена в ИСО или ассоциации стандартов ИИЭР.
ИСО/МЭК/ИИЭР 29119-2 был подготовлен Подкомитетом 7 "Системная и программная инженерия" совместного технического комитета ИСО/МЭК СТК 1 "Информационные технологии" в сотрудничестве с комитетом по стандартам системной и программной инженерии компьютерного сообщества ИИЭР в соответствии с организационным соглашением о партнерском сотрудничестве по разработке стандартов между ИСО и ИИЭР.
Серия стандартов ИСО/МЭК/ИИЭР 29119 состоит из следующих стандартов под общим названием "Системная и программная инженерия. Тестирование программного обеспечения":
- Часть 1. Понятия и определения;
- Часть 2. Процессы тестирования;
- Часть 3. Документация тестирования;
- Часть 4. Методики тестирования.
Цель создания серии стандартов ИСО/МЭК/ИИЭР 29119 "Тестирование программного обеспечения" состоит в том, чтобы определить общую модель тестирования программного обеспечения, которую может использовать любая организация при выполнении любых форм тестирования программного обеспечения. Она включает в себя описания процессов тестирования, которые определяют процессы тестирования программного обеспечения на организационном уровне, уровне менеджмента тестирования и уровнях динамического тестирования. Кроме того, представлены вспомогательные информативные схемы, описывающие процессы. ИСО/МЭК/ИИЭР 29119 охватывает динамическое тестирование, функциональное и нефункциональное тестирование, ручное и автоматизированное тестирование, тестирование, заданное сценарием, и тестирование без сценария. Процессы, определенные в данной серии международных стандартов, могут использоваться в сочетании с любой моделью жизненного цикла разработки программного обеспечения. Каждый процесс представлен с использованием общего шаблона процесса, определенного в ИСО/МЭК ТО 24774:2010 "Руководство по описанию процессов". Для каждого процесса тестирования определены цели, результаты, действия, задачи и информационные элементы.
_______________
Следует обратить внимание на то, что заглавные буквы используются в настоящем стандарте в названиях процессов и документов, которые определены в ИСО/МЭК/ИИЭР 29119-1 и ИСО/МЭК/ИИЭР 29119-3 (например, Процесс Планирования Тестирования, План Тестирования), тогда как строчные буквы используются для документов, являющихся частями других документов (например, стратегия тестирования проекта - элемент Плана Тестирования Проекта).
Тестирование - это основной подход к обработке рисков в разработке программного обеспечения. Настоящий стандарт придерживается основанного на рисках подхода к тестированию. Тестирование на базе рисков - это наиболее успешный подход к разработке стратегии и менеджмента тестирования, поскольку он позволяет расставить приоритеты тестирования и фокусироваться на самых важных функциях и атрибутах качества.
Концепции и словарь, используемые в данной серии международных стандартов, определены в ИСО/МЭК/ИИЭР 29119-1 "Понятия и определения". Шаблоны и примеры документации тестирования, которая создается в ходе процесса тестирования, определены в ИСО/МЭК/ИИЭР 29119-3 "Документация тестирования". Методы тестирования программного обеспечения, которые могут использоваться в ходе тестирования, определены в ИСО/МЭК/ИИЭР 29119-4 "Методики тестирования".
В целом эта серия международных стандартов дает возможность лицам, ответственным за тестирование программного обеспечения, контролировать и выполнять тестирование программного обеспечения в любой организации.
1 Область применения
Настоящий стандарт определяет процессы тестирования, которые могут быть использованы для руководства, управления и реализации тестирования программного обеспечения для любой организации, проекта или меньшего тестируемого действия. В стандарт включены описания общих процессов тестирования, которые определяют процессы тестирования программного обеспечения. Кроме того, представлены вспомогательные информативные схемы, описывающие процессы.
Настоящий стандарт применим к тестированию для всех моделей жизненного цикла разработки программного обеспечения.
Целевая аудитория настоящего стандарта включает в себя: тестеров, менеджеров тестирования, разработчиков и менеджеров проектов и, особенно, ответственных за руководство, управление и реализацию тестирования программного обеспечения, но не ограничена этим списком.
2 Соответствие
2.1 Предполагаемое соответствие
В разделах 6-8 приведены требования для ряда процессов тестирования, приемлемых для использования в течение всего жизненного цикла программного обеспечения. Допускается, что в конкретных проектах или организациях может не возникать потребность в применении всех процессов, определенных в настоящем стандарте. Поэтому практическая реализация настоящего стандарта обычно заключается в выборе совокупности процессов, пригодных для организации или проекта. Существует два варианта заявления организации о соответствии требованиям настоящего стандарта.
Организация должна определить, требует ли она полного или адаптированного соответствия настоящему стандарту.
2.1.1 Полное соответствие
Полное соответствие достигнуто, если показано удовлетворение всех требований для полного набора процессов, определенных в настоящем стандарте.
2.1.2 Адаптированное соответствие
В случае если настоящий стандарт используется в качестве базы для создания совокупности процессов, которая не претендует на полное соответствие, определяется подмножество процессов, требующих адаптированного соответствия. Адаптированное соответствие достигнуто, если показано удовлетворение всех требований для определенного подмножества процессов.
Если имеет место адаптация, то для каждого случая несоответствия процесса определениям, представленным в разделах 6, 7 и 8, необходимо предоставить обоснование (непосредственное или ссылкой). Все решения по адаптации должны быть документированы с их обоснованием, включая учет любых применимых рисков. Решения по адаптации должны быть согласованы с соответствующими заинтересованными сторонами.
Пример - Если организация придерживается соответствия процессов менеджмента информационных элементов стандартам, таким как ИСО 15489 "Информация и документация. Менеджмент записей" или ИСО 9001 "Система менеджмента качества. Требования", или использует подобные внутренние организационные процессы, то организация может решить использовать те же процессы и для решения задач менеджмента информационных элементов вместо процессов, определенных в настоящем стандарте.
3 Нормативные ссылки
Нормативные документы*, полностью или частично упомянутые в настоящем стандарте, обязательны для их применения. Для датированных документов используют только указанное издание. Для недатированных документов используют самое последнее издание ссылочного документа (с учетом всех его изменений).
_______________
* Таблицу соответствия национальных стандартов международным см. по ссылке. - .
ИСО/МЭК/ИИЭР 29119-1 Системная и программная инженерия. Тестирование программного обеспечения. Часть 1. Понятия и определения (ISO/IEC/IEEE 29119-1, Software and systems engineering - Software testing - Part 1: Concepts and definitions)
ИСО/МЭК/ИИЭР 29119-3 Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования (ISO/IEC/IEEE 29119-3, Software and systems engineering - Software testing - Part 3: Test documentation)
ИСО/МЭК/ИИЭР 29119-4 Системная и программная инженерия. Тестирование программного обеспечения. Часть 4. Методики тестирования (ISO/IEC/IEEE 29119-4, Software and systems engineering - Software testing - Part 4: Test techniques)
_______________
Будет опубликован в ближайшем будущем.
ИСО/МЭК 12207:2008 Системная и программная инженерия. Процессы жизненного цикла программного обеспечения (ISO/IEC 12207:2008, Systems and software engineering - Software life cycle processes)
Другие стандарты, полезные для реализации и интерпретации этого документа, перечислены в элементе "Библиография".
4 Термины и определения
В настоящем стандарте применяют термины по ИСО/МЭК/ИИЭР 24765, а также следующие термины с соответствующими определениями.
Примечание - В настоящем стандарте приводятся термины, используемые для простоты цитирования. Для соответствия настоящему стандарту не требуется обязательное их применение. Нижеследующий список терминов и определений представлен для обеспечения правильного понимания и удобочитаемости настоящего стандарта. В него включены только критически важные для понимания настоящего стандарта термины. Полный список терминов тестирования не является целью данного раздела. Для терминов, не определенных в этом разделе, следует пользоваться словарем системной и программной инженерии ИСО/МЭК/ИИЭР 24765. Он доступен на веб-сайте: http://www.computer.org/sevocab. Все термины, определенные в данном разделе, также преднамеренно включены в ИСО/МЭК/ИИЭР 29119-1, поскольку в этот стандарт входят все термины, использованные в частях 1, 2, 3 и 4 серии стандартов ИСО/МЭК/ИИЭР 29119.
4.1 фактические результаты (actual results): Совокупность поведения или условий элемента тестирования, или совокупность условий, связанных данных или тестовой среды, полученные в результате выполнения теста.
Пример - Вывод на экран, вывод на аппаратные средства, изменения в данных, отчеты и отправленные информационные сообщения.
4.2 критерии завершения (completion criteria): Условия, при которых действия тестирования считают завершенными.
4.3 элемент покрытия (coverage item): См. термин "элемент тестового покрытия" согласно 4.33.
4.4 динамическое тестирование (dynamic testing): Тестирование, которое требует выполнения кода программы.
4.5 раздел эквивалентности (equivalence partition): Подмножество области значений переменной или совокупности переменных внутри элемента тестирования или на его интерфейсах, такое, что можно обоснованно ожидать, что все значения подмножества будут обработаны элементом тестирования подобным образом (т.е. они могут считаться "эквивалентными").
4.6 покрытие раздела эквивалентности (equivalence partition coverage): Доля идентифицированных разделов эквивалентности элемента тестирования, которая покрывается набором тестов.
Примечание - В большинстве случаев идентификация разделов эквивалентности субъективна (особенно в разбиении "недопустимых" разделов); таким образом, окончательный подсчет числа разделов эквивалентности для элемента тестирования может быть невозможен.
4.7 разбиение эквивалентности (equivalence partitioning): Метод проектирования тестирования, при котором контрольные примеры разработаны таким образом, чтобы проверить разделы эквивалентности с помощью одного или более представительных элементов каждого раздела.
4.8 ожидаемый результат (expected result): Характерное предсказанное поведение элемента тестирования при указанных условиях на основе его спецификации или другого источника.
4.9 исследовательское тестирование (exploratory testing): Тестирование, основанное на опыте, при котором тестер спонтанно разрабатывает и выполняет тестирования на основе существующих соответствующих знаний тестера, предшествующих исследований элемента тестирования (включая и результаты предыдущих тестирований) и эвристических "эмпирических правил" для общего поведения программного обеспечения и типов отказа.
Примечание - Исследовательское тестирование направлено на выявление скрытых свойств (включая и скрытое поведение), которые сами по себе, с одной стороны, вполне возможно безобидны, но, с другой стороны, могут повлиять на другие свойства тестируемого программного обеспечения, и тем увеличить риск того, что программное обеспечение перестанет работать.
4.10 набор функций (feature set): Логическое подмножество элемента(ов) тестирования, которое может быть обработано независимо от других наборов функций в последующих действиях проекта тестирования.
Примечание - Это может быть набор всех функций элемента (полный набор его функций) или подмножество, определенное для конкретной цели (совокупность функциональных возможностей и т.д.).
4.11 Отчет об Инциденте (Incident Report): Документация по инциденту о его проявлении, природе и состоянии.
Примечание - Отчеты об инцидентах также могут называться отчетами об аномалиях, отчетами об ошибках, дефектными отчетами, сообщениями об ошибках, проблемами, проблемными отчетами, отчетами об отказах и т.д.
4.12 тестирование производительности (performance testing): Тип тестирования, проводимого для оценки степени, в которой элемент тестирования выполняет свои определенные функции при заданных ограничениях времени и других ресурсах.
4.13 Организационный Процесс Тестирования (Organizational Test Process): Процесс тестирования для разработки и управления организационными спецификациями тестирования.
4.14 Организационная Политика Тестирования (Organizational Test Policy): См. "Политика Тестирования" согласно 4.55.
4.15 Организационная Спецификация Тестирования (Organizational Test Specification): Документ, в котором представлена информация о тестировании для организации, т.е. информация, которая не специфична для проекта.
Пример - Наиболее общими примерами Организационной Спецификации Тестирования являются Организационная Политика Тестирования и Организационная Стратегия Тестирования.
4.16 Организационная Стратегия Тестирования (Organizational Test Strategy): Документ, в котором изложены универсальные требования к тестированиям, которые будут выполняться для всех проектов организации, а также подробности того, как следует проводить тестирование.
Примечания
1 Организационная Стратегия Тестирования согласована с Организационной Политикой тестирования.
2 Для покрытия существенно различных контекстов проектов у организации может быть более одной Организационной Стратегии Тестирования.
4.17 риск продукта (product risk): Риск того, что продукт может иметь дефект в некотором определенном аспекте его функций, качества или структуры.
4.18 риск проекта (project risk): Риск, относящийся к менеджменту проекта.
Пример - Отсутствие укомплектования персоналом, строгие крайние сроки, изменения требований.
4.19 регрессионное тестирование (regression testing): Тестирование после изменений элемента тестирования или его рабочей среды для определения того, происходят ли регрессионные отказы.
Примечание - Достаточное количество регрессионных тестов зависит от тестируемого элемента и изменений этого элемента или его рабочей среды.
4.20 повторное тестирование (retesting): Повторное выполнение контрольных примеров, для которых ранее был получен результат "сбоя", для оценки эффективности произведенных корректирующих действий.
Примечания
1 Повторное тестирование часто сочетается с регрессионным тестированием.
2 Используется также термин "тестирование подтверждения".
4.21 тестирование на базе рисков (risk-based testing): Тестирование, для которого менеджмент, выбор, расстановка приоритетов и использование действий и ресурсов тестирования преднамеренно основаны на базе проанализированных рисков соответствующих типов и уровней.
4.22 тестирование защищенности (security testing): Тип тестирования, проводимый для оценки степени защищенности элемента тестирования и связанных с ним данных и информации от доступа посторонних лиц или систем для использования, чтения или изменения их при том, что доверенным лицам или системам доступ к ним обеспечивается.
4.23 тестирование по сценарию (scripted testing): Тестирование, выполняемое на основе задокументированного сценария.
Примечание - Этот термин обычно применяется для тестирования, выполняемого вручную, а не для выполнения автоматизированного сценария.
4.24 статическое тестирование (static testing): Тестирование, при котором элемент тестирования анализируется с использованием совокупности критериев качества или других свойств без выполнения кода.
Пример - Ревизия, статический анализ.
4.25 стрессовое тестирование (stress testing): Тип тестирования уровня производительности, проводимого для оценки поведения элемента тестирования при условиях загрузки выше ожидаемой или указанной в требованиях к производительности, или при доступности ресурсов ниже минимальной, указанной в требованиях.
4.26 базис тестирования (test basis): Свод знаний, используемых в качестве базы проекта тестирования и контрольных примеров.
Примечания
1 Базис тестирования может иметь форму документов, таких как спецификация требований, спецификация проекта или спецификация модуля, но может также представлять собой недокументированное понимание требуемого поведения.
2 Для тестирования на основе спецификации базис тестирования используется для получения как входа тестирования, так и ожидаемых результатов, тогда как для тестирования на основе структуры базис тестирования используется исключительно для получения ожидаемых результатов.
4.27 контрольный пример (test case): Совокупность предварительных условий контрольного примера, входы (включая действия, где это применимо) и ожидаемые результаты, разработанная для управления выполнением элемента тестирования для достижения целей тестирования, включая корректную реализацию, идентификацию ошибок, проверку качества и получение другой значимой информации.
Примечание - Контрольный пример - это самый низкий уровень входа тестирования (т.е. контрольные примеры не состоят из других контрольных примеров).
4.28 Спецификация Контрольного Примера (Test Case Specification): Документация одного или большего количества контрольных примеров.
4.29 Процесс Выполнения Тестирования (Test Completion Process): Процесс менеджмента тестирования, необходимый для обеспечения доступности полезных активов тестирования для дальнейшего использования, обеспечения удовлетворительного состояния тестовых сред, гарантии документирования и передачи соответствующим заинтересованным сторонам результатов тестирования.
4.30 Отчет о Завершении Тестирования (Test Completion Report): Отчет, в котором представлена сводка выполненного тестирования.
4.31 тестовое условие (test condition): Тестируемый аспект компонента или системы, такой как функция, транзакция, функция, атрибут качества или структурный элемент, идентифицированные как базис тестирования.
Примечание - Тестовые условия могут быть использованы для получения элементов покрытия или же могут сами по себе образовывать элементы покрытия.
4.32 тестовое покрытие (test coverage): Степень, выраженная в процентах, в которой специфицированные элементы тестового покрытия были проверены контрольным(и) примером(ами).
4.33 элемент тестового покрытия (test coverage item): Атрибут или комбинация атрибутов, которые являются производными одного или более тестовых условий, полученными посредством методики проектирования тестирования, которая позволяет оценить основательность выполнения теста.
4.34 тестовые данные (test data): Созданные или отобранные данные, удовлетворяющие входным требованиям для выполнения одного или более контрольных примеров, которые могут быть определены в плане тестирования, контрольном примере или процедуре тестирования.
Примечание - Тестовые данные могут храниться в тестируемом продукте (например, в массивах, плоских файлах или базе данных) или же могут быть доступны из внешних источников и предоставлены такими источниками, как другие системы, другие компоненты системы, устройства или операторский персонал.
4.35 Отчет о Готовности Тестовых Данных (Test Data Readiness Report): Документ, описывающий состояние каждого требования к тестовым данным.
4.36 Процесс Разработки и Реализации Тестирования (Test Design and Implementation Process): Процесс тестирования для получения и определения контрольных примеров и процедур тестирования.
4.37 Спецификация Проекта Тестирования (Test Design Specification): Документ, определяющий функции, которые будут проверены, и соответствующие тестовые условия.
4.38 методика проектирования тестирования (test design technique): Действия, понятия, процессы и шаблоны, необходимые для создания модели тестирования, которая используется для определения тестовых условий для элемента тестирования, для получения соответствующих элементов тестового покрытия, а далее для разработки или выбора контрольных примеров.
4.39 тестовая среда (test environment): Различные средства, аппаратное и программное обеспечение, встроенное микропрограммное обеспечение, процедуры и документация, предназначенные или используемые для выполнения тестирования программного обеспечения.
4.40 Отчет о Готовности Тестовой Среды (Test Environment Readiness Report): Документ, который описывает состояние каждого требования к среде.
4.41 Требования к Тестовой Среде (Test Environment Requirements): Описание необходимых свойств тестовой среды.
Примечание - Все или часть требований к тестовой среде могут иметь ссылки, необходимые для поиска информации, например, ссылку на соответствующую Организационную Стратегию Тестирования, План Тестирования и/или Спецификацию Тестирования.
4.42 Процесс Установки Тестовой Среды (Test Environment Set-up Process): Процесс динамического тестирования для установки и поддержания требуемой тестовой среды.
4.43 выполнение теста (test execution): Процесс выполнения теста на элементе тестирования, приводящий к фактическим результатам.
4.44 Журнал Выполнения Теста (Test Execution Log): Документ, в который записываются детали выполнения одной или более процедур тестирования.
4.45 Процесс Выполнения Теста (Test Execution Process): Процесс динамического тестирования для выполнения процедур тестирования, созданных в процессе разработки и реализации тестирования в подготовленной тестовой среде, и записи результатов.
4.46 Процесс Отчетности об Инцидентах Тестирования (Test Incident Reporting Process): Процесс динамического тестирования для создания отчетов для соответствующих заинтересованных сторон о проблемах, требующих дальнейших действий, которые были идентифицированы во время процесса выполнения теста.
4.47 элемент тестирования (test item): Рабочий продукт, который является объектом тестирования.
Пример - Система, элемент программного обеспечения, документ требований, разрабатываемая спецификация, руководство пользователя.
4.48 уровень тестирования (test level): Конкретная реализация подпроцесса тестирования.
Пример - Как подпроцессы тестирования можно рассматривать следующие общие уровни тестирования: уровень/подпроцесс покомпонентного тестирования, уровень/подпроцесс интеграционного теста, уровень/подпроцесс тестирования системы, уровень/подпроцесс приемочного испытания.
Примечание - Синонимом термина "уровень тестирования" является фаза тестирования.
4.49 менеджмент тестирования (test management): Планирование, составление графика, оценка, мониторинг, отчетность, управление и выполнение действий по тестированию.
4.50 Процесс Менеджмента Тестирования (Test Management Process): Процесс тестирования, содержащий подпроцессы, необходимые для менеджмента проекта тестирования.
Примечание - См. Процесс Планирования Тестирования, Процесс Мониторинга и Управления тестированием, процесс завершения тестирования.
4.51 Процесс Мониторинга и Управления Тестированием (Test Monitoring and Control Process): Процесс менеджмента тестирования для обеспечения соответствия выполнения тестирования плану тестирования и организационным спецификациям тестирования.
4.52 фаза тестирования (test phase): Определенная реализация подпроцесса тестирования.
Примечание - Фазы тестирования означают то же, что и уровни тестирования, поэтому примеры фаз тестирования совпадают с уровнями тестирования (например, фаза/подпроцесс тестирования системы).
4.53 План Тестирования (Test Plan): Подробное описание требуемых целей тестирования, средств и расписания их достижения, предназначенное для координации тестирующих действий для отдельного элемента тестирования или совокупности элементов тестирования.
Примечания
1 В проект может входить более одного плана тестирования, например, может быть план тестирования проекта (также именуемый основным планом тестирования), который охватывает все тестирующие действия для проекта, а более подробная информация об определенных действиях тестирования может быть определена в одном или более планах подпроцессов тестирования (т.е. план тестирования системы или план теста производительности).
2 Планы тестирования могут содержать деятельность, выходящую за рамки проекта, например, план тестирования обслуживания.
4.54 Процесс Планирования Тестирования (Test Planning Process): Процесс Менеджмента Тестирования, используемый для выполнения планирования тестирования и разработки Планов Тестирования.
4.55 Политика Тестирования (Test Policy): Руководящий документ, в котором описаны назначение, цели и полная предметная область применения тестирования в организации.
Примечания
1 Политика Тестирования определяет, какое тестирование следует выполнять и что от него ожидают, но не детализирует, как тестирование должно быть выполнено.
2 Политика Тестирования может обеспечить основы для разработки, анализа и постоянного улучшения тестирования в организации.
4.56 процедура тестирования (test procedure): Последовательность контрольных примеров в порядке выполнения и любые связанные действия, которые могут потребоваться, чтобы установить начальные предпосылки и успешно выполнить завершающие действия после окончания тестирования.
Примечание - Процедуры тестирования включают в себя подробные инструкции для выполнения одного или более наборов контрольных примеров, выбранных для последовательного выполнения, а также для установки общих исходных условий, обеспечения входа и оценки фактического результата для каждого выбранного контрольного примера.
4.57 Спецификация Процедуры Тестирования (Test Procedure Specification): Документ, определяющий одну или более процедур тестирования, которые представляют собой наборы контрольных примеров для выполнения с определенной целью.
Примечания
1 Контрольные примеры в наборе тестов перечислены в порядке, требуемом процедурой тестирования.
2 Также имеет название сценария ручного тестирования. Спецификацию процедуры тестирования для автоматизированного тестового прогона обычно называют сценарием тестирования.
4.58 процесс тестирования (test process): Процесс, обеспечивающий информацией о качестве программного продукта, зачастую состоящий из множества действий, сгруппированных в один или несколько подпроцессов тестирования.
4.59 результат тестирования (test result): Индикатор того, прошел ли определенный контрольный пример успешно или нет, т.е. соответствует ли фактический результат элемента тестирования ожидаемому результату или наблюдались отклонения.
4.60 тестовое требование (test requirement): См. "тестовое условие" согласно 4.31.
4.61 сценарий тестирования (test script): Спецификация процедуры тестирования для ручного или автоматизированного тестирования.
4.62 набор тестов (test set): Набор контрольных примеров для конкретных целей тестирования.
Примечания
1 В наборах тестов обычно отражаются совокупности функций, однако они могут содержать контрольные примеры для многих совокупностей функций.
2 Контрольные примеры для набора тестов могут быть отобраны на основе идентифицированных рисков, базиса тестирования, результатов повторного тестирования и/или регрессионного тестирования.
4.63 спецификация тестирования (test specification): Подробная документация проекта тестирования, контрольных примеров и процедур тестирования для конкретного элемента тестирования.
Примечание - Спецификация тестирования может быть представлена одним документом, набором документов или другими способами, например записями базы данных и документами.
4.64 метод спецификации тестирования (test specification technique): См. "метод проектирования тестирования" согласно 4.38.
4.65 Отчет о Ходе Тестирования (Test Status Report): Отчет, который предоставляет информацию о состоянии тестирования, выполняемого в указанный отчетный период.
4.66 стратегия тестирования (test strategy): Часть Плана Тестирования, в которой описан подход к тестированию определенного проекта тестирования или процессам и подпроцессам тестирования.
Примечания
1 Стратегия тестирования - это производная от Организационной Стратегии Тестирования.
2 Стратегия тестирования обычно определяет некоторые или все из следующих аспектов: используемые методики тестирования, реализуемые тестовые подпроцессы, повторное тестирование и регрессионное тестирование, которые будут использованы, методы проектирования тестирования, соответствующие критерии завершения тестирования, тестовые данные, тестовую среду, требования к инструментам тестирования и ожидаемые результаты тестирования.
4.67 подпроцесс тестирования (test sub-process): Процессы менеджмента тестирования и процессы динамического (и статического) тестирования, используемые для выполнения определенного уровня тестирования (например, тестирование системы, приемочные испытания) или его определенного типа (например, тестирование удобства использования, тестирование производительности) обычно в контексте полного процесса тестирования.
Примечание - В подпроцесс тестирования могут быть включены один или несколько типов тестирования. Обычно в зависимости от используемой модели жизненного цикла подпроцессы тестирования также называют фазами тестирования, уровнями тестирования, этапами тестирования или задачами тестирования.
4.68 методика тестирования (test technique): См. термин "методика проектирования тестирования" согласно 4.38.
4.69 тип тестирования (test type): Совокупность тестирующих действий, которая фокусируется на определенных показателях качества.
Примечание - Тип тестирования может быть выполнен одиночным подпроцессом тестирования или несколькими подпроцессами тестирования (например, тестирование производительности, выполненное в ходе подпроцесса покомпонентного тестирования и подпроцесса тестирования системы).
Примеры - Тестирование защищенности, функциональное тестирование, тестирование удобства использования и тестирование производительности.
4.70 тестирование (testing): Набор операций, проводимых для обеспечения выявления и/или оценки свойств одного или более элементов тестирования.
Примечание - Действия тестирования могут включать в себя планирование, подготовку, выполнение, создание отчетов и менеджмент, поскольку все они направлены на тестирование.
5 Многоуровневая модель процесса тестирования
Настоящий стандарт разделяет действия тестирования, которые могут быть выполнены во время жизненного цикла программной системы, на три группы процессов, как это показано на рисунке 1. Каждый из процессов в этих группах описан с точки зрения его целей и необходимых результатов, а также для него перечислены действия и задачи, которые должны быть выполнены.
Рисунок 1 - Уровни процессов тестирования
Задачи процессов каждого уровня:
a) Организационный Процесс Тестирования (раздел 6):
1) Определение процесса создания и поддержки Организационных Спецификаций Тестирования, таких как Организационные Политики Тестирования, стратегии, процессы, процедуры и другие активы;
b) Процессы Менеджмента Тестирования (раздел 7):
1) Определение процессов, которые охватывают менеджмент тестирования в рамках всего проекта тестирования, любой фазы тестирования (например, тестирование системы) или любого типа тестирования (например, тестирование производительности) в составе проекта тестирования (менеджмент тестирования проекта, менеджмент тестирования системы, менеджмент тестирования производительности);
2) Процессы Менеджмента Тестирования:
- Процесс Планирования Тестирования (см. 7.2);
- Процесс Мониторинга и Управления Тестированием (см. 7.3);
- Процесс Завершения Тестирования (см. 7.4);
c) Процессы Динамического Тестирования (раздел 8):
1) Определение общих процессов для выполнения динамического тестирования. Динамическое тестирование может быть выполнено в ходе определенной фазы тестирования (например, тестирования компонентов, интеграционного тестирования, тестирования системы и приемосдаточных испытаний) или для определенного типа тестирования (например, тестирования производительности, тестирования защищенности и функционального тестирования) в составе проекта тестирования;
2) Процессы Динамического Тестирования:
- Процесс Разработки и Реализации Тестирования (см. 8.2);
- Процесс Установки и Поддержки Тестовой Среды (см. 8.3);
- Процесс Выполнения Теста (см. 8.4);
- Процесс Отчетности об Инцидентах Тестирования (см. 8.5).
Примечание - В ИИЭР 1012 вместо термина "Процесс Динамического Тестирования" используется термин "Процесс тестирования".
Уровни модели процесса тестирования содержат разное число процессов тестирования, как показано на рисунке 2.
Рисунок 2 - Многоуровневая модель, в которой показаны все процессы тестирования
6 Организационный Процесс Тестирования
6.1 Введение
Организационный Процесс Тестирования используется для разработки и управления Организационными Спецификациями Тестирования. Эти спецификации обычно охватывают тестирование в рамках целой организации (т.е. они не базируются на проекте). Организационная Политика Тестирования и Организационная Стратегия Тестирования - это примеры Организационных Спецификаций Тестирования. Организационный Процесс Тестирования является общим и может быть использован для разработки и управления другими специфическими непроектными документами тестирования, такими как стратегия тестирования программ, применимыми во многих соответствующих проектах.
Организационная Политика Тестирования - это руководящий документ, в котором описаны назначение, цели и полная предметная область применения тестирования в организации. Он также устанавливает Организационные Методики Тестирования и обеспечивает основы создания, рассмотрения и постоянного совершенствования в организации Политики Тестирования, Стратегии Тестирования и подхода к Менеджменту Проекта тестирования.
Организационная Стратегия Тестирования - это подробный технический документ, в котором определяется, как в организации выполняется тестирование. Это общий документ, в котором представлены руководящие указания для множества проектов в организации и который не специфичен для конкретного проекта.
На рисунке 3 показана типичная ситуация использования Организационного Процесса Тестирования для создания и поддержки как Политики Тестирования организации, так и Стратегии Тестирования организации. На рисунке 3 видно, как два процесса организационного уровня взаимодействуют друг с другом. Организационная Стратегия Тестирования должна быть согласована с Организационной Политикой Тестирования. Обратная связь из Организационной Стратегии Тестирования в Политику Тестирования может быть использована для совершенствования процессов. Точно так же Процессы Менеджмента Тестирования, используемые в каждом из проектов в организации, должны быть согласованы с Организационной Стратегией Тестирования (и с Политикой Тестирования), а обратная связь из менеджмента этих проектов используется для совершенствования Организационного Процесса Тестирования, который формулирует и поддерживает Организационные Спецификации Тестирования.
Рисунок 3 - Пример реализации организационного процесса тестирования
6.2 Организационный Процесс Тестирования
6.2.1 Общие сведения
Организационный Процесс Тестирования включает в себя действия по созданию, анализу и поддержке Организационных Спецификаций Тестирования. Он также охватывает мониторинг организационного соответствия с ними, как это показано на рисунке 4.
6.2.2 Цель
Цель Организационного Процесса Тестирования состоит в разработке, мониторинге соответствия и поддержке организационных спецификаций тестирования, таких как Организационная Политика Тестирования и Организационная Стратегия Тестирования.
6.2.3 Результаты
Результаты успешной реализации Организационного Процесса Тестирования:
a) определены требования для организационных спецификаций тестирования;
b) разработаны организационные спецификации тестирования;
c) организационные спецификации тестирования согласованы с заинтересованной стороной(ами);
d) обеспечена доступность организационных спецификаций тестирования;
e) осуществляется мониторинг соответствия организационным спецификациям тестирования;
Рисунок 4 - Организационный процесс тестирования
f) обновления организационных спецификаций тестирования согласованы с заинтересованной(ыми) стороной(ами);
g) реализованы обновления организационных спецификаций тестирования.
6.2.4 Действия и задачи
В соответствии с применимыми организационными политиками и процедурами по Организационному Процессу Тестирования лицо, ответственное за организационные спецификации тестирования, должно реализовать следующие действия и задачи.
6.2.4.1 Разработка Организационной Спецификации Тестирования (ОТ1)
Эта деятельность состоит из следующих задач:
a) Исходя из текущей практики тестирования внутри организации, из требований заинтересованных сторон и/или из разработок другими средствами должны быть определены требования к организационным спецификациям тестирования.
Примечание - Это может быть выполнено путем анализа соответствующих исходных документов, посредством рабочих совещаний, опросов или других подходящих средств.
b) Требования к организационной спецификации тестирования должны использоваться для создания организационной спецификации тестирования.
c) Необходимо получить одобрение содержания организационной спецификации тестирования от заинтересованных сторон.
d) Информация о готовности Организационной Спецификации Тестирования должна быть доведена до заинтересованных сторон в организации.
6.2.4.2 Мониторинг и управление использованием Организационной Спецификации Тестирования (ОТ2)
Эта деятельность состоит из следующих задач:
а) Мониторинг использования Организационной Спецификации Тестирования необходим для оценки эффективности ее использования в организации.
b) Должны быть приняты соответствующие меры для поощрения заинтересованных сторон за соответствие организационной спецификации тестирования.
6.2.4.3 Обновление Организационной Спецификации Тестирования (ОТЗ)
Эта деятельность состоит из следующих задач:
a) Необходим анализ обратной связи по использованию организационной спецификации тестирования.
b) Должна быть рассмотрена эффективность использования и менеджмент организационной спецификации тестирования, определены и утверждены необходимые для повышения эффективности обратная связь и изменения.
Примечание - Это может быть выполнено путем анализа обратной связи, посредством рабочих совещаний, опросов или других подходящих средств.
c) Все изменения в организационной спецификации тестирования должны быть определены и утверждены, а также реализованы.
d) Информация обо всех изменениях в организационной спецификации тестирования должна быть распространена по всей организации, включая и заинтересованные стороны.
6.2.5 Информационные элементы
В результате выполнения этого процесса должен быть создан следующий информационный элемент:
а) Организационная Спецификация Тестирования.
Пример - Организационная Политика Тестирования, Организационная Стратегия Тестирования.
7 Процессы Менеджмента Тестирования
7.1 Введение
Имеют место три процесса менеджмента тестирования:
a) планирование тестирования;
b) мониторинг и управление тестированием;
c) завершение тестирования.
Эти общие процессы менеджмента тестирования применимы на уровне проекта (менеджмент тестирования проекта), для менеджмента тестирования в различных фазах тестирования (например, менеджмент тестирования системы, менеджмент приемочного испытания) и для управления различными типами тестирования (например, менеджмент теста производительности, менеджмент тестирования удобства использования).
Применительно к уровню менеджмента тестирования проекта эти процессы менеджмента тестирования используются на базе плана тестирования проекта для управления тестированием всего проекта. Во многих проектах каждая из отдельных фаз тестирования и каждый из типов требует отдельного применения процессов менеджмента тестирования к управлению ими, базируясь, обычно, на конкретных планах тестирования, таких как план тестирования системы, план тестирования надежности и план приемочного испытания.
Рисунок 5 иллюстрирует связи между тремя процессами менеджмента тестирования и то, как они взаимодействуют с организационным процессом тестирования, другими приложениями процессов менеджмента тестирования и процессами динамического тестирования.
Процессы менеджмента тестирования должны соответствовать результатам организационного процесса тестирования, таким как Организационная Политика Тестирования и Организационная Стратегия Тестирования. На базе практической реализации этих результатов процессы менеджмента тестирования могут обеспечить организационному процессу тестирования обратную связь.
Рисунок 5 - Взаимосвязь процессов менеджмента тестирования (пример)
7.2 Процесс Планирования Тестирования
7.2.1 Общие сведения
Процесс Планирования Тестирования используется для разработки Плана Тестирования. В зависимости от того, где в проекте реализуется этот процесс, план может быть Планом Тестирования Проекта или планом тестирования для конкретной фазы, таким, как План Тестирования Системы, или планом тестирования конкретного типа, таким, как План Теста Производительности.
Для создания Плана Тестирования необходимо выполнить действия, показанные на рисунке 6. Поскольку содержание плана тестирования становится доступным по мере выполнения определенных действий, то проект плана тестирования разрабатывается постепенно до тех пор, пока не будет окончательно документирован полный план тестирования. Из-за итеративной природы процесса многие из действий, показанных на рисунке 6, должны быть выполнены повторно перед тем, как полный план тестирования может быть завершен. Как правило, для получения приемлемого плана тестирования действия ТР3, ТР4, ТР5 и ТР6 должны быть выполнены неоднократно.
Возможно, в течение тестирования в план тестирования нужно будет внести изменения в соответствии с результатами реализации плана и новой ставшей доступной информацией. Для поддержки плана тестирования в зависимости от масштаба и природы изменений ряд действий, показанных на рисунке 6, необходимо будет выполнить повторно.
Например, если после того, как выработан первоначальный план тестирования, выяснилось, что для проекта или поставляемого продукта появились новые риски или изменились угрозы ранее выявленных рисков, то процесс должен повторно войти в действие "Определить и изучить риски" (ТРЗ).
Рисунок 6 - Процесс Планирования Тестирования
Если будет необходимо изменить стратегию тестирования по причинам, отличным от рисков (например, необходимо использовать другую тестовую среду), то процесс должен повторно войти в действие "Разработать стратегию тестирования" (ТР5).
Если возникла необходимость изменения штатного персонала или графика тестирования по причинам, отличным от рисков (например, возможность получения элементов тестирования от разработчиков), то процесс должен повторно войти в действие "Определить персонал и график" (ТР6).
7.2.2 Цель
Цель Процесса Планирования Тестирования состоит в том, чтобы разработать, согласовать, документировать и передать соответствующим заинтересованным сторонам объем работ и предполагаемый подход к тестированию, включая раннюю идентификацию ресурсов, сред и других требований тестирования.
7.2.3 Результаты
В результате успешной реализации Процесса Планирования Тестирования:
a) проанализирован и уяснен объем работ проекта тестирования;
b) определены и информированы заинтересованные стороны, которые будут участвовать в планировании тестирования;
c) идентифицированы, проанализированы и классифицированы риски, которые могут быть обработаны при тестировании, с согласованным уровнем воздействия рисков;
d) определены стратегия тестирования, тестовая среда, инструменты тестирования и потребности в тестовых данных;
Пример - Инструменты, специальное оборудование, тестовая среда, офис.
е) определены потребности в персонале и обучении;
f) спланировано каждое действие;
g) рассчитаны оценки и документированы обоснования оценок;
Пример - Оценки стоимости, персонала и времени.
h) план тестирования согласован со всеми заинтересованными сторонами и доведен до них.
7.2.4 Действия и задачи
В соответствии с принятыми организационными политиками и процедурами по Процессу Планирования Тестирования лицо(а), ответственное(ые) за планирование тестирования, должно(ы) реализовать следующие действия и задачи.
7.2.4.1 Уяснить контекст (ТР1)
Эта деятельность состоит из следующих задач:
a) Для поддержки подготовки Плана Тестирования необходимо достигнуть понимания контекста и требований к тестированию.
Примечания
1 В требования тестирования программного обеспечения входит идентификация элемента(ов) тестирования.
2 Может быть использована следующая документация:
1) организационные спецификации тестирования, такие как Организационная Политика Тестирования и Организационная Стратегия Тестирования;
2) план управления проектами для получения информации, которая может влиять на тестирование, такое как выделенные бюджет и ресурсы для тестирования;
3) планы тестирования более высокого уровня (например, план тестирования проекта при планировании тестирования более низкого уровня, такого, как тестирование системы) для определения требований и ограничений на этом уровне тестирования, таких как оценки тестирования, штат, ожидаемые результаты и сроки;
4) применимые нормативные стандарты для получения информации о правилах, которые могут повлиять на тестирование;
5) документация продукта, такая как спецификации системных требований, цели в области качества, определенные показателями качества системы и спецификациями элемента тестирования, для получения информации, которая касается возможных требований тестирования для этой фазы или типа тестирования;
6) показатели качества, определенные в ИСО/МЭК 25010 "Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программного обеспечения";
7) план разработки программного обеспечения для получения информации, которая может повлиять на сроки или циклы тестирования временных шкал или циклов, такой как ожидаемые результаты и сроки разработки;
8) реестр рисков проекта для получения информации об идентифицированных рисках проекта и продукта;
9) план верификации и валидации.
b) Понимания контекста и требований тестирования программного обеспечения необходимо достигнуть, определив соответствующие заинтересованные стороны и взаимодействуя с ними.
c) Необходимо инициировать план обмена информацией и документировать способы связи.
Примечание - Деятельность "Уяснить контекст" будет продолжаться на протяжении жизни проекта. Задачи этого действия могут, в принципе, быть выполнены в любом порядке.
7.2.4.2 Организовать разработку Плана Тестирования (ТР2)
Эта деятельность состоит из следующих задач:
a) Необходимо идентифицировать и запланировать на базе требований тестирования, идентифицированных в деятельности "Уяснить контекст" (ТР1), те действия, которые нужно выполнить для завершения планирования тестирования.
b) Необходимо определить заинтересованные стороны, требуемые для участия в этих действиях.
c) Действия, график и участники должны быть утверждены соответствующими заинтересованными сторонами.
Пример - Менеджер проектов и/или менеджер тестирования проекта.
Примечание - Это может потребовать повторения задач а) и b).
d) Нужно организовать участие заинтересованной стороны.
Пример - Запросить менеджера проекта запланировать встречу для анализа стратегии тестирования.
7.2.4.3 Определить и изучить риски (ТРЗ)
Эта деятельность состоит из следующих задач:
a) Все ранее выявленные риски должны быть изучены с целью идентификации тех из них, которые касаются и/или могут быть обработаны при тестировании программного обеспечения.
Пример - Риски, занесенные в реестр рисков проекта.
b) Необходимо идентифицировать дополнительные риски, которые касаются и/или могут быть обработаны при тестировании программного обеспечения.
Примечания
1 Информация о любых идентифицированных рисках, не связанных с тестированием программного обеспечения, должна быть передана соответствующим заинтересованным сторонам.
2 Это может быть выполнено путем анализа спецификации продукта и другой надлежащей документации, посредством рабочих совещаний, опросов или других подходящих средств.
c) Нужно классифицировать риски, используя надлежащую систему классификации, которая, как минимум, обеспечивает различие между рисками продукта и рисками проекта.
d) Каждому риску должен быть присвоен уровень воздействия (на основе анализа его влияния и вероятности).
e) Результаты такой оценки степени риска должны быть утверждены заинтересованными сторонами.
f) Результаты такой оценки степени риска должны быть документированы.
Пример - Реестр рисков проекта в плане тестирования.
7.2.4.4 Определить подходы к обработке рисков (ТР4)
Эта деятельность состоит из следующих задач:
a) Необходимо на основе типа риска, классификации и уровня подверженности риску идентифицировать соответствующие средства обработки.
Примечание - В надлежащие средства могут входить фазы тестирования, типы тестирования, методы проектирования тестирования, критерии завершения тестирования и т.д. На практике можно рассматривать понятие критичности программного обеспечения, определенное в ИСО/МЭК 15026 или ИИЭР 1012:2012. В случаях если для тестирования известны ограничения (такие, как время и стоимость), обработка рисков с низкими уровнями воздействия, которые, как предполагается, не будут обработаны при таких ограничениях, будут идентифицироваться как выходящие за рамки применения по причине ограничений.
b) Результаты обработки рисков должны быть документированы.
Пример - В плане тестирования, в реестре риска проекта.
7.2.4.5 Разработать Стратегию Тестирования (ТР5)
Эта деятельность состоит из следующих задач:
a) Необходимо произвести первоначальную оценку ресурсов, требуемых для реализации требований, определенных организационными спецификациями тестирования, такими как Организационная Стратегия Тестирования и Организационная Политика Тестирования. Должны быть учтены требования, предъявляемые стратегиями тестирования более высокого уровня относительно рассматриваемого проекта.
Примечание - Особое значение имеют оценки требуемых усилий и необходимого времени.
b) Необходимо произвести первоначальную оценку ресурсов, требуемых для выполнения отдельных действий по обработке, идентифицированных в действии "Определить подходы к обработке рисков" (ТР4), начиная с тех, которые соответствуют рискам с самыми высокими уровнями воздействия, как это было определено в действии "Определить и изучить риски" (ТРЗ).
Примечание - Из особого значения оценки усилия и требуемое прошедшее время.
c) С учетом базиса тестирования, рисков и ограничений организации, проекта и продукта нужно разработать стратегию тестирования (в том числе, выбрать фазу тестирования, тип тестирования, проверяемые функции, методы проектирования тестирования, критерии завершения тестирования и критерии приостановки и возобновления).
Примечания
1 При этом для определения приоритетов действий тестирования во внимание принимается уровень подверженности риску, начальные оценки тестирования, необходимые для выполнения действий ресурсы (например, навыки, инструменты поддержки и требования среды) и ограничения организации, проекта и продукта, такие как:
a) нормативные стандарты;
b) требования Организационной Политики Тестирования, Организационной Стратегии Тестирования и Плана Тестирования Проекта (при разработке стратегии тестирования более низкого уровня);
c) договорные требования;
d) ограничения сроков и стоимости проекта;
e) готовность соответственно квалифицированных тестеров;
f) готовность инструментов и сред;
g) технические ограничения системы или продукта.
Если невозможно разработать стратегию тестирования, которая реализует все требования Организационной Стратегии Тестирования и рекомендации по обработке всех идентифицированных рисков, а кроме того и удовлетворяет ограничениям проекта и продукта, то необходимо выбрать такую стратегию тестирования, которая лучше всего удовлетворяет эти конфликтные требования. То, как этот компромисс будет достигнут, зависит от проекта и от организации и может потребовать ослабления ограничений. В этом случае действие "Определить подходы к обработке рисков" и задачи от а) до с) будут повторяться до тех пор, пока не будет достигнута приемлемая стратегия тестирования. Все решения по отклонениям от Организационной Стратегии Тестирования должны быть отражены в стратегии тестирования.
2 Стратегия тестирования обычно направлена как на статическое тестирование (например, проверка, контроль, статический анализ), так и на динамическое тестирование.
d) Необходимо определить метрики, которые будут использоваться для Мониторинга и Управления Тестированием (см. действия от ТМС1 до ТМС4).
e) Должны быть определены тестовые данные.
Пример - Факторы, которые необходимо учесть при определении тестовых данных, включают в себя инструкции по конфиденциальности данных (это может потребовать маскирования или шифрования данных), объем требуемых данных и очистку данных после завершения.
f) Должны быть идентифицированы требования к тестовой среде и требования к инструментам тестирования.
g) Должны быть определены результаты тестирования, документированы степень их формальности и частота обмена информацией.
h) Должна быть произведена первоначальная оценка ресурсов, необходимых для выполнения полного набора действий, описанных в стратегии тестирования.
Примечание - Начальная оценка тестирования, которая производится на этом шаге, завершается в действии "Оформить План Тестирования" (ТР7).
i) Стратегия тестирования должна быть документирована.
Примечание - Обычно стратегия тестирования будет разделом плана тестирования, но в отдельных случаях она может быть оформлена в виде отдельного документа.
j) Стратегия тестирования должна быть утверждена заинтересованными сторонами.
Примечание - Это может потребовать повторного выполнения предыдущих задач этой деятельности.
7.2.4.6 Определить персонал и график (ТР6)
Эта деятельность состоит из следующих задач:
a) Необходимо идентифицировать роли и навыки персонала, требуемые для выполнения тестирования, определенного в стратегии тестирования.
Примечание - Это может потребовать определения подбора персонала и/или потребностей обучения.
b) Каждое необходимое действие тестирования Стратегии Тестирования должно быть спланировано на основе оценок, зависимостей и готовности персонала.
c) Персонал и график должны быть утверждены заинтересованными сторонами.
Примечание - Это может потребовать повторения задач а) и b), а если стратегия тестирования должна быть пересмотрена, то нужно повторить действие "Разработать Стратегию Тестирования" (ТР5).
7.2.4.7 Оформить План Тестирования (ТР7)
Эта деятельность состоит из следующих задач:
a) На основе стратегии тестирования, разработанной в действии "Разработать Стратегию Тестирования" (ТР5), персонала и графика, полученных в действии "Определить персонал и график" (ТР6), необходимо рассчитать окончательные оценки тестирования.
Примечание - В случае если они не противоречат предыдущим первоначальным оценкам, может возникнуть необходимость повторить действие "Определить персонал и график" (ТР6) и/или действие "Разработать Стратегию Тестирования" (ТР5).
b) В план тестирования необходимо включить стратегию тестирования, разработанную в действии "Разработать Стратегию Тестирования" (ТР5), персонал и график, полученные в действии "Определить персонал и график" (ТР6), а также окончательные оценки, рассчитанные в предыдущей задаче.
7.2.4.8 Согласовать План Тестирования (ТР8)
Эта деятельность состоит из следующих задач:
a) Необходимо собрать мнения заинтересованных сторон о плане тестирования.
Примечание - Это может быть выполнено посредством рабочих совещаний, опросов или других подходящих средств.
b) Необходимо разрешить конфликты плана тестирования с мнениями заинтересованных сторон.
c) План тестирования должен быть обновлен с учетом обратной связи от заинтересованных сторон.
Примечание - Это может потребовать повторения более ранних действий Процесса Планирования Тестирования.
d) План тестирования должен быть утвержден заинтересованными сторонами.
Примечание - Это может потребовать повторения задач от а) до с).
7.2.4.9 Разослать и сделать доступным План Тестирования (ТР9)
Эта деятельность состоит из следующих задач:
a) Необходимо обеспечить доступность Плана Тестирования.
b) О готовности Плана Тестирования необходимо сообщить заинтересованным сторонам.
Примечание - Это может потребовать повторения задач от а) до с).
7.2.5 Информационные элементы
В результате выполнения этого процесса должен быть произведен следующий информационный элемент:
а) План Тестирования.
7.3 Процесс Мониторинга и Управления Тестированием
7.3.1 Общие сведения
Процесс Мониторинга и Управления Тестированием, показанный на рисунке 7, призван отслеживать ход тестирования в соответствии с Планом Тестирования и организационными спецификациями тестирования, такими как Организационная Политика Тестирования и Организационная Стратегия Тестирования. В случае обнаружения значительных отклонений от предусмотренных планом прогресса, действий или других факторов плана тестирования, он инициирует действия для исправления или компенсации выявленных отклонений.
Этот процесс применим как к менеджменту всего проекта тестирования, который обычно состоит из нескольких фаз и типов тестирования, так и к менеджменту тестирования отдельной фазы (например тестирование системы) или отдельного типа тестирования (например тестирование производительности). В последнем случае этот процесс используется в составе мониторинга и управления динамическим тестированием, описанного в разделе "Процессы Динамического Тестирования". В случае если он используется в составе мониторинга и управления тестированием полного проекта, он будет непосредственно взаимодействовать с процессами менеджмента тестирования, используемыми для управления отдельными фазами и типами тестирования проекта.
Рисунок 7 - Процесс Мониторинга и Управления Тестированием
7.3.2 Цель
Цель Процесса Мониторинга и Управления Тестированием состоит в отслеживании хода тестирования в соответствии с Планом Тестирования и с организационными спецификациями тестирования (например, Организационной Политикой Тестирования и Организационной Стратегией Тестирования). Он также, по мере необходимости, инициирует управляющие действия и идентифицирует необходимые обновления Плана Тестирования (например, пересмотр критериев завершения или определение новых действий для компенсации отклонений от Плана Тестирования).
Процесс также используется для того, чтобы отслеживать соответствие хода выполнения тестирования планам тестирования более высокого уровня, таким, как План Тестирования Проекта, и управлять определенными фазами тестирования (например, тестированием системы) или определенными типами тестирования (например, тестированием производительности).
7.3.3 Результаты
В результате успешной реализации Процесса Мониторинга и Управления Тестированием:
a) установлены средства сбора соответствующих показателей для контроля хода тестирования и изменений рисков;
b) контролируется соответствие хода тестирования плану;
c) идентифицированы и проанализированы новые и измененные, связанные с тестированием, риски, и инициированы необходимые действия;
d) определены необходимые действия управления;
e) информация о необходимых действиях управления передана соответствующим заинтересованным сторонам;
f) утверждено решение о прекращении тестирования;
g) информация о ходе тестирования и изменениях в рисках передается заинтересованным сторонам.
7.3.4 Действия и задачи
Лицо (лица), ответственное за мониторинг и управление тестированием, должно реализовать следующие действия и задачи в соответствии с применимыми организационными политиками и процедурами для Процесса Мониторинга и Управления Тестированием.
7.3.4.1 Установка (ТМС1)
Эта деятельность состоит из следующих задач:
a) Необходимо идентифицировать соответствующие показатели для мониторинга соответствия хода тестирования Плану Тестирования, если эти показатели не были уже определены в Плане Тестирования или Организационной Стратегии Тестирования.
b) Необходимо определить соответствующие средства идентификации новых и изменяющихся рисков, если они не были уже определены в Плане Тестирования или Организационной Стратегии Тестирования.
c) Для сбора показателей, определенных в а) и b), а также в Плане Тестирования и в Организационной Стратегии Тестирования, необходимо задействовать мониторинг.
7.3.4.2 Мониторинг (ТМС2)
Эта деятельность состоит из следующих задач:
a) Необходимо собирать и документировать показатели.
b) С использованием собранных показателей тестирования нужно контролировать соответствие хода тестирования Плану Тестирования.
Пример - Исследуя отчеты о ходе тестирования, анализируя показатели тестирования и встречаясь с заинтересованными сторонами.
c) Необходимо определять отклонение от запланированных действий тестирования и любые факторы, препятствующие плановому выполнению тестирования.
d) Новые риски должны быть идентифицированы и проанализированы для выявления из них тех, которые требуют обработки, и тех, о которых нужно информировать другие заинтересованные стороны.
e) Необходимо контролировать изменения в известных рисках, чтобы выявить из них те, которые требуют обработки, и те, о которых нужно информировать другие заинтересованные стороны.
Пример - Информировать Менеджера Проекта о рисках, которые требуют тестирования как обработки.
Примечание - Вышеуказанные задачи от а) до е) повторяются на регулярной основе до тех пор, пока не станет ясно, что тестирование, определенное в Плане Тестирования, может быть прекращено досрочно или завершено обычным образом по достижению критериев завершения.
7.3.4.3 Управление (ТМСЗ)
Эта деятельность состоит из следующих задач:
a) Нужно выполнять действия, необходимые для реализации плана тестирования.
Пример - Назначение ответственных за действия тестирования тестеров.
b) Нужно выполнять действия, необходимые для реализации управляющих директив, полученных из процессов менеджмента более высокого уровня.
Пример - Решения менеджера тестирования проекта при управлении определенной фазой тестирования.
c) Должны быть определены действия, необходимые для контроля отклонений хода фактического тестирования от запланированного тестирования.
Примечание - Такие действия управления могут потребовать внесения изменений в тестирование, план тестирования, тестовые данные, тестовую среду, штат и/или изменений в других областях, таких как разработка.
d) Должны быть определены средства обработки ранее идентифицированных и измененных рисков.
Примечание - Сюда могут входить увеличение штата для конкретных задач и изменение критериев завершения тестирования.
е) По необходимости:
1) выдать управляющие директивы для изменения в способе тестирования;
2) изменения плана тестирования должны вноситься в форме обновлений плана тестирования;
3) рекомендуемые изменения должны быть переданы соответствующим заинтересованным сторонам.
Пример - ИТ-поддержка тестовых сред.
f) Перед началом действия должна быть установлена готовность любого заданного действия тестирования, если это не было сделано ранее.
Примечания
1 Обычно это может быть выполнено путем проверки по критериям входа, определенным в плане тестирования.
2 Заданное действие тестирования может быть выполнением теста.
3 Готовность, возможно, уже была установлена в процессе разработки и реализации тестирования и/или процессе установки тестовой среды.
g) По завершении заданных действий тестирования необходимо предоставить подтверждение.
Пример - Завершение более низкого уровня тестирования.
Примечание - Обычно это выполняется путем проверки по критериям выхода, определенным в плане тестирования.
h) При соответствии критериям завершения тестирования необходимо предоставить подтверждение для завершения тестирования.
7.3.4.4 Отчет (ТМС4)
Эта деятельность состоит из следующих задач:
a) Прогресс хода тестирования сравнительно с Планом Тестирования должен передаваться заинтересованным сторонам в виде отчета о ходе тестирования в указанные сроки.
b) Новые риски и изменения в существующих рисках должны быть включены в обновленный реестр рисков и переданы соответствующим заинтересованным сторонам.
7.3.5 Информационные элементы
В результате выполнения этого процесса должны быть произведены следующие информационные элементы:
a) Отчеты о ходе тестирования;
b) Обновления плана тестирования;
c) Управляющие директивы (например, изменения в тестировании, в плане тестирования, в тестовых данных, в тестовой среде и в персонале);
d) Информация о рисках проекта и продукта.
Примечание - Информация о рисках может быть сохранена в реестре рисков проекта или локально в Плане Тестирования.
7.4 Процесс Завершения Тестирования
7.4.1 Общие сведения
Процесс Завершения Тестирования, как показано на рисунке 8, выполняется после получения подтверждения, что действия тестирования завершены. Он выполняется для завершения тестирования, выполненного как определенная фаза тестирования (например, тестирование системы) или как конкретный тип тестирования (например, тестирование производительности) и для завершения тестирования полного проекта.
7.4.2 Цель
Цель Процесса Завершения Тестирования состоит в том, чтобы обеспечить доступность нужных активов тестирования для последующего использования, оставить тестовую среду в удовлетворительном состоянии, документировать и передать результаты тестирования соответствующим заинтересованным сторонам. В активы тестирования входят Планы Тестирования, Спецификации Контрольных Примеров, сценарии тестирования, инструменты тестирования, тестовые данные и инфраструктура тестовой среды.
Рисунок 8 - Процесс Завершения Тестирования
7.4.3 Результаты
В результате успешной реализации Процесса Завершения Тестирования:
a) архивированы или переданы непосредственно соответствующим заинтересованным сторонам активы тестирования;
b) тестовая среда находится в согласованном состоянии (например, приемлемом для следующего проекта тестирования);
c) все тестовые условия удовлетворены и проверены;
d) документирован Отчет о Завершении Тестирования;
e) Отчет о Завершении Тестирования утвержден;
f) Отчет о Завершении Тестирования передан соответствующим заинтересованным сторонам.
7.4.4 Действия и задачи
Лица, ответственные за завершение тестирования, должны реализовать следующие действия и задачи в соответствии с надлежащими организационными политиками и процедурами для Процесса Завершения Тестирования.
7.4.4.1 Архивировать активы тестирования (ТС1)
Эта деятельность состоит из следующих задач:
a) Активы тестирования, которые могут быть использованы позднее, должны быть идентифицированы и сделаны доступными посредством соответствующих средств.
Пример - Активы тестирования, которые будут использоваться снова (например, для регрессионного тестирования) должны быть соответственно отмечены в системе менеджмента конфигурации.
b) Активы тестирования, которые могут быть использованы в других проектах, должны быть идентифицированы и архивированы.
Пример - Планы тестирования, процедуры ручного и/или автоматизированного тестирования, инфраструктура тестовой среды.
c) Готовность допускающих повторное использование активов тестирования должна быть документирована в Отчете Завершения Тестирования и передана соответствующим заинтересованным сторонам.
Пример - Ответственным за обслуживание тестирования (для обеспечения успешной передачи) и менеджеру тестирования проекта.
7.4.4.2 Очистить тестовую среду (ТС2)
Эта деятельность состоит из следующей задачи:
а) Тестовая среда должна быть восстановлена в предопределенное состояние по завершении всех действий тестирования.
Пример - Восстановить исходное состояние настроек и аппаратных средств.
7.4.4.3 Определить полученный опыт (ТСЗ)
Эта деятельность состоит из следующих задач:
a) Полученный во время выполнения проекта опыт должен быть документирован.
Примечание - Этого можно достичь, записывая:
1) что подходило во время тестирования и соответствующие действия;
2) что не подходило во время тестирования и соответствующие действия;
3) рекомендуемые улучшения тестирования и других процессов, таких, как процесс разработки.
b) Результаты должны быть документированы для включения в Отчет о Завершении Тестирования и переданы соответствующим заинтересованным сторонам.
7.4.4.4 Отчитаться о завершении тестирования (ТС4)
Эта деятельность состоит из следующих задач:
a) Должна быть собрана соответствующая информация из следующих документов (возможно и других):
1) Планы Тестирования (например, план тестирования проекта, план тестирования системы или план теста производительности);
2) Результаты Тестирования;
3) Отчеты о Ходе Тестирования;
4) Отчеты о Завершении Тестирования фазы или типа тестирования;
Пример - Поблочного тестирования, тестирования производительности, приемочных испытаний и т.д., если они свидетельствуют о завершении тестирования всего проекта.
5) Отчеты об Инцидентах.
b) Необходимо оценить и суммировать собранную информацию в Отчете о Завершении Тестирования.
c) Отчет о Завершении Тестирования должен быть утвержден ответственной заинтересованной стороной (сторонами).
d) Утвержденный Отчет о Завершении Тестирования должен быть доведен до соответствующих заинтересованных сторон.
7.4.5 Информационные элементы
В результате выполнения этого процесса должен быть произведен следующий информационный элемент:
а) Отчет о Завершении Тестирования.
8 Процессы Динамического Тестирования
8.1 Введение
Процессы Динамического Тестирования используются для выполнения динамического тестирования в определенной фазе тестирования (например, блоков, интеграции, системы и приемки) или при типе тестирования (например, тестировании производительности, тестировании защищенности, тестировании удобства пользования). Процессы менеджмента динамического тестирования описаны в разделе 7 "Процессы Менеджмента Тестирования".
Имеется четыре процесса динамического тестирования (как показано на рисунке 9):
a) Разработка и Реализация Тестирования;
b) Установка и Поддержка Тестовой Среды;
c) Выполнение Теста;
d) Отчетность об Инцидентах Тестирования.
На рисунке 9 показаны взаимодействие и связь процессов динамического тестирования с процессами менеджмента тестирования. Эти процессы динамического тестирования обычно выполняются в ходе реализации стратегии тестирования, документированной в плане тестирования для фазы тестирования (например, тестирование системы) или для типа тестирования (например, тестирование производительности), подлежащих выполнению.
Рисунок 9 - Процессы Динамического Тестирования
Для любого конкретного тестирования процессы динамического тестирования выполняются в порядке, показанном на рисунке 9, но для завершения данной фазы тестирования (например, тестирования системы) или тестирования данного типа (например, тестирования производительности) эти процессы будут, как правило, выполняться неоднократно. Это связано с тем что несмотря на то, что тестирование уже разработано и запущено, процесс менеджмента тестирования для наблюдения за ходом тестирования (Мониторинг и Управление Тестированием) осуществляет мониторинг (через показатели тестирования) и может требовать (через управляющие директивы) разработки и выполнения нового тестирования до тех пор, пока для этого действия тестирования не будет достигнут критерий завершения тестирования.
Показатели тестирования, которые представляют собой результаты процессов динамического тестирования и вход для Процесса Мониторинга и Управления Тестированием (см. рисунок 7), могут быть произведены в ходе любых действий тестирования процессов динамического тестирования. Показатели тестирования используются для того, чтобы информировать персонал менеджмента тестирования о состоянии и ходе тестирования. Например, показатели тестирования могут использоваться для того, чтобы сообщить менеджменту тестирования, сколько контрольных примеров было разработано командой тестирования.
Аналогично, управляющие директивы являются результатом процесса менеджмента тестирования и входом для процесса динамического тестирования (см. рисунок 7) и могут воздействовать в ходе любого действия процессов динамического тестирования. Управляющие директивы соответствуют инструкциям сотрудников менеджмента тестирования, которые определяют, как динамическое тестирование должно реализоваться командой тестирования. Например, команде тестирования может быть дана управляющая директива разработать дополнительные контрольные примеры для новых функций программы, которые были назначены этой команде их менеджером тестирования.
Поскольку показатели тестирования могут быть произведены во время любого действия процессов динамического тестирования и управляющие директивы могут воздействовать в ходе любого действия этих процессов, производство показателей и обработка директив не показаны как задачи в каком-либо конкретном действии этих процессов.
8.2 Процесс Разработки и Реализации Тестирования
8.2.1 Общие сведения
Процесс Разработки и Реализации Тестирования используется для получения контрольных примеров и процедур тестирования, которые обычно записываются в спецификацию тестирования, однако в некоторых случаях, например, при исследовательском тестировании, при котором они вряд ли будут предварительно документированы, они могут быть сразу выполнены. На рисунке 10 действия показаны в логической последовательности, но на практике между некоторыми действиями будет иметь место итерация, зачастую между действиями от TD3 до TD5, выполняемыми по большей части параллельно.
Рисунок 10 - Процесс Разработки и Реализации Тестирования
Этот процесс используется для получения контрольных примеров и процедур тестирования, но необходимо отметить, что в некоторых случаях может иметься возможность повторного использования ранее разработанных активов тестирования, особенно в случаях разработки регрессионных тестов.
Кроме того, Процесс Разработки и Реализации Тестирования может быть прерван и начат повторно по многим причинам, например, если после выполнения процедуры тестирования или создания отчетов об инциденте стало понятно, что для достижения требуемых критериев завершения тестирования необходимы дополнительные контрольные примеры. Таким образом, вполне возможно, что единственное требуемое для элемента тестирования подмножество всех контрольных примеров может быть получено в ходе любой реализации этого процесса.
Для получения контрольных примеров и процедур тестирования, конечной целью которых является достижение критериев завершения тестирования, определенных, обычно, с точки зрения показателей тестового покрытия, этот процесс требует от тестеров применения одной или нескольких методик проектирования тестирования. Используемые методики проектирования тестирования и критерии завершения тестирования определены в Плане Тестирования. Методы проектирования тестирования и показатели определены в ИСО/МЭК/ИИЭР 29119-4 "Методики тестирования".
Ряд ситуаций может привести к итерации действий в этом процессе. Среди таких ситуаций может быть, например, несогласие заинтересованных сторон с результатами такого действия, как определение тестовых условий. Точно так же может возникнуть ситуация, когда в результате действий становится понятно, что решения по планированию тестирования, такие, как выбор критериев завершения тестирования, несовместимы с ограничениями по срокам проекта, что потребует пересмотра процессов менеджмента тестирования.
Примечание - Пример действий от TD2 до TD5 представлен в приложении А.
8.2.2 Цель
Цель Процесса Разработки и Реализации Тестирования состоит в получении процедур тестирования, которые будут выполняться в ходе Процесса Выполнения Теста. В рамках этого процесса анализируется базис тестирования, функции объединяются в наборы функций, получаются тестовые условия, элементы тестового покрытия, контрольные примеры, процедуры тестирования и собираются наборы тестов.
8.2.3 Результаты
В результате успешной реализации Процесса Разработки и Реализации Тестирования:
a) проанализированы базисы тестирования для каждого элемента тестирования;
b) функции, подлежащие проверке, объединены в наборы функций;
c) получены тестовые условия;
d) получены элементы тестового покрытия;
e) получены контрольные примеры;
f) собраны наборы тестов;
g) получены процедуры тестирования.
8.2.4 Действия и задачи
Лица, ответственные за разработку и реализацию тестирования, должны реализовать следующие действия и задачи в соответствии с применимыми организационными политиками и процедурами для Процесса Разработки и Реализации Тестирования.
8.2.4.1 Определить наборы функций (TD1)
Эта деятельность состоит из следующих задач:
a) Для выявления требований для элемента тестирования необходимо проанализировать базис тестирования.
Примечание - Если при анализе будут выявлены дефекты, то о них необходимо сообщить, используя соответствующую систему управления инцидентами.
b) Функции, подлежащие проверке, нужно объединить в наборы функций.
Примечания
1 Набор функций может быть проверен независимо от других наборов функций.
2 Для тестирования компонента/блока может быть только один набор функций; для более высоких уровней тестирования (например, тестирование системы) может быть множество наборов функций, которое, обычно, зеркально отражает архитектуру элемента тестирования.
3 Если не идентифицировано множество наборов функций, то совокупность функций будет обрабатываться как единственный набор функций.
c) Необходимо установить приоритеты тестирования наборов функций, используя уровни воздействия рисков, документированные в задаче "Определить и изучить риски" (ТРЗ).
d) Состав и приоритеты наборов функций должны быть согласованы с заинтересованными сторонами.
Примечание - По мере необходимости выполнение задач а), b) и с) повторяется.
е) Набор(ы) функций должен быть задокументирован в спецификацию проекта тестирования.
f) Необходимо документировать прослеживаемость между базисом тестирования и набором(наборами) функций.
Примечание - Задачи от с) до f) применимы, если в задаче b) были определены наборы функций.
8.2.4.2 Получить тестовые условия (TD2)
Эта деятельность состоит из следующих задач:
a) необходимо определить тестовые условия для каждой функции на основе критериев завершения тестирования, определенных в Плане Тестирования.
Примечание - Тестовое условие - это тестируемый аспект компонента или системы, такой, как функция, транзакция, функциональность, атрибут качества или структурный элемент, идентифицированный как основание для тестирования. Определение тестовых условий может быть реализовано простой договоренностью об атрибутах особого интереса заинтересованных сторон, которые должны быть проверены с применением одной или более систематических методик (методики получения тестовых условий зачастую определены в составе моделирования или анализа методов проектирования тестирования, которые определены в ИСО/МЭК/ИИЭР 29119-4 "Методики тестирования"). Например, если был определен критерий завершения тестирования, связанный с покрытием состояния, то тестовыми условиями будут состояния, в которых может быть элемент тестирования. Другими примерами тестовых условий могут быть классы эквивалентности (и границы между ними) и программные решения.
b) Необходимо установить приоритеты тестовых условий, используя уровни воздействия рисков, документированные в задаче "Определить и изучить риски" (ТРЗ).
c) Тестовые условия должны быть документированы в спецификации проекта тестирования.
Примечание - При выполнении исследовательского тестирования спецификация проекта тестирования может быть в различных формах, включая и концепцию тестирования.
d) Должна быть документирована прослеживаемость между базисом тестирования, наборами функций и тестовыми условиями.
e) Спецификация проекта тестирования должна быть утверждена заинтересованными сторонами.
Примечание - Это может потребовать повторения задач а), b) и с) или сначала повторения действия "Определить наборы функций" (TD1).
8.2.4.3 Получить элементы тестового покрытия (TD3)
Эта деятельность состоит из следующих задач:
a) Применив методику проектирования тестирования к тестовым условиям для достижения критериев покрытия завершения тестирования, определенных в Плане Тестирования, необходимо получить элементы тестового покрытия для реализации тестирования.
Примечания
1 Элементы тестового покрытия - это атрибуты каждого тестового условия. Например, если граница идентифицирована как тестовое условие, то соответствующие элементы тестового покрытия могут быть как самой границей, так и любой стороной границы; таким образом, отдельное тестовое условие может быть базой одного или более элементов тестового покрытия.
2 Если критерий завершения тестирования элемента тестирования определен меньшим, чем 100% показателя тестового покрытия, то для реализации тестирования должно быть выбрано подмножество элементов тестового покрытия, необходимое для достижения стопроцентного покрытия.
3 В Плане Тестирования или Организационной Стратегии Тестирования могут быть представлены критерии, которые помогут в этом выборе (например, отбросить элементы тестового покрытия, связанные с более низким воздействием рисков). Этот выбор возможно потребует пересмотра на основании результатов более поздних действий.
4 Совокупность элементов тестового покрытия может быть оптимизирована путем объединения покрытий множества тестовых условий в один элемент тестового покрытия. Таким образом, один элемент тестового покрытия может представлять больше одного тестового условия.
b) Необходимо установить приоритеты элементов тестового покрытия, используя уровни воздействия рисков, документированные в задаче "Определить и изучить риски" (ТРЗ).
c) Элементы тестового покрытия должны быть документированы в спецификации контрольного примера.
d) Необходимо документировать прослеживаемость между базисом тестирования, наборами функций, тестовыми условиями и элементами тестового покрытия.
8.2.4.4 Получить контрольные примеры (TD4)
Эта деятельность состоит из следующих задач:
a) Необходимо получить один или более контрольных примеров, определив исходные условия, выбрав входные значения и, в случае необходимости, действия для реализации выбранных элементов тестового покрытия, и определив соответствующие ожидаемые результаты.
Примечание - Один контрольный пример может быть использован для более одного элемента тестового покрытия. Таким образом при получении контрольного примера есть возможность объединить в одном контрольном примере покрытие нескольких элементов тестового покрытия. Это может уменьшить время выполнения теста, но также может увеличить время отладки.
b) Необходимо установить приоритеты контрольных примеров, используя уровни воздействия рисков, документированные в задаче "Определить и изучить риски" (ТРЗ).
c) Контрольные примеры должны быть документированы в спецификации контрольных примеров.
d) Должна быть документирована прослеживаемость между базисом тестирования, наборами функций, тестовыми условиями, элементами тестового покрытия и контрольными примерами.
e) Спецификация контрольных примеров должна быть утверждена заинтересованными сторонами.
Примечание - Это может потребовать повторения выполнения задач а) и b), а в некоторых случаях, сначала повторения действий "Получить тестовые условия" (TD2) и/или "Получить элементы тестового покрытия" (TD3).
8.2.4.5 Собрать наборы тестов (TD5)
Эта деятельность состоит из следующих задач:
a) Контрольные примеры могут быть объединены в один или несколько наборов тестов на основе ограничений на их выполнение.
Примечание - Если не определено множество наборов тестов, то совокупность контрольных примеров рассматривается как один набор тестов.
Пример - Например, некоторые наборы тестов могут потребовать определенной установки тестовой среды, некоторые из них могут подходить для ручного выполнения теста, а другие - больше подходить для автоматизированного выполнения теста или могут требовать конкретных знаний проблемной области.
b) Наборы тестов должны быть документированы в спецификации процедуры тестирования.
c) Должна быть документирована прослеживаемость между базисом тестирования, наборами функций, тестовыми условиями, элементами тестового покрытия, контрольными примерами и наборами тестов.
8.2.4.6 Получить процедуры тестирования (TD6)
Эта деятельность состоит из следующих задач:
a) Необходимо получить процедуры тестирования путем упорядочивания контрольных примеров в наборе тестов в соответствии с зависимостями, описанными предварительными условиями, постусловиями и другими требованиями тестирования.
Пример - Риски, которые будут обработаны.
Примечания
1 В процедуру тестирования могут быть включены любые другие требуемые действия, необходимые для создания предварительных условий для контрольного примера.
2 Если процедуры тестирования должны выполняться с использованием инструментов, то может потребоваться их доработка посредством добавления дополнительного модуля для создания автоматизированных сценариев тестирования.
b) Должны быть идентифицированы все тестовые данные и требования к тестовой среде, которые не были включены в План Тестирования.
Примечание - Несмотря на то, что это действие не может быть завершено до полного завершения получения процедур тестирования, эта задача в процессе зачастую может запускаться намного ранее, в отдельных случаях сразу после того, как согласованы тестовые условия.
c) Необходимо установить приоритеты процедур тестирования, используя уровни воздействия рисков, документированные в задаче "Определить и изучить риски" (ТРЗ).
d) Процедуры тестирования должны быть документированы в спецификации процедур тестирования.
e) Должна быть документирована прослеживаемость между базисом тестирования, наборами функций, тестовыми условиями, элементами тестового покрытия, контрольными примерами, наборами тестов и процедурами тестирования (и/или автоматизированными сценариями тестирования).
f) Спецификация процедуры тестирования должна быть утверждена заинтересованными сторонами.
Примечание - Это может потребовать повторения выполнения задач, приведенных в перечислении а)-е).
8.2.5 Информационные элементы
В результате выполнения этого процесса должны быть произведены следующие информационные элементы:
a) спецификации тестирования (спецификации проекта тестирования, спецификации контрольного примера и спецификации процедуры тестирования) и соответствующая информация по прослеживаемости;
b) требования к тестовым данным;
c) требования к тестовой среде.
8.3 Процесс Установки и Поддержки Тестовой Среды
8.3.1 Общие сведения
Процесс Установки и Поддержки Тестовой Среды используется для того, чтобы установить и поддерживать среду, в которой выполняются тестирования. Поддержка тестовой среды может включать в себя изменения на основе результатов предыдущих тестирований. В условиях применения процессов менеджмента изменений и менеджмента конфигурации изменениями в тестовых средах можно управлять с использованием этих процессов.
Начальные требования к тестовой среде определены в Плане Тестирования, однако подробности состава тестовой среды, обычно, выясняются только в начале Процесса Разработки и Реализации Тестирования.
Рисунок 11 - Процесс Установки и Поддержки Тестовой Среды
8.3.2 Цель
Цель Процесса Установки и Поддержки Тестовой среды состоит в том, чтобы установить и поддерживать требуемую тестовую среду и доводить информацию о ее состоянии до всех соответствующих заинтересованных сторон.
8.3.3 Результаты
В результате успешной реализации Процесса Установки и Поддержки Тестовой Среды:
a) приведена в состояние готовности к тестированию тестовая среда;
b) состояние тестовой среды доведено до всех соответствующих заинтересованных сторон;
c) поддерживается тестовая среда.
8.3.4 Действия и задачи
Лица, ответственные за установку и поддержку тестовой среды (такие как специалисты по поддержке ИТ), должны в соответствии с применимыми организационными политиками и процедурами Процесса Установки и Поддержки Тестовой Среды реализовать следующие действия и задачи.
8.3.4.1 Установить тестовую среду (ES1)
Эта деятельность состоит из следующих задач:
a) На основе Плана Тестирования, подробных требований, полученных в результате Процесса Разработки и Реализации Тестирования, требований к инструментам тестирования и масштаба/формальности тестирования, необходимо выполнить следующее:
1) планировать установку тестовой среды;
Пример - Требования, интерфейсы, расписания и затраты.
2) разработать проект тестовой среды;
3) определить степени использования менеджмента конфигурации (где это необходимо);
4) реализовать тестовую среду;
Примечание - Это может включать в себя надлежащие аппаратные и программные элементы.
5) установить тестовые данные, чтобы поддерживать тестирование (где это необходимо);
6) установить инструменты тестирования для поддержки тестирования (где это необходимо);
7) установить в тестовой среде и настроить элемент тестирования;
8) проверить соответствие тестовой среды требованиям к тестовой среде;
9) при необходимости обеспечить соответствие тестовой среды конкретным требованиям.
b) Необходимо документировать состояние тестовой среды и тестовых данных и передать через Отчет о Готовности Тестовых Данных и Отчет о Готовности Тестовой Среды соответствующим заинтересованным сторонам.
Примечание - В соответствующие заинтересованные стороны могут входить тестеры и менеджеры тестирования.
c) Отчет о Готовности Тестовой Среды должен включать в себя описание известных различий между тестовой средой и рабочей средой.
8.3.4.2 Поддерживать тестовую среду (ES2)
Эта деятельность состоит из следующих задач:
a) Необходимо поддерживать тестовую среду, как это определено требованиями к тестовой среде.
Примечание - Это может потребовать внесения изменений на основе результатов предыдущих тестирований.
b) изменения состояния тестовой среды должны быть доведены до соответствующих заинтересованных сторон.
Пример - Тестеры и менеджер тестирования.
8.3.5 Информационные элементы
В результате выполнения этого процесса должны быть произведены следующие информационные элементы:
a) Тестовая Среда;
b) Тестовые Данные;
c) Отчет о Готовности Тестовой среды;
d) Отчет о Готовности Тестовых Данных;
e) Обновления Тестовой Среды (где применимо).
8.4 Процесс Выполнения Теста
8.4.1 Общие сведения
Процесс Выполнения Теста используется для прогона процедуры тестирования, полученной в результате Процесса Разработки и Реализации Тестирования в тестовой среде, установленной Процессом Установки и Поддержки Тестовой Среды. Процесс Выполнения Теста, возможно, потребуется выполнить неоднократно, в связи с тем, что не все необходимые процедуры тестирования могут быть задействованы в одной итерации. В случае устранения проблемы необходима повторная проверка путем повторного запуска Процесса Выполнения Теста.
На рисунке 12 действия показаны в логической последовательности, но на практике между некоторыми действиями будет иметь место итерация. Как правило, сравнение результатов тестирования и запись хода выполнения теста будут чередоваться с выполнением процедур тестирования.
8.4.2 Цель
Цель Процесса Выполнения Теста состоит в том, чтобы выполнить процедуры тестирования, полученные в Процессе Разработки и Реализации Тестирования в подготовленной тестовой среде, и сделать запись результатов.
Рисунок 12 - Процесс Выполнения Теста
8.4.3 Результаты
В результате успешной реализации Процесса Выполнения Теста:
a) выполнены процедура(ы)тестирования;
b) документированы фактические результаты;
c) произведено сравнение фактических результатов с ожидаемыми;
d) определены результаты тестирования.
8.4.4 Действия и задачи
Лица, ответственные за выполнение теста, должны в соответствии с применимыми организационными политиками и процедурами Процесса Выполнения Теста, реализовать следующие действия и задачи.
Примечания
1 Процесс Выполнения Теста может быть прерван в случаях, если обнаружен дефект в контрольном примере, обнаружена проблема в тестовой среде, внесены изменения в План Тестирования (например, из-за стоимости проекта или изменений сроков) или в случае, определенном критериями приостановки. В таких ситуациях процесс может быть возобновлен, начиная с соответствующей задачи, или отменен в целом.
2 Процесс Выполнения Теста будет запущен повторно, если после выполнения того или иного количества контрольных примеров стало понятно, что для достижения требуемых критериев завершения тестирования необходимо выполнение дополнительных контрольных примеров. Таким образом, за одну итерацию этого процесса может быть выполнено только подмножество множества контрольных примеров для элемента тестирования.
8.4.4.1 Выполнить процедуру(ы) тестирования (ТЕ1)
Эта деятельность состоит из следующих задач:
a) Необходимо выполнить в подготовленной тестовой среде одну или более процедур тестирования.
Примечание - Процедуры тестирования могут быть заданы сценарием для автоматизированного выполнения, могут быть документированы в спецификации тестирования для ручного выполнения теста или могут быть непосредственно выполнены, как только они разработаны в случае исследовательского тестирования.
b) Необходимо получать в процедуре тестирования фактические результаты для каждого контрольного примера.
c) Фактические результаты должны документироваться.
Примечания
1 Это может быть заложено в инструменте тестирования или производиться вручную, как это определено в спецификации контрольного примера.
2 При выполнении исследовательского тестирования фактические результаты могут контролироваться и не документироваться.
8.4.4.2 Сравнить результаты тестирования (ТЕ2)
Эта деятельность состоит из следующих задач:
a) Необходимо сравнить фактические и ожидаемые результаты для каждого контрольного примера в процедуре тестирования.
Примечание - Ожидаемые результаты могут быть документированы в спецификации тестирования, а в случае исследовательского тестирования могут быть не документированы. В случае автоматизированного тестирования ожидаемые результаты обычно встраиваются в автоматизированный сценарий тестирования (или в соответствующий файл), и сравнение выполняется инструментом тестирования.
b) Необходимо определить результат тестирования, как результат выполнения контрольных примеров в процедуре тестирования. В случае завершения повторного тестирования необходимо обновление Процессом Отчетности об Инцидентах Тестирования отчета об инциденте.
Примечание - Отказы и неожиданные изменения тестовой среды приводят к проблемам (потенциальным инцидентам), передаваемым в Процесс Отчетности об Инцидентах Тестирования.
8.4.4.3 Записать ход выполнения тестирования (ТЕЗ)
Эта деятельность состоит из следующей задачи:
а) Необходимо документировать ход выполнения тестирования, как это определено в Плане Тестирования.
Примечание - Обычно, это журнал выполнения.
8.4.4.4 Информационные элементы
В результате выполнения этого процесса должны быть произведены следующие информационные элементы:
a) фактические результаты;
b) результаты тестирования;
Пример - Проходы тестирования, отказы и случаи, когда произошло что-то необычное или неожиданное;
c) журнал выполнения теста.
8.5 Процесс Отчетности об Инцидентах Тестирования
8.5.1 Общие сведения
Процесс Отчетности об Инцидентах Тестирования используется для создания отчетов об инцидентах тестирования. Этот процесс инициируется в результате идентификации отказов тестирования в случаях, когда во время выполнения теста происходит что-то необычное или неожиданное, или когда успешно завершается повторное тестирование.
Рисунок 13 - Процесс Отчетности об Инцидентах Тестирования
8.5.2 Цель
Цель Процесса Отчетности об Инцидентах Тестирования состоит в том, чтобы сообщить соответствующим заинтересованным сторонам об инцидентах, требующих последующих действий, определяемых результатом выполнения теста. В случае нового тестирования требуется создание отчета об инциденте. В случае повторного тестирования требуется обновление состояния ранее подготовленного отчета об инциденте, но может также потребоваться создание нового отчета об инциденте, в котором будут идентифицированы последующие инциденты.
8.5.3 Результаты
В результате успешной реализации Процесса Отчетности об Инцидентах Тестирования:
a) проанализированы результаты тестирования;
b) подтверждены новые инциденты;
c) создаются детальные отчеты об инцидентах;
d) определены состояние и детали ранее выявленных инцидентов;
e) соответственно обновлены детальные отчеты о ранее выявленных инцидентах;
f) новые и/или обновленные отчеты об инцидентах доведены до соответствующих заинтересованных сторон.
8.5.4 Действия и задачи
Лица, ответственные за отчетность об инцидентах тестирования, должны в соответствии с применимыми организационными политиками и процедурами Процесса Отчетности об Инцидентах Тестирования реализовать следующие действия и задачи.
8.5.4.1 Проанализировать результат(ы) тестирования (IR1)
Эта деятельность состоит из следующих задач:
a) Если результат тестирования касается ранее выявленного инцидента, то должен быть проанализирован результат тестирования, а детали инцидента должны быть обновлены.
b) Если результат тестирования говорит о том, что идентифицирована новая проблема, то результат тестирования должен быть проанализирован, на основании чего будет определено, требует ли этот инцидент создания отчета или он может быть разрешен без отчетности об инцидентах, или же никаких дальнейших действий не требуется.
Примечание - Для обеспечения взаимопонимания, по необходимости, решение не создавать отчет об инциденте должно быть обсуждено с инициатором.
c) Намеченные действия должны быть поручены соответствующему лицу для выполнения.
8.5.4.2 Создать/Обновить Отчет об Инциденте (IR2)
Эта деятельность состоит из следующей задачи:
a) Необходимо идентифицировать, доложить и обновить информацию об инциденте, которая должна быть документирована.
Примечания
1 Отчеты об инцидентах могут быть созданы для элементов тестирования и других активов, таких, как процедуры тестирования, базис тестирования и тестовая среда.
2 После успешного повторного тестирования отчет об инцидентах может быть обновлен и закрыт.
b) Состояние новых и/или обновленных инцидентов должно быть доведено до соответствующих заинтересованных сторон.
8.5.5 Информационные элементы
В результате выполнения этого процесса должен быть произведен следующий информационный элемент:
а) Отчет об Инциденте.
Приложение А
(справочное)
Пример использования Процесса Проектирования Тестирования
Ниже приведен пример использования действий от TD2 до TD5 Процесса Разработки и Реализации Тестирования.
Фрагмент Базиса Тестирования
"Система должна принимать страховых заявителей в возрасте от 18 до 80 лет на день заявления на основе ввода данных об их возрасте в целых годах; все остальные страховые заявители должны быть отклонены.
Принятые претенденты в возрасте 70 лет и старше должны получить предупреждение, что в случае возникновения претензии они должны заплатить более 1000 долларов США".
Критерий Завершения Тестирования
"Критерий Завершения Тестирования - это достижение стопроцентного покрытия раздела эквивалентности и успешное выполнение всех контрольных примеров (успех - состояние "тест прошел").
Тестовые Условия (TD2)
На основании критерия завершения тестирования Тестовые Условия - это разделы эквивалентности для описанного поведения системы.
На основе входа получен следующий раздел допустимых значений:
TCOND-1. 18Возраст
80
Точно также на основе входа получены следующие два раздела недопустимых значений:
TCOND-2. Возраст <18.
TCOND-3. Возраст >80.
Менее очевидные разделы недопустимого входа могут включать в себя ввод данных других типов, таких, как ввод нецелого числа и нечисловых данных. Так, можно также создать следующие разделы эквивалентности недопустимых входных данных:
TCOND-4. Возраст = буква
TCOND-5. Возраст = специальный символ.
Следует обратить внимание на то, что в зависимости от необходимой строгости, можно создать дополнительные разделы недопустимых входов, таких как нецелые числа (например, 33,67 года). Потенциально множество недопустимых выходных данных бесконечно велико.
Рассматривая действительные (указанные) выходные данные, идентифицированы следующие разделы эквивалентности:
TCOND-6. Принять | (Условие: 18 |
TCOND-7. Отклонить | (Условие: (Возраст <18) ИЛИ (Возраст >80)), |
TCOND-8. Предупредить | (Условие: 70 |
Недействительным результатом будет любой результат элемента тестирования, отличный от определенных. Идентифицировать неопределенные результаты может оказаться сложным, однако их нужно рассмотреть, потому что, если мы сможем их получить, то затем определим дефект в элементе тестирования, его базисе тестирования или в том и другом. В этом примере был идентифицирован и показан всего один неопределенный результат. Следует отметить, что другие тестеры могут получить иные, очень отличающиеся недопустимые результаты.
TCOND-9. Сообщить о скидке (Условие: 40Возраст
55).
Следует обратить внимание на то, что предлагаемые раздел и сообщение субъективны и могут коренным образом отличаться от предполагаемых другим тестером.
Элементы Тестового Покрытия (TD3)
Используя разбиение эквивалентности (разбиение эквивалентности просто требует проверки каждого раздела), далее получаем семь следующих элементов тестового покрытия:
TCI 1. | 18 | (Покрывает TCOND-1/TCOND-6) |
TCI 2. | Возраст | (Покрывает TCOND-2/TCOND-7) |
TCI 3. | Возраст >80 | (Покрывает TCOND-3/TCOND-7) |
TCI 4. | Возраст = w | (Покрывает TCOND-4) |
TCI 5. | Возраст = & | (Покрывает TCOND-5) |
TCI 6. | 70 | (Покрывает TCOND-8) |
TCI 7. | 40 | (Покрывает TCOND-9) |
Контрольные примеры (TD4)
Если создать контрольные примеры, которые проверяют каждый из этих семи элементов тестового покрытия, то можно достичь стопроцентного покрытия раздела эквивалентности.
При создании контрольных примеров можно заметить, что отдельный контрольный пример может иногда проверять больше одного элемента тестового покрытия. Преимущества сокращения числа контрольных примеров очевидно, поскольку это уменьшает время выполнения теста; однако этому преимуществу иногда могут противостоять дополнительное время, требуемое для определения минимальной совокупности, и потенциально более сложная отладка, требуемая контрольными примерами для нескольких элементов тестового покрытия.
В этом примере два из контрольных примеров проверяют больше чем один элемент тестового покрытия как показано ниже:
ПРИМЕР#1. Ввод: 'Возраст =53' | Ожидаемый результат: "Принять". | (Проверяет TCI-1 и TCI-7) |
ПРИМЕР#2. Ввод: 'Возраст =15' | Ожидаемый результат: "Отклонить". | (Проверяет TCI-2) |
ПРИМЕР#3. Ввод: 'Возраст =89' | Ожидаемый результат: "Отклонить". | (Проверяет TCI-3) |
ПРИМЕР#4. Ввод: 'Возраст =w' | Ожидаемый результат: "Отклонить". | (Проверяет TCI-4) |
ПРИМЕР#5. Ввод: 'Возраст =&' | Ожидаемый результат: "Отклонить". | (Проверяет TCI-5) |
ПРИМЕР#6. Ввод: 'Возраст =77' | Ожидаемый результат: "Принять и предупредить". | (Проверяет TCI-6 и TCI-1) |
Эти шесть контрольных примеров обеспечивают проверку всех элементов тестового покрытия, достигая, таким образом, критерия завершения тестирования.
Набор тестов (TD5)
Если предполагается, что для целочисленных входных данных возможна автоматизация тестирования, а ввод нецелого числа должен обрабатываться вручную, то можно создать два набора тестов: один для ручного тестирования и один для автоматизированного тестирования.
TS1: Примеры # 4 и 5 | - ручное тестирование. |
TS2: Примеры # 1, 2, 3, и 6 | - автоматизированное тестирование. |
Приложение В
(справочное)
Соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 12207:2008
В.1 Общие сведения
ИСО/МЭК 12207 служит общей основой процессов жизненного цикла, во многие из которых входят виды деятельности и задачи, связанные с тестированием программного обеспечения. Настоящее справочное приложение объясняет на высоком уровне, как процессы ИСО/МЭК/ИИЭР 29119-2 отображаются на связанные с тестированием процессы ИСО/МЭК 12207.
Соответствие высокого уровня, приведенное ниже, показывает, как пользователи ИСО/МЭК 12207 должны использовать ИСО/МЭК/ИИЭР 29119-2. Для пользователей ИСО/МЭК/ИИЭР 29119-2, которые не используют ИСО/МЭК 12207, это приложение не является обязательным.
Соответствие связанных с тестированием терминов, которые использованы в ИСО/МЭК 12207, представлено в ИСО/МЭК/ИИЭР 29119-1 "Понятия и определения".
В.2 Соответствие ИСО/МЭК 12207:2008 и ИСО/МЭК/ИИЭР 29119-2
В таблице, приведенной ниже, показано отображение пунктов, подпунктов и задач (графа 1) ИСО/МЭК 12207:2008 в соответствующие процессы ИСО/МЭК/ИИЭР 29119-2 (графа 2). В таблицу включена графа с кратким пояснением того, как отображаются эти два стандарта (графа 3).
Таблица В.1 - Высокоуровневое соответствие ИСО/МЭК 12207:2008 и ИСО/МЭК/ИИЭР 29119-2
Пункт ИСО/МЭК 12207:2008 | Пункт ИСО/МЭК/ИИЭР 29119-2 | Пояснение отображения |
6.1.1 Процесс Приобретения | ||
6.1.1.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определяется общий процесс планирования тестирования, который может включать в себя идентификацию и документирование требований к тестированию |
6.1.1.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.2 "Процессы Разработки и Реализации Тестирования", где описана подготовка контрольных примеров, тестовых данных и процедур тестирования для приемочных испытаний. Это также представлено в 8.3 "Процессы Установки и Поддержки Тестовой Среды", в котором описана подготовка тестовой среды |
6.1.1.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.4 "Процесс Выполнения Теста", где описан общий процесс выполнения контрольных примеров, включая контрольные примеры для приемочных испытаний |
6.1.2 Процесс Поставки | ||
6.1.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Для планирования связанной с тестированием деятельности этот вопрос представлен в разделе 7 "Процессы Менеджмента Тестирования", где определены действия обеспечения планирования тестирования и разработки стратегии тестирования |
6.1.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3 "Процесс Мониторинга и Управления Тестированием", который описывает поддержку мониторинга хода тестирования и процесс менеджмента дефектов |
6.1.2.3 Виды деятельности и задачи | Не применимо | Не применимо, поскольку в ИСО/МЭК 29119-2 не рассматривается интерфейс между поставщиками и тестерами |
6.1.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.4 "Отчет" (ТМС4), что обеспечивает возможность сообщить о ходе тестирования и довести новые риски до заинтересованных сторон |
7 Процессы Менеджмента Тестирования | Это также представлено в 7.4.4.4 "Отчет о Завершении Тестирования" (ТС4), что обеспечивает возможность сообщить заинтересованным сторонам о результатах тестирования | |
6.2.1 Процесс Менеджмента Модели Жизненного Цикла | ||
6.2.1.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Это представлено в разделе 6 "Организационный Процесс Тестирования", который обеспечивает периодический анализ организационной документации тестирования, которая может включать в себя определение процессов поддержки тестирования. |
6.3.1 Процесс Планирования Проекта (применимо только для планирования тестирования) | ||
6.3.1.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Планирование тестирования представлено в 7.2 "Процесс Планирования Тестирования", где определены общие процессы планирования любой фазы или типа тестирования |
6.3.2 Оценка Проекта и Процесс Управления (применимо только для мониторинга и управления тестированием) | ||
6.3.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Мониторинг тестирования представлен в 7.3.4.2 "Мониторинг" (ТМС2), где определены общие задачи мониторинга прогресса в любой фазе или типе тестирования |
6.3.2.3 Виды деятельности и | 7 Процессы Менеджмента Тестирования | Административное управление тестированием представлено в 7.3.4.3 "Управление" (ТМСЗ), где определены общие задачи управления любой фазой или типом тестирования |
6.3.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Создание отчетов о ходе тестирования представлено в 7.3.4.4 "Отчет" (ТМС4), где определены общие задачи создания отчетов о прогрессе любой фазы или типа тестирования |
6.3.4 Процесс менеджмента рисков (применимо только для идентификации и обработки рисков, которые могут быть обработаны при тестировании) | ||
6.3.4.3 Виды деятельности и задачи | 6 Организационный Процесс тестирования | Определение процессов менеджмента рисков тестирования представлено в 6.2 "Организационный Процесс Тестирования", который может быть использован для определения организационных процессов управления и документирования, связанных с тестированием рисков |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.2 "Организовать разработку Плана Тестирования" (ТР2), который включает идентификацию и оповещение лиц, которые будут вовлечены в менеджмент связанных с тестированием рисков |
6.3.4.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Это представлено в 6.2.4.1, 6.2.4.2 и 6.2.4.3 Организационного Процесса Тестирования, который поддерживает мониторинг, анализ и обновление процессов управления рисками, используемых в тестировании |
6.3.4.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Создание профиля риска представлено в разделе 6 "Организационный Процесс Тестирования", который может быть использован для определения процессов, пороговых значений и профилей, связанных с тестированием рисков для системы, проекта, ряда проектов или всей организации |
6.3.4.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Это представлено в 6.2.4.1 "Разработать Организационную Спецификацию Тестирования" (ОТ1), в которую может быть включено определение профиля риска для организации |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | 7.3.4.4 Отчет (ТМС4) |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.3 "Определить и изучить риски" (ТРЗ), где определен общий процесс идентификации и анализа относящихся к тестированию рисков |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.3 "Определить и изучить риски" (ТРЗ), что позволяет присвоить рискам уровень воздействия (например, влияние и вероятность) |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.4 "Определить подходы к обработке рисков" (ТР4), куда входит идентификация подходов обработки рисков для тестирования |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.4 "Определить подходы к обработке рисков" (ТР4), где представлены различные подходы к обработке рисков, которые были предложены и документированы в проекте плана тестирования |
7 Процессы Менеджмента Тестирования | Это также представлено в 7.2.4.8 "Согласовать План Тестирования" (ТР8), что позволяет заинтересованным сторонам обсуждать различные подходы к обработке рисков, документированные в проекте плана тестирования | |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.2 "Мониторинг" (ТМС2), что обеспечивает мониторинг и управление обработкой связанных с тестированием рисков и гарантирует, что в ходе тестирования идентифицируются и документируются новые связанные с тестированием риски |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.1 "Установка" (ТМС1), что гарантирует определение соответствующих показателей для мониторинга обработки |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.4.4.3 "Определить полученный опыт" (ТСЗ), что обеспечивает идентификацию подходов к совершенствованию процесса менеджмента рисков для тестирования |
6.3.4.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Это представлено в 6.2.4.1 "Разработать Организационную Спецификацию Тестирования" (ОТ1), что может быть использовано для анализа эффективности и продуктивности организационных процессов тестирования, определенных в организационной спецификации тестирования |
6.3.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.4.4.3 "Определить полученный опыт" (ТСЗ), что обеспечивает идентификацию и доведение до лиц, ответственных за поддержание организационных спецификаций тестирования, организационных рисков (например, документирование в организационной стратегии тестирования связанных с тестированием рисков, которые применимы к организации в целом) |
6.3.7 Процесс Измерений | ||
6.3.7.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.1 "Установка" (ТМС1), куда входит планирование совокупности измерений для тестирования |
6.3.7.3 Виды деятельности и задачи | 6 Организационный Процесс Тестирования | Это представлено в 6.2.4.1 "Разработать Организационную Спецификацию Тестирования" (ОТ1), что обеспечивает документирование и согласование процессов измерения для тестирования для всех проектов |
7 Процессы Менеджмента Тестирования | Это также представлено в 7.2.4.8 "Согласовать План Тестирования" (ТР8), что обеспечивает возможность получить одобрение заинтересованной стороны для всех изменений в запланированном подходе тестирования, включая действия измерений и ресурсы | |
7 Процессы Менеджмента Тестирования | Это также представлено в 7.3.4.1 "Установка" (ТМС1), что обеспечивает возможность установить набор показателей во время тестирования | |
6.3.7.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Создание метрик представлено в разделе 8 "Процессы Динамического Тестирования". Там описаны процессы, которые производят такие метрики, как число контрольных примеров, полученных, переданных и неработающих (метрики динамического тестирования). Процесс анализа этих метрик поддерживается процессом "Управление" (см. 7.3.4.3 - ТМСЗ) из числа процессов менеджмента тестирования. Он обеспечивает анализ собранных метрик, чтобы сообщить процессу управления, прогрессирует ли тестирование как запланировано или требуются изменения в тестировании. |
6.3.7.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.4 "Отчет" (ТМС4), что обеспечивает обмен информацией о результатах измерений в тестировании с соответствующими заинтересованными сторонами |
6.3.7.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.4.4.3 "Определить полученный опыт" (ТСЗ), что обеспечивает анализ, документирование совершенствования действий измерений в тестировании и передачу их соответствующим заинтересованным сторонам |
6.4.2 Процесс Анализа Системных Требований | ||
6.4.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определен общий процесс планирования тестирования, куда могут входить идентификация и документирование требований тестирования, в которые могут входить квалификационные требования |
6.4.5 Процесс Комплексирования Системы | ||
6.4.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Для планирования интеграционного тестирования этот пункт представлен в разделе 7 "Процессы Менеджмента Тестирования", где определены общие процессы планирования тестирования, включая интеграционное тестирование |
8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определяются общие процессы тестирования, которые могут использоваться и для интеграционного тестирования | |
6.4.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования. | Это представлено в 7.2 "Процесс Разработки и Реализации Тестирования", где определен общий процесс подготовки контрольных примеров, тестовых данных и процедур тестирования для любой фазы или типа тестирования, включая квалификационное тестирование системы |
6.4.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.2 "Мониторинг" (ТМС2), где определен общий процесс для определения, завершено ли тестирование и был ли процесс тестирования соответствующим |
6.4.6 Процесс Квалификационного Тестирования Системы | ||
6.4.6.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | В зависимости от того, включает ли квалификационное тестирование динамическое тестирование, этот пункт может поддерживаться разделом 8 "Процессы Динамического Тестирования". Оба являются общими процессами, которые могут быть использованы для любого типа тестирования, включая квалификационное тестирование |
6.4.6.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.2 "Мониторинг" (ТМС2), определяющем общий процесс мониторинга тестирования, который может быть использован для определения тестового покрытия и соответствия ожидаемых и фактических результатов тестирования |
6.4.7 Процесс Инсталляции Программных Средств | ||
6.4.7.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Для планирования тестирования инсталляции этот пункт представлен в разделе 7 "Процессы Менеджмента Тестирования", где определены общие процессы планирования тестирования, включая тестирование инсталляции. Пункт представлен также в разделе 8 "Процессы Динамического Тестирования", который описывает общие процессы разработки, реализации и выполнения контрольных примеров, и может быть использован для того, чтобы определить, удовлетворяет ли установленное программное обеспечение требованиям, определенным в контракте |
6.4.8 Процесс Поддержки Приемки Программных Средств | ||
6.4.8.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.2 "Мониторинг" (ТМС2), который может быть использован для определения, обеспечивает ли разработчик приемочный осмотр и приемочное тестирование приобретателя |
6.4.9 Процесс Функционирования Программных Средств | ||
6.4.9.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Для планирования тестирования программного обеспечения в его рабочей среде этот пункт представлен в разделе 7 "Процессы Менеджмента Тестирования", где определены общие процессы планирования тестирования, включая тестирование функционирования |
8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определен общий проект тестирования и процессы создания отчетов, которые можно использовать для тестирования программного обеспечения в рабочей среде | |
6.4.9.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", которые могут использоваться для тестирования программного обеспечения в рабочей среде |
6.4.9.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", которые могут использоваться для тестирования программного обеспечения в рабочей среде |
6.4.9.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Идентификация связанных с тестированием рисков представлена в 7.2.4.3 "Определить и изучить риски" (ТРЗ), куда может быть включена идентификация рисков, которые могут быть обработаны тестированием в реальных условиях |
7 Процессы Менеджмента Тестирования | Мониторинг связанных с тестированием рисков во время тестирования в реальных условиях представлен в 7.3.4.2 "Мониторинг" (ТМС2), где определены общие задачи мониторинга прогресса в любой фазе или типе тестирования | |
6.4.9.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Мониторинг любого цикла тестирования представлен в 7.3.4.2 "Мониторинг" (ТМС2), где определены общие задачи мониторинга прогресса в любой фазе или типе тестирования |
6.4.10 Процесс Сопровождения Программных Средств | ||
6.4.10.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Для планирования связанных с тестированием действий этот пункт представлен в разделе 7 "Процессы Менеджмента Тестирования", где определены общие процессы планирования действий и задач, присущих тестированию сопровождения |
6.4.10.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определен общий проект тестирования, процесс внедрения и реализации и может быть использован для демонстрации того, что изменения и исправления в результате обслуживания не ограничивают возможности программного обеспечения удовлетворения требованиям |
6.4.10.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Связанные с тестированием элементы планирования этого пункта могут поддерживаться согласно 7.2 "Процесс Планирования Тестирования", что может быть использовано для подготовки и доведения плана тестирования верификации перемещения |
7.1.1 Процесс Реализации Программных Средств | ||
7.1.1.4 Действия и задачи | 7 Процессы Менеджмента Тестирования | Связанные с тестированием элементы планирования этого пункта могут поддерживаться Процессом Планирования Тестирования (см. 7.2) |
7.1.2 Процесс Анализа Требований к Программным Средствам | ||
7.1.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определен общий процесс планирования тестирования, в которое могут входить идентификация и документирование требований тестирования, включая требования квалификации |
7.1.2.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это может поддерживаться Мониторингом (ТМС2) (см. 7.3.4.2), который может использоваться для того, чтобы определить, проводит ли лицо, осуществляющее внедрение, анализ согласно определенному процессу |
7.1.3 Процесс Проектирования Архитектуры Программных Средств | ||
7.1.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определен общий процесс планирования тестирования, используемый для определения тестовых условий и расписания тестирования интеграции программного обеспечения |
7.1.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это может поддерживаться 7.3.4.2 "Мониторинг" (ТМС2), который может использоваться для того, чтобы определить, проводит ли лицо, осуществляющее внедрение, анализ согласно определенному процессу |
7.1.4 Процесс Детального Проектирования Программных Средств | ||
7.1.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определен общий процесс планирования тестирования, используемый для определения тестовых условий и расписания тестирования программных блоков |
7.1.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.3 "Управление" (ТМСЗ), где определен общий процесс внесения изменений в подходы тестирования и может включать в себя планы тестирования обновлений с требуемыми изменениями в расписаниях |
7.1.5 Процесс Конструирования Программных Средств | ||
7.1.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определены общие процессы разработки и реализации тестирования и может использоваться для разработки процедур тестирования и данных для каждого программного блока и базы данных |
7.1.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где описаны общие процессы, которые могут использоваться для любой фазы или типа тестирования |
7.1.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3.4.3 "Управление" (ТМСЗ), где определен общий процесс внесения изменений в подходы тестирования и может включать в себя планы тестирования обновления с требуемыми изменениями в расписаниях |
7.1.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Мониторинг тестирования представлен в 7.3.4.2 "Мониторинг" (ТМС2), где определены общие задачи мониторинга прогресса в любой фазе или типе тестирования и может включать в себя мониторинг уровня достижения тестового покрытия |
7.1.6 Процесс Комплексирования Программных Средств | ||
7.1.6.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", который является общим процессом планирования тестирования и может использоваться для определения плана тестирования для интеграционного тестирования, включая тестовые условия для интеграционного тестирования |
7.1.6.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определены общие процессы для проекта, документирования и выполнения контрольных примеров, включая случаи интеграционного теста |
7.1.6.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определены общие процессы для проекта и документирования контрольных примеров, включая контрольные примеры и процедуры квалификационного тестирования |
7.1.6.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Мониторинг тестирования представлен в 7.3.4.2 "Мониторинг" (ТМС2), где определены общие задачи мониторинга прогресса в любой фазе или типе тестирования и может включать в себя мониторинг уровня достижения тестового покрытия |
7.1.7 Процесс Квалификационного Тестирования Программных Средств | ||
7.1.7.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это также представлено в разделе 8 "Процессы Динамического Тестирования", где определены общие процессы выполнения проекта тестирования, внедрения и реализации и включает квалификационное тестирование программного обеспечения |
7.2.2 Процесс Менеджмента Конфигурации Программных Средств | ||
7.2.2.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", поскольку он определяет общие процессы динамического тестирования, которые могут использоваться для тестирования верификации |
7.2.3 Процесс Обеспечения Гарантии Качества Программных Средств | ||
7.2.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", который является общим процессом планирования тестирования, который может быть использован для определения плана тестирования связанных с тестированием действий обеспечения качества |
7.2.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Инициирование, менеджмент и управление любого типа тестирования могут поддерживаться "Процессом Мониторинга и Управления Тестированием" (см. 7.2) |
7.2.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Обеспечение доступности для приобретателя записей любого типа тестирования может поддерживаться "Процессом Мониторинга и Управления тестированием" согласно 7.2 |
7.2.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Гарантии тестерам свободы, ресурсов и полномочий выполнить требуемое тестирование могут поддерживаться "Процессом Мониторинга и Управления Тестированием" (см. 7.2) |
7.2.3.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Гарантии соответствия выполнения тестирования плану тестирования могут поддерживаться "Процессом Мониторинга и Управления Тестированием" (см. 7.2) |
7.2.3.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", где определены общие процессы динамического тестирования, которые могут использоваться для этого типа гарантии |
7.2.4 Процесс Верификации Программных Средств | ||
7.2.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", который поддерживает идентификацию связанных с тестированием рисков, анализ доступных бюджета и ресурсов тестирования и подбор соответствующих команд для выполнения тестирования |
7.2.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", в который могут быть включены шаги для определения штата требуемого тестирования, в 7.2.4.6 "Определить Персонал и График" (ТР6), обеспечивающем подбор соответствующего персонала для тестирования верификации |
7.2.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.5 "Разработать Стратегию Тестирования" (ТР5), которая определяет общий процесс разработки стратегии тестирования |
7.2.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определены общие действия разработки планов тестирования, используемых для разработки плана тестирования, удовлетворяющего требованиям верификации |
7.2.4.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Инициирование, менеджмент и управление тестированием верификации могут поддерживаться "Процессом Мониторинга и Управления Тестированием" (см. 7.2). |
8 Процессы Динамического Тестирования | Если план тестирования верификации включает динамическое тестирование, то выполнение этого тестирования поддерживается "Процессами Динамического Тестирования". См. раздел 8, где определены общие процессы выполнения динамического тестирования | |
7.2.4.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это может поддерживаться разделом 8 "Процессы Динамического Тестирования", где определены общие процессы выполнения динамического тестирования, включая проверку надлежащей последовательности событий в коде |
7.2.4.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это может поддерживаться разделом 8 "Процессы Динамического Тестирования", где определены общие процессы выполнения динамического тестирования, включая проверку корректности интеграции каждого блока |
7.2.5 Процесс Валидации Программных Средств | ||
7.2.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.3 "Определить и изучить риски" (ТРЗ), где определен общий процесс выявления рисков |
7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.4 "Определить подходы к обработке рисков" (ТР4), где определен общий процесс анализа рисков, который может быть использован для определения фаз и типов тестирования, необходимых для обработки идентифицированных рисков | |
7 Процессы Менеджмента Тестирования | Это представлено в 7.2.4.5 "Разработать Стратегию Тестирования" (ТР5), где определен общий процесс разработки стратегии тестирования, в которую входят определение уровня независимости и требуемых для тестирования трудозатрат | |
7.2.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определены общие действия разработки планов тестирования, которые могут быть использованы для разработки плана тестирования, удовлетворяющего требованиям валидации |
7.2.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", в который могут быть включены шаги для определения штата требуемого тестирования, в частности, в 7.2.4.6 "Определить Персонал и График" (ТР6), обеспечивающем подбор соответствующего персонала для тестирования валидации |
7.2.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.2 "Процесс Планирования Тестирования", где определены общие действия разработки планов тестирования, которые могут быть использованы для разработки плана тестирования, удовлетворяющего требованиям валидации |
7.2.5.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Инициирование, менеджмент и управление тестирования валидации могут поддерживаться "Процессом Мониторинга и Управления Тестированием" (см. 7.2) |
8 Процессы Динамического Тестирования | Если план тестирования валидации включает динамическое тестирование, то выполнение этого тестирования поддерживается "Процессами Динамического Тестирования". См.раздел 8, где определены общие процессы выполнения динамического тестирования | |
8 Процессы Динамического Тестирования | Это представлено в 8.5 "Процесс Отчетности об Инцидентах Тестирования", где определен общий процесс создания отчетов об инцидентах, обнаруженных во время тестирования, включая тестирование валидации | |
7 Процессы Менеджмента Тестирования | Это также представлено в 7.4.4.4 "Отчет о Завершении Тестирования" (ТС4), где определен общий процесс создания отчетов о результатах тестирования для необходимых заинтересованных сторон | |
7.2.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.2 "Процесс Разработки и Реализации тестирования", где определена подготовка контрольных примеров и спецификаций тестирования для тестирования валидации. |
7.2.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.4 "Процесс Выполнения Теста", где определен общий процесс выполнения контрольных примеров, которые могут включать и контрольные примеры валидации |
7.2.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.4 "Процесс Выполнения Теста", где определен процесс выполнения контрольных примеров, которые могут включать контрольные примеры валидации |
7.2.5.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.4 "Процесс Выполнения Теста", где определен общий процесс выполнения контрольных примеров в любой целевой среде |
7.2.6 Процесс Ревизии Программных Средств | ||
7.2.6.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.5 "Процесс Отчетности об Инцидентах Тестирования", где определен общий процесс создания отчетов об инцидентах, обнаруженных во время тестирования |
7.2.6.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это представлено в 7.3 "Процесс Мониторинга и Управления Тестированием", который поддерживает мониторинг прогресса тестирования по всему проекту |
7.2.8 Процесс Решения Проблем в Программных Средствах | ||
7.2.8.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.5 "Процесс Отчетности об Инцидентах Тестирования", где определен общий процесс создания отчетов об инцидентах, обнаруженных в течение тестирования |
7.2.8.3 Виды деятельности и задачи | 7 Процессы Менеджмента Тестирования | Это может поддерживаться согласно 7.3.4.4 "Отчет" (ТМС4), который может быть использован для отчета по анализу тенденций дефектов в течение тестирования |
7 Процессы Менеджмента Тестирования | Это может поддерживаться согласно 7.4.4.4 "Отчет о Завершении Тестирования" (ТС4), который может быть использован для отчета по анализу тенденций дефектов по окончании фазы тестирования или проекта | |
7.2.8.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.5 "Процесс Отчетности об Инцидентах Тестирования", где определен общий процесс создания отчетов об инцидентах, которые могут использоваться для создания отчетов и категоризации проблем |
7.2.8.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в 8.5 "Процесс Отчетности об Инцидентах Тестирования", где определен общий процесс создания отчетов об инцидентах, обнаруженных в течение тестирования |
7.3.1 Процесс Проектирования Доменов | ||
7.3.1.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", поскольку он определяет общие процессы проведения динамического тестирования, которое может использоваться для любой формы оценки |
7.3.3 Процесс Менеджмента Повторного Применения Программ | ||
7.3.3.3 Виды деятельности и задачи | 8 Процессы Динамического Тестирования | Это представлено в разделе 8 "Процессы Динамического Тестирования", поскольку он определяет общие процессы для проведения динамического тестирования, которое может использоваться для любой формы оценки |
Приложение С
(справочное)
Соответствие ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 15288:2008
Это приложение определяет соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 15288:2008. Соответствие охватывает все процессы ИСО/МЭК 15288:2008, связанные с тестированием.
Таблица С.1 - Высокоуровневое соответствие ИСО/МЭК 15288:2008 и ИСО/МЭК/ИИЭР 29119-2
Область | ИСО/МЭК/ИИЭР 29119-2 | ИСО/МЭК 15288:2008 | ||
Пункт | Процесс или действие | Пункт | Процесс или действие | |
Организационный Процесс Тестирования | 6.2 | Организационный Процесс Тестирования | 6.2.1 | Процесс Менеджмента Модели Жизненного Цикла |
Процессы Менеджмента Тестирования | 7.2 | Процесс Планирования Тестирования | 6.2.3 | Процесс Управления Портфелем Проекта |
6.3.1 | Процесс Планирования Проекта | |||
6.3.4 | Процесс Управления Рисками | |||
6.4.6 | Процесс Верификации | |||
6.4.8 | Процесс Валидации | |||
7.3 | Процесс Мониторинга и Управления Тестированием | 6.2.3 | Процесс Управления Портфелем Проекта | |
6.3.2 | Процесс Оценки и Управления Проектом | |||
6.3.4 | Процесс Управления Рисками | |||
6.3.7 | Процесс Измерения | |||
6.4.6 | Процесс Верификации | |||
6.4.8 | Процесс Валидации | |||
7.4 | Процесс Завершения Тестирования | 6.2.3 | Процесс Управления Портфелем Проекта | |
6.3.2 | Процесс Оценки и Управления Проектом | |||
6.3.4 | Процесс Управления Рисками | |||
6.3.7 | Процесс Измерения | |||
Процессы Динамического Тестирования | 8.2 | Процесс Разработки и Реализации Тестирования | 6.4.8 | Процесс Валидации |
8.3 | Процесс Установки и Поддержки Тестовой Среды | 6.4.8 | Процесс Валидации | |
8.4 | Процесс Выполнения Теста | 6.4.5 | Процесс Интеграции | |
6.4.7 | Процесс Передачи | |||
6.4.8 | Процесс Валидации | |||
8.5 | Процесс Отчетности об Инцидентах Тестирования | 6.4.8 | Процесс Валидации | |
6.4.10 | Процесс Сопровождения | |||
Приложение D
(справочное)
Соответствие ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 17025:2005
Это приложение определяет соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и ИСО 17025:2005. Соответствие охватывает все процессы ИСО 17025:2005, связанные с тестированием.
Таблица D.1 - Высокоуровневое соответствие ИСО 17025:2005 и ИСО/МЭК/ИИЭР 29119-2
ИСО 17025:2005 | ИСО/МЭК/ИИЭР 29119-2 | ||
Критичность условий среды | 5.03.1 | 8.2.4.6 | Получить процедуры тестирования (TD6) |
8.3.4.1 | Установить тестовую среду (ES1) | ||
Управление условиями среды | 5.03.2 | 8.3.4.2 | Поддерживать тестовую среду (ES2) |
Общие | 5.04.1 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Выбор методов | 5.04.2 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Разработанные лабораторией методы | 5.04.3 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Предоставление оборудования | 5.05.01 | Нет | Нет |
Демонстрация калибровки | 5.05.02 | 8.3.4.1 | Установить тестовую среду (ES1) |
Идентификация оборудования | 5.05.04 | 8.2.4.6 | Получить процедуры тестирования (TD6) |
8.3.4.1 | Установить тестовую среду (ES1) | ||
Записи оборудования | 5.05.05 | 8.3.4.2 | Поддерживать тестовую среду (ES2) |
Обработка отказавшего оборудования | 5.05.07 | 8.3.4.2 | Поддерживать тестовую среду (ES2) |
Управление корректировками оборудования | 5.05.12 | 8.3.4.2 | Поддерживать тестовую среду (ES2) |
Идентификация элементов | 5.08.2 | 8.2.4.3 | Получить элементы тестового покрытия (TD3) |
Записи аномалий | 5.08.3 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Процедура - Мониторинг правильности тестирования | 5.09.1 | 7.3.4.2 | Мониторинг (ТМС2) |
7.3.4.3 | Управление (ТМС3) | ||
Приложение Е
(справочное)
Соответствие ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 25051:2006
Это приложение определяет соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и ИСО/МЭК 25051:2006. Соответствие охватывает все процессы стандарта ИСО/МЭК 25051:2006, связанные с тестированием.
Таблица Е.1 - Высокоуровневое соответствие ИСО/МЭК 25051:2006 в ИСО/МЭК/ИИЭР 29119-2
ИСО/МЭК 25051:2006 | ИСО/МЭК/ИИЭР 29119-2 | ||
Подход | 6.2.1 | 7.2.4.1 | Уяснить контекст (ТР1) |
Критерий успешного/неуспешного прохождения | 6.2.2 | Нет | Нет |
Тестовая среда | 6.2.3 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
7.3.4.1 | Установка (ТМС1) | ||
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
8.3.4.1 | Установить тестовую среду (ES1) | ||
8.4.4.1 | Выполнить процедуру(ы) тестирования (ТЕ1) | ||
Расписание | 6.2.4 | 7.2.4.6 | Определить персонал и график (ТР6) |
7.2.4.7 | Оформить План Тестирования (ТР7) | ||
Описание контрольного примера | 6.3.1 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Процедуры тестирования | 6.3.2 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Отчет о выполнении | 6.4.1 | 8.4.4.1 | Выполнить процедуру(ы) тестирования (ТЕ1) |
8.4.4.3 | Записать ход выполнения тестирования (ТЕ3) | ||
Отчет об аномалиях | 6.4.2 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Оценка результатов тестирования | 6.4.3 | Нет | Нет |
Приложение F
(справочное)
Соответствие ИСО/МЭК/ИИЭР 29119-2 и BS 7925-2:1998
Это приложение определяет соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и BS 7925-2:1998. Соответствие охватывает все процессы BS 7925-2:1998, связанные с тестированием.
Таблица F.1 - Высокоуровневое соответствие BS 7925-2:1998 в ИСО/МЭК/ИИЭР 29119-2
BS 7925-2:1998 | ИСО/МЭК/ИИЭР 29119-2 | ||
Общие | 4.1 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
7.3.4.1 | Установка (ТМС1) | ||
8.2.4.1 | Определить наборы функций (TD1) | ||
Стратегия тестирования компонентов проекта. Спецификация | 4.2.1 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
Планирование тестирования компонентов проекта | 4.3 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
7.3.4.1 | Установка (ТМС1) | ||
Планирование тестирования компонентов | 4.4 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
7.3.4.1 | Установка (ТМС1) | ||
Спецификация тестирования компонентов. Проект случая тестирования компонентов | 4.5.1 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Спецификация тестирования компонентов. Спецификация требований случая тестирования компонентов | 4.5.2 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Спецификация тестирования компонентов. Повторяемость выполнения случая тестирования компонентов | 4.5.3 | Нет | Нет |
Выполнение тестирования компонентов | 4.6 | Нет | Нет |
Запись тестирования компонентов. Составляющая идентификация | 4.7.1 | 8.4.4.1 | Выполнить процедуры тестирования (ТЕ1) |
8.4.4.3 | Записать ход выполнения тестирования (ТЕ3) | ||
Запись тестирования компонентов. Результаты выполнения | 4.7.2 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Запись тестирования компонентов. Затронутые повторенные действия | 4.7.3 | Нет | Нет |
Запись тестирования компонентов. Записи | 4.7.4 | Нет | Нет |
Верификация завершения тестирования компонентов | 4.8 | 8.4.4.1 | Выполнить процедуры тестирования (ТЕ1) |
Приложение G
(справочное)
Соответствие ИСО/МЭК/ИИЭР 29119-2 и ИИЭР 1008-2008
Это приложение определяет соответствие процессов в ИСО/МЭК/ИИЭР 29119-2 и ИИЭР 1008-2008. Соответствие охватывает все процессы ИИЭР 1008-2008, связанные с тестированием.
Таблица G.1 - Высокоуровневое соответствие ИИЭР 1008-2008 в ИСО/МЭК/ИИЭР 29119-2
ИИЭР 1008-2008 | ИСО/МЭК/ИИЭР 29119-2 | ||
Определите Общий Подход к Поблочному Тестированию | 3.1.2.1 | 7.2.4.3 | Определить и изучить риски (ТРЗ) |
7.2.4.4 | Определить подходы к обработке рисков (ТР4) | ||
8.2.4.1 | Определить наборы функций (TD1) | ||
Определите Требования Полноты | 3.1.2.2 | 8.2.4.2 | Получить тестовые условия (TD2) |
Определите Требования Завершения | 3.1.2.3 | 8.2.4.2 | Получить тестовые условия (TD2) |
Определите Требования к Ресурсам | 3.1.2.4 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
Определите Общее Расписание | 3.1.2.5 | 7.2.4.6 | Определить персонал и график (ТР6) |
7.2.4.7 | Оформить План Тестирования (ТР7) | ||
Изучите Функциональные Требования | 3.2.2.1 | 8.2.4.1 | Определить наборы функций (TD1) |
Идентифицируйте Дополнительные Требования и Связанные Процедуры | 3.2.2.2 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Идентифицируйте Состояние элемента | 3.2.2.3 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Идентифицируйте Характеристики Данных Ввода и Вывода | 3.2.2.4 | 8.2.4.2 | Получить тестовые условия (TD2) |
Выберите Элементы, которые будут Тестироваться | 3.2.2.5 | 8.2.4.1 | Определить наборы функций (TD1) |
8.2.4.2 | Получить тестовые условия (TD2) | ||
Усовершенствуйте подход | 3.3.2.1 | 7.2.4.5 | Разработать Стратегию Тестирования (ТР5) |
7.3.4.1 | Установка (ТМС1) | ||
8.2.4.4 | Получить контрольные примеры (TD4) | ||
8.2.4.5 | Собрать наборы тестов (TD5) | ||
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Определите Специальные Требования к Ресурсам. | 3.3.2.2 | 7.2.4.2 | Организовать разработку Плана Тестирования (ТР2) |
7.2.4.5 | Разработать Стратегию Тестирования (ТР5) | ||
7.2.4.6 | Определить персонал и график (ТР6) | ||
8.2.4.1 | Определить наборы функций (TD1) | ||
8.2.4.2 | Получить тестовые условия (TD2) | ||
8.3.4.1 | Установить тестовую среду (ES1) | ||
Определите Подробное Расписание | 3.3.2.3 | 7.2.4.6 | Определить персонал и график (ТР6) |
7.2.4.7 | Оформить План Тестирования (ТР7) | ||
Разработайте Архитектуру Набора Тестов | 3.4.2.1 | 8.2.4.3 | Получить элементы тестового покрытия (TD3) |
8.2.4.4 | Получить контрольные примеры (TD4) | ||
8.2.4.5 | Собрать наборы тестов (TD5) | ||
Получите Необходимые Явные Процедуры Тестирования | 3.4.2.2 | 8.2.4.5 | Собрать наборы тестов (TD5) |
8.2.4.6 | Получить процедуры тестирования (TD6) | ||
Получите Спецификации Контрольного Примера | 3.4.2.3 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Дополните, как Требуется, Спецификацию Контрольного Примера на Основе Информации о Проекте | 3.4.2.4 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Получите и Проверьте Тестовые Данные | 3.5.2.1 | Нет | Нет |
Получите Специальные Ресурсы | 3.5.2.2 | 8.3.4.1 | Установить тестовую среду (ES1) |
Получите Элементы Тестирования | 3.5.2.3 | Нет | Нет |
Запустите Тесты | 3.6.2.1 | 8.3.4.1 | Установить тестовую среду (ES1) |
8.4.4.1 | Выполнить процедуры тестирования (ТЕ1) | ||
Определите Результаты | 3.6.2.2 | 8.4.4.1 | Выполнить процедуры тестирования (ТЕ1) |
8.4.4.2 | Сравнить результаты тестирования (ТЕ2) | ||
8.4.4.3 | Записать ход выполнения тестирования (ТЕ3) | ||
8.5.4.1 | Проанализировать результат(ы) тестирования (IR1) | ||
Случай 1: Дефект в Спецификации Тестирования или Тестовых Данных | 3.6.2.2.1 | Нет | Нет |
Случай 2: Дефект в Выполнении Процедуры Тестирования | 3.6.2.2.2 | Нет | Нет |
Случай 3: Дефект в Тестовой Среде (например, системное программное обеспечение) | 3.6.2.2.3 | Нет | Нет |
Случай 4: дефект в Реализации Элемента | 3.6.2.2.4 | Нет | Нет |
Случай 5: Дефект в Проекте Элемента | 3.6.2.2.5 | 8.4.4.1 | Выполнить процедуры тестирования (ТЕ1) |
8.4.4.3 | Записать ход выполнения тестирования (ТЕ3) | ||
Проверьте Процесс Тестирования на Нормальное Завершение | 3.7.2.1 | Нет | Нет |
Проверьте Процесс Тестирования на Аварийное Завершение | 3.7.2.2 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Добавьте Набор Тестов | 3.7.2.3 | 8.2.4.4 | Получить контрольные примеры (TD4) |
Опишите Состояние Тестирования | 3.8.2.1 | Нет | Нет |
Опишите Состояние Элемента | 3.8.2.2 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Оформите Сводный Отчет Тестирования | 3.8.2.3 | 8.4.4.2 | Сравнить результаты тестирования (ТЕ2) |
8.5.4.1 | Проанализировать результаты тестирования (IR1) | ||
Обеспечьте Сохранность Продуктов Тестирования | 3.8.2.4 | 7.4.4.1 | Архивировать активы тестирования (ТС1) |
7.4.4.3 | Определить полученный опыт (ТС3) | ||
7.4.4.4 | Отчет о Завершении Тестирования (ТС4) | ||
Приложение ДА
(справочное)
Сведения о соответствии ссылочных международных стандартов национальным стандартам Российской Федерации
Таблица ДА.1
Обозначение ссылочного международного стандарта | Степень соответствия | Обозначение и наименование соответствующего национального стандарта |
ISO/IEC/IEEE 29119-1:2013 | - | * |
ISO/IEC/IEEE 29119-3:2012 | - | * |
ISO/IEC 12207:2008 | IDT | ГОСТ Р ИСО/МЭК 12207-2010 "Системная и программная инженерия. Процессы жизненного цикла программного обеспечения" |
* Соответствующие национальные стандарты отсутствуют. До их утверждения рекомендуется использовать перевод на русский язык данного международного стандарта. | ||
Библиография
[1] | BS 7925-2:1998, Software testing - Software component testing |
[2] | BS 7925-1:1998, Software testing - Vocabulary |
[3] | EC 60300-3-9:1995, Risk Analysis of technological systems |
[4] | IEEE Std 601.12-1990, IEEE Standard Glossary of Software Engineering Terminology |
[5] | IEEE Std 829-2008, IEEE Standard for Software and System Test Documentation |
[6] | IEEE Std 1008-1987, IEEE Standard for Software Unit Testing |
[7] | IEEE Std 1012-2012, IEEE Standard for System and Software Verification and Validation |
[8] | IEEE Std 1028-2008, IEEE Standard for Software Reviews and Audits |
[9] | ISO 15489-1:2001, Information and documentation - Records management - Part 1: General |
[10] | ISO 31000:2009, Risk management - Principles and guidelines |
[11] | ISO 9001:2008, Quality management systems - Requirements |
[12] | ISO/IEC 12207:2008, Systems and software Engineering - Software life cycle processes |
[13] | ISO/IEC 16085:2006, Systems and software Engineering - Life cycle Processes - Risk Management |
[14] | ISO/IEC 25000:2005, Software Engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE |
[15] | ISO/IEC 25010:2011, Systems and Software Engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models |
[16] | (SQuaRE) - Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing |
[17] | ISO/IEC 90003:2004, Software engineering - Guidelines for the application of ISO 9001:2000 to computer software |
[18] | ISO/IEC/IEEE 24765:2010, Systems and software engineering - Vocabulary |
[19] | International Software Testing Qualifications Board (ISTQB), Standard glossary of terms used in Software Testing [online]. Updated 1 April 2010 [viewed 11 April 2011]. Available from:http://www.istqb.org/ |
УДК 006.034:004.054:006.354 | ОКС 035.080 |
Ключевые слова: тестирование программного обеспечения, процесс планирования тестирования, подпроцесс, План Тестирования, Организационная Стратегия Тестирования, риск, менеджмент, валидация, верификация | |
Электронный текст документа
и сверен по:
, 2016
