ГОСТ Р ИСО/MSK 9546-5-93
государственный стандарт российской федерации
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ И ОСНОВЫ
АТТЕСТА Ц ИОН КОГО Т ЕСТ И РО В АН И Я
Часть 5- ТРЕБОВАНИЯ К ИСПЫТАТЕЛЬНЫМ ЛАБОРАТОРИЯМ И КЛИЕНТАМ В ПРОЦЕССЕ ОЦЕНКИ СООТВЕТСТВИЯ
Издание официальное
БЗ I2-&2 J16S
ГОССТАНДАРТ РОССИИ Москва
ГОСТ Р ИСО/МЭК 9646-6—93
Предисловие
О ПОДГОТОВЛЕН И ВНЕСЕН Техническим комитетом (ТК 22) «Информационная технология»
2 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 20.12.93 № 262
Настоящий стандарт подготовлен на основе применения аутентичного текста международного стандарта ИСО МЭК 9646—5 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия»
3 ВВЕДЕН ВПЕРВЫЕ
© Издательство стандартов. 1994
Настоящий стандарт не может быть полностью и.ж частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Госстандарта России.
11
ГОСТ Р ИСОМЭК 9646 5-93
СОДЕРЖАНИЕ
1 Область применения ...........
2 Норма пивные ссылки . . ......
3 Определения ............
4 Сокращения . . . .
4.1 Сокращения, wipe деле иные и ГОСТ Р ИСОМЭК 9646—1
4 2 Прочие сокращения . . .......
5 Общее описание процесса опенки соответствия . .
5.1 Введение .......
5.2 Подготовка к тестированию..... .
S3 Операции тестирования ........
5.4 Разработка отчета о тестировании . . ...
6 Подготовка к тестированию . ...... .
6 1 Введение..... . - -
6.2 Требования к тестированию ГС.......
6.2.1 Роль клиента . . . . . ■
6.3 Взаимодействие между испытательной лабораторией и клиентом
6.3.1 Контрольные спискк испытательной лаборатории я клиента
6.32 Соглашения о методах тестирования н выбор тестового коми лента .........
6 3.3 Административное управление техническими вопросами
6.4 Документация по опенке соответствия ......
6 4.1 Общее описание . ........
6.4 2 Заявка о соответствии реализации протоколу |ЗСРП)
6.4.3 Дополнительная информация -о реализации протокам для тестирования (ДИРПТ> .... ...
б.« О Заявка о соответствии системы (ЗСС) ....
6 4 5 Заявка о реализации ПАУТ ......
7 Oue ранни тестирования..........
7 I Введение ............
7.2 Рассмотрение статического соответствия......
7 21 Роль испытательной лаборатории . . . . .
7.2 2 Роль клиента...........
7.2.3 Совместная рол»...........
7,3 Выбор тестя............
7 3.1 Роль испытательной лаборатории ....
7.3.2 Роль клиента........ . .
7 4 Параметризации тестов....... . .
7.4 1 Роль испытательной лаборатории......
7,4,2 Роль клиента...........
7.5 Верификация процедур скоординированного тестирования
7.S.I Введение.......... . .
7.5.2 Совместная роль..........
7.6 Тестовая кампания......... . .
7.61 Введение........ ...
762 Роль испытательной, лаборатории......
7.6.3 Роль клиента...........
7.6 4 Совместная роль........- .
7.7 Согласованный выход из тестовой кампании.....
7 7 1 Использование согласованного выхода
77 2 Роль испытательной лаборатории......
7.7.3 Роль клиента.........- .
I
3
4 1
4
5
5
5
6
6 7
7
^
8 LO
10
12
13
13
13
14
11
15
16
16
16
16
16
18
18
18
18
19
19
19
20 20
20
20 20 1’0
22
23
24
24
24
24
III
ГОСТ Р ИСО/МЭК 0646-5-9.3
7.7.4 Совместная роль....... 24
8 Разработка отчета о тестировании........25
8.1 Отчеты об аттестационном тестировании .....25
8.1.1 Введение............25
8.2 Отчет об аттестационном тестировании системы (ОАТС) . 2-5
8.2 I Роль испытательной лаборатории ......25
8.2 2 Роль клиента...........26
8.2.3 Совместная роль..........26
8/5 Отчет об аттестационном тестировании ир^яохала (ОАТП1 26
8.3.1 Роль испытательной лаборатории......26
8 3 2 Роль клиента...........2:7
83 3 Совместная роль..........27
9 Согласованность............2В
9.1 Роль испытательной лаборатории . . 28
9.2 Роль клиента ...... 29
Приложение Л Отчет об аттестационной тестировании системы (ОАТС) 36
А I Введение ......36
А.2 Форма ОАТСза
Приложение В Отчет об аттестационном тестировании протокола (OATH) 32
B.l Введение 32
В 2 Форма OATH 32
Приложение С Скелетная форма ДИР ПТ ......35
C.I Введение..........35
С.2 Форма ДИРПТ.........35
Приложение D Руководство по ДИРПТ ..... 38
Приложение Е Сводный перечень документов по аттестационному тестирован ню ■.....39
El Сокращения, исяользуемые в данном приложении . 39
Е.2 Использование документов по аттестационному тести ронанню клиентом к испытательной лабораторией . .19
IV
ГОСТ Р ИСОМЭК 9М6-5—BJ
ВВЕДЕНИЕ
Аттестационное тестирование требует наличия взаимопонимания и согласия между испытательной лабораторией и клиентом. В настоящем стандарте описываются роли той или другой сторон «ри выполнении пронесся опенки соответствия, необходимость взаимного соглашения между ними и требования к .каждой из сторон.
Процесс опенки соответствия — это наиболее наблюдаемый процесс аттестационного тестирования, где результаты стандартизации тестовых комплектов получают практическое применение. Это также этап, на котором имеется возможность множества вариаций. Поскольку настоящий стандарт касается сравнительно формального процесса тестируемой реализации, важно, чтобы число и характер этих вариаций были максимально ограничены. Одна из основных целей стандартизации по аттестационному тестированию состоит в том, чтобы достичь приемлемой и полезной степени сопоставимости результатов опенок соответствия сходных реализаций. Для достижения этой цели должен использоваться не только один и тот же исходный материал тестирования (то есть определенный в стандартах), но и методы выбора и параметризации этих тестов, представления их результатов должны быть в основном одинаковыми.
В настоящем стандарте рассматриваются вопросы, которые должны учитываться хак испытательной лабораторией, так и ее клиентами, при необходимости достижения согласованных оценок соотистствия. Основными объектами настоящего стандарта являются испытательные лаборатории и их клиенты.
Испытательная лаборатория песет ответственность за оценку соответствия конкретной реализации ВОС по запросу клиента. Обычно функции испытательных лабораторий выполняют:
а) организации, разрабатывающие или поставляющие реализации ВОС (испытательные лаборатории первой стороны);
Ь) организации, желающие сами проверить реализации ВОС перед их использованием (испытательные лаборатории второй стороны);
с) организации независимых поставщиков или пользователей ВОС. основной сферой деятельности которых является тестирование таких реализаций (испытательные лаборатории третьей сто роны).
Клиентами могут быть разработчики или поставщики реальных открытых систем или других систем ВОС. которые применяют их для своих собственных реализаций, подлежащих тестированию. Ими могут быть также владельцы этих реализаций или другие за-
ТОСТ Р ИСО/МЭК 9648—5—93
интсресованные стороны. Применимость настоящего стандарта не зависит от взаимоотношений между клиентами и реализацией. При выполнении процесса оценки соответствия клиент несет ответственность за заявки о соответствии, которые прилагаются к тестируемой системе (ТС), и за конфигурацию ТС.
Вторичными, но заинтересованными в настоящем стандарте сторонами, могут быть
а) исполнители тестов;
Ь) организации, ответственные за аккредитацию испытательных лабораторий первой, второй и третьей сторону
с) организации, ответственные за выдачу аттестационных сертификатов. которые основываются на отчетах об аттестационном тсс-тированни, выдаваемых непитательными лабораториями;
d) читатели отчетов об аттестационном тестировании.
В. настоящем стандарте процесс оценки соответствия, относящийся к испытательной лаборатории и к ее клиентам, подразделяется на три фазы:
а) подготовка к тестированию;
Ь) операции тестирования;
с) разработка отчетов о тестировании.
Общее описание этих трех фаз приведено в разделе 5. В разделах 6—9 изложены требования к выполнению этих трех фаз.
В настоящем стандарте прел поля глотгя. ото испытательная лаборатория доступна и готова к предоставлению услуг по оценке соответствия. Предполагается также, что испытательная лаборатория приобрела у исполнителя тестов (независимо <>г принадлежности последнего к той же организации) средства тестирования для одного пли нескольких протоколов ВОС. которые соответствуют одному или нескольким методам абстрактного тестирования. В настоящем стандарте определяются требования к испытательной лаборатории относительно выполнения процесса оценки соответствия для конкретного клиента.
Точно также предполагается, что клиент готов к применению оценки соответствия для реализации ВОС. Считается, что клиент знаком с соответствующими стандартами, с принципами аттестационного тестирования и методами абстрактного тестирования и готов сотрудничать с испытательной: лабораторией. В настоящем стандарте определяются требования к клиенту относительно тестируемости предложенной ТС н к выполнению процесса опенки соответствия.
Рекомендуется изучать настоящий стандарт в сочетании с ГОСТ Р ИСО/МЭК 9646-1.
Настоящий стандарт опубликован также в пиле рекомендации Х.294 (1991) МККТТ.
VI
ГОСТ Р ИСО'МЭК Ш6-6-93
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕ РАЦИИ
Информационная техиомпгя
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ II ОСНОВЫ АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
Части 5 Требования к испытательным лабораториям и клиентам в процессе оценки соответствия
Informa lion technology. Open Systems Interconnection.
Conformance Testing Methodology and Framework.
Part 5: Requirements on Test Laboratories and Clients Гог the Conformance Assesmott Process
Дата введения 1994-07-01
■ ОБЛАСТЬ ПРИМЕНЕНИЯ
Настоящий стандарт определяет требования к испытательной лаборатории и к клиентам при выполнении процесса оценки соответствия. Эти требования необходимы для получения сопоставимых результатов тестирования сходных реализаций, полученных различными испытательными лабораториями. Настоящий стандарт содержит также некоторые руководящие материалы по процессу оценки соответствия.
К этим требованиям откосятся:
а) требования к тестируемости реализации относительно методов абстрактного тестирования;
Ь) общие требования к испытательной лаборатории и к клиенту применительно к любому процессу аттестационного тестирования .
с) обмен технической л административной информацией, включая заявку о соответствии системы (ЗСС), заявку о соответствии реализации протокату (ЗСРП) для каждое соответствующего стандарта но протоколу ВОС и дополнительную информацию о реализации протокола для тестирования (ДИРПТ) для каждого комплекта абстрактных тестов i.KATi. которые должны использоваться Для тестирования;
d) взаимодействие между испытательной лабораторией и клиентом для достижения согласованности в. определении тестируемой реализации (ГР), по используемым методах» аттестационного тестирования, по комплектам аттестационных тестов и по условиям выполнения тестирования;
Издание официальное
I
ГОСТ Р ИСО МЭК 0646-5-93
е) требования к структуре и содержимому отчетов об аттестационном тестировании, в которых документируются результаты оценки соответствия.
Настоящий стандарт применим в равной степени и к тем вс-питательным лабораториям, которые относится к поставщикам и владельцам, и к независимым испытательным лабораториям.
Настоящий стандарт применим к оценке соответствия тех реализаций ВОС и двухчастевых стандартов ио протоколам ISDN, которые отвечают соответствующим требованиям ГОСТ Р ИСО/ МЭК 9646—2 на тестируемость, основанным на стандартах по ат-тестациононму тестированию, определенных в соответствии с ГОСТ Р ИСО/МЭК 9646—2 и использующих средства тестирования, соответствующие ГОСТ Р ИСО/МЭК 9646—4.
В предмет рассмотрения настоящего стандарта не входят:
а) выработка диагностической трассовой информации, дополнительно к той. которая содержится в журнале соответствия, в результате тестирования, проведенной испытательной лабораторией. и ее предоставление клиенту;
Ь) те аспекты операций испытательной лаборатории, которые нсспеиифнчны для тестируемой реализации протоколов ВОС;
с) аккредитация испытательной лаборатории;
d) сертификация реализаций протоколов ВОС.
2 НОРМАТИВНЫЕ ССЫЛКИ
Нижеперечисленные стандарты содержат положения, которые путем ссылок на них в данном тексте образуют положения настоящего стандарта В момент публикации настоящего стандарта указанные издания стандартов были действующими. Все стандарты подвергаются пересмотрам, и участникам соглашений, основанных на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандартов. Комитеты — члены МЭК. и ИСО имеют списки международных стандартов, действующих на текущий момент.
ГОСТ 28906—91 (ИСО 7498) «Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель». (См. также рекомендацию Х.200 МККТТ).
ИСО/ТО 8509—87 «Системы обработки информации. Взаимосвязь открытых систем. Соглашения по услугам». (См. также рекомендацию Х.210 МККТТ) *.
* До прямого применения данного документа в качестве государственного стандарта распространение его осуществляет секретариат'ТК 22 «Информационная гохиологня».
2
ГОСТ Р ИСОМЭК 9646—5-93
ГОСТ Р ИСО/МЭК 9646—1—93 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие концепции» (См. также рекомендацию Х.29 4 (1991) МККТТ).
ИСО/МЭК 9646—3—92 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная и табличная нотация». (См. также рекомендацию X 292 (399!) МККТТ)*.
ГОСТ Р ИСО/МЭК 9646—2—93 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта» (См. также рекомендацию X.29I (1991) МККТТ)
ГОСТ Р ИСО/МЭК 9646—4—93 «Информационная технология. Взаимосвязь открытых систем. Методология я основы аттестационного тестирования Часть 4. Реализация тестов» (См. также рекомендацию X.293 (1991) МККТТ)
3 ОПРЕДЕЛЕНИЯ
Для целей настоящего стандарта применимы вес определения, приведенные в ГОСТ Р ИСО/МЭК 9646—L Приводимые в данном разделе определения также применимы к настоящему стандарту.
3.1 Администратор клиента па тестированию — лицо, назначенное организацией клиента ответственным за все вопросы, относя шнеся к аттестационному тестированию ТР.
3.2 Администратор испытательной лаборатории — лицо, назначенное испытательной лабораторией ответственным за все вопросы, относящиеся к операциям испытательной лаборатории.
3-3 Оператор тестирования — лицо или лица, назначенные испытательной лабораторией ответственным (и) за прогон аттестационных тестов относительно ТР.
3.4 Оператор ТС — лицо или лица, назначенное организацией клиента ответственным (и) за работу ТС во время операционного тестирования.
3.5 Согласованный выход (СВ) (из процесса оценки соответствия) — момент времени, в который испытательная лаборатория и клиент совместно решили закончить процесс оценки соответствия.
' До прямого применения данного документа в качестве государственного стандарта распространение «гп осуществляет секретариат ГК22 «Информвином-наг. технология*.
2 З^к. 250
3
ГОСТ Р ИСО'МЭК <1646-5-93
3.6 Контрольный список испытательной лаборатории — запись относящейся к тестированию информации, предоставляемая клиенту испытательной лабораторией ла фазе подготовки к тестированию процесса оценки соответствия.
3.7 Контрольный список клиента — запись относящейся к тестированию информации, предоставляемая клиентом для испытательной лаборатории на фазе'подготовки к тестированию процесса оценки соответствия.
4 СОКРАЩЕНИЯ
4.1 С О к ра щен и я, определенные в ГОСТРИСО/ МЭК 96 4 6—1
Для настоящего стандарта применимы следующие сокращения:
ДСП — абстрактный сервисный примитив.
ВОС — взаимосвязь открытых систем.
ДИРПК — дополнительная информация о реализации протокола для тестирования.
ЗСРП — заявка о соответствии реализации протоколу.
ЗСС — заявка о соответствии системы.
КАТ — комплект абстрактных тестов.
КВАТ — комплект выбранных абстрактных тестов.
КПВТ — комплект параметризованных выполнимых тестов.
МАТ — метол абстрактного тестирования.
ОАТП — отчет об аттестационном тестировании протокола.
ОАТС — отчет об аттестационном тестировании системы.
ПБД-АУТ — протокольный блок данных административного управления тестированием.
ПДУ — пункт доступа к услугам.
ПКН — пункт контроля и наблюдения.
СТ — средства тестирования.
ТОВ — тест основной г взаимосвязи.
ТР — тестируемая реализация
ТС — тестируемая система.
4.2 Прочие сокращения
Для настоящего стандарта применимо также следующее сокращение.
СВ — согласованный выход.
<
FOCI Р ИСО.'МЭК »Мв-5-93
5 ОБЩЕЕ ОПИСАНИЕ ПРОЦЕССА ОЦЕНКИ СООТВЕТСТВИЯ
5.1 Введение
На рисунке I показан процесс оценки соответствия. В 6.3 ГОСТ Р ИСО/МЭК 9646—1 содержится общее описание процесса оценки ■соответствия. В данном разделе в качестве руководящего материала приведено общее описание трех фаз этого процесса (подготовка к тестированию, операции тестирования и разработка отчета о тести ров а ним).
— r«jT0K упрМЛЯшв^м отфюралжцми, - поток информации.
Рисунок I — Вил процесса «цеичп соответствия
5.2 II од гот о в к а х тестированию
Фаза подготовки включает в себя.
а) общие административные таги, например, подготовка задачи клиентом, подготовка документов испытательной лабораторией. описывающих общую политику, понятия и условия проведения оиераций тестирования, а также подготовка клиентом информации о ТС;
Ь) проверка полноты документации, разработанной испытательной лабораторией (форма ДИРПТ), клиентом (ЗСРП. ДИРПТ. ЗСС), а также обмен контрольными списками между нс-питательной лабораторией и клиентом;
а
ГОСТ Р ИСО/МЭК ЭМ В-5—93
с) анализ конфигурация ТС и выбор стандарта (он) по аттестационному тестированию по протоколу (ам} ВОС, подлежащему (им) тестированию, либо соглашение о том. что как ТС. так я СТ испытательной лаборатории способны обеспечить методы абстрактного тестирования или использовать согласованный выход в случае невозможности достигнуть соглашения;
И) подготовка ТС и СТ для тестируемой конфигурации, которая образуется в результате выбора метода абстрактного тестирования.
Требования по подготовке к тестированию для испытательной лаборатории и клиента приведены в разделе б.
5.3Операции тестирования
В ходе второй фазы выполняются операции тестирования. К ним относятся:
а) рассмотрение статического соответствия, в ходе которого выполняется подробный анализ ЗСРП и ДИРПТ;
Ь) выбор н параметризация теста применительно к комплекту выполнимых (или абстрактных) тестов; здесь определяется комп-лект параметризованных абстрактных тестов, которые будут ныло л пяться;
с) одна или несколько тестовых компаний, в ходе которых осуществляется прогон:
I) тестов основной взаимосвязи (факультативно):
2) тестов функциональных возможностей;
3) тестов поведения.
Если выполнение операций тестирования сталкивается с трудностями. то клиент и испытательная лаборатория могут согласовать репетицию выполнения тестовой камлании полностью или частично. Они могут также осуществить согласованный выход из процесса оценки соответствия.
П?«мочение— Причины согласованного иы.мш докужютнрумися я неформальном отчете о тестировании.
Требования к выполнению операций тестирования со стороны испытательной лаборатории и клиента приведены в разделе 7.
5.4 Р азр а бот к а отчета о тестировании
После завершения операций тестирования наступает третья фаза: выполняется оценка соответствия реализации ВОС. Эта оценка регистрируется в отчетах о тестировании на соответствие системе и протоколу, формы которых приведены в приложениях А и В соответственно.
Требования к разработке отчета о тестировании приведены в разделе 8.
6
ГОСТ Р ЯСОМЭК 9б4«-5—93
6 ПОДГОТОВКА К ТЕСТИРОВАНИЮ
6.1 Введение
В разделе 6 определены требования к фазе подготовки тестирования, относящиеся как к испытательной лаборатории, так и к клиенту. На рисунке 2 показана фаза подготовки процесса'опенки соответствия. В- этой фазе обе стороны озабочены тем, чтобы необходимая документация (включая ЗСС. ЗСРП, ДИРПТ и контрольные списки) была заполнена к обоюдному согласию; в частности, те характеристики ТС, которые определяют ее конфигурации и влияют на выбор методов тестирования, должны быть точно
0*M£4uV * Т*Е|ИС«ЫМИЙ ICM ЗИСрмв* 3*1
* ЛО’ОК vnpenn*<we* ынСормЩии.
- ЛОЧЖ инШчтмацил.
- ЛуиКТ ГДИ-МГК» решений.
Рисунок 2 — Подготовка к тестированию
определены. Предполагается, что требовании к тестируемости ТС обеспечены клиентом до его контакта с испытательной лабораторией.
В качестве предпосылки к операциям тестирования клиент, н испытательная лаборатория согласовывают метол абстрактного тестирования и условия проведения тестовой кампании. При дос-
7
ГОСТ Р ИСО/МЭК 9646-5-93
1иженми соглашения испытательная лаборатория выбирает СТ для выбранного метода тестирования и переходит к фазе операций тестирования; в противном случае может быть предпринят выход яз тестирования.
6.2 Требования к тестированию ТС
6.2.1 Роль клиента
^.2Л.\ Общие положения
Клиент должен обеспечить, чтобы ТС была тестируема с использованием, -по меньшей мере, одного из методов абстрактного тестирования, определенных в ГОСТ Р ИСО/МЭК 9646—2.
Примечание — Настоящая часть ИСО/МЭК 9646 не налагает на клиента ограничений а вопросе согласования какого-либо конкретного метола до тех пор, пока имеется возможность использовать одни метод путем сдеивегсг-яукипей организации ТС.
Каждый из методов, описанных в разделе 12 ГОСТ Р ИСО/ МЭК 9646—2, предъявляет конкретные требования к ТС относительно ее тестируемости. Эти требования варьируются в завися мости от метода тестирования.
Для того метода, который клиент объявляет пригодным: для тестирования ТС. он должен предусмотреть, чтобы ТС обеслечива-ла необходимые средства контроля к наблюдения н чтобы она могла выполнять соответствующую процедуру скоординированного тестирования.
В следующих четырех подразделах определяются дальнейшие требования к тестируемости для каждого из методов абстрактного тестирования.
•t>.2.1.2 Л1 е то^ д локального тестирования
16.2.1.2.1 При использовании локального метода тестирования -клиент должен обеспечить аппаратную реализацию верхнего ик терфейса ТР н его подключение к тестирующей системе.
Примечание — Единственные требования состоят в том, чтобы этот жвтсрфсйс был стандартным и чтобы обеспечивалось четкое преобразование меж-лт соответствующими ДСП и этим аппаратным интерфейсом.
6.2.1.2 2 К клиенту не предъявляется никаких требований по процедурам скоординированного тестирования.
6.2.1.3 М его д распределенного тестирования
6.2.1.3.1 При использовании метода распределенного тестирования клиент должен позаботиться о том, чтобы ТС содержала средства генерации ДСП к индикации их приема для соответствующих пунктов контроля и наблюдения (ПКН), подходящих для данной ТР.
я
ГОСТ Р И СО М ЭК 9MS-5—93
Примечания
I Единственные требования состоят п том. чтобы в ТС были реализованы средства контроля и наблюдения результатов действия соответствующих АСП н чтобы верхняя сервисная граница ТР представляла собой либо интерфейс с пользователем человека, либо интерфейс со стандартным языком программировании.
2 Любая реализации молот удовлетворять этим требованиям при условии, что соответствующие АСП могут генерироваться и недвусмысленно обнаруживался Примерами таких реализаций служат нажимаемые клавиши, наблюдение и контроль действий протоколов ВОС, использующих ггрпиенкг кричи гите наблюдение действий периферийных устройств и др. Между этими средствами в ТС и: АСП возможны отображения «один к одному*, «один к нескольким» или «нгенольно к одному».
6.2.I.3.2 Клиент должен позаботиться о том. чтобы оператор ТС мог уведомить оператора тестирования (в испытательной ла боратории) о появлении событий АСП в ТС. если это требуется процедурами скоординированного тестирования.
Примечание — Способы передачи испытательной лаборатории уведом-.книл о появлении сгенерированных в наблюдаемых событий АСП не входят в мрел мет рассмотрения настоящего стандарта, но они могут быть обеспечены путем исиольюмании отдельного канала обмена данными, например речевого, телефонного, напала данных и др Способ обмена данными представляет собой часть жчрормальных процедур скоординированного тестирования и указывается клиентом и его контрольном списке, передаваемом испытательной лэборлторней для оценки соответствия.
6.2,1.4 .Me rod скоординированного rear и ров а-н и я
6 2.1.4.1 При использовании метола скоординированного тестирования клиент должен позаботиться о том, чтобы ГС могла обеспечить. но меньшей мерс, один верхний тестер, который представляет собой реализацию стандартного протокола административного управления тестированием (ПАУТ), соответствующего данной ТР.
Примечание — Это требование не предполагает реализацию и ТС реальной сервисной границы ВОС с реальными сервисными примитивами.
6.2.1.4.2 После того как в процессе подготовки к тестирование» будет выбран КАТ для метода скоординированного абстрактного тестирования, клиент должен позаботиться о том, чтобы ТС обеспечила верхний тестер, который реализует ПАУТ для данного К IT.
Примечание — При подготовке к тестированию клиент может проконсультироваться у испытательной лаборатории по вопросам обеспечения «лек» требовании Клиент может также предпочесть реализовать верхний истер и ПАУТ для конкретного КАТ в проверяемой ТР, прежде чем ом образуем к пс питательно» лаборатории е запросом оценки соответствии
9
ГОСТ Р ИСО/МЭК »Мв~5—83
6.2 1.5 М е то д удаленного тестирования
6.2.1.5.1 Прй использовании метода удаленного тестирования после того, как будет выбран КЛТ при подготовке к тестированию, клиент должен задокументировать в ДИРПТ ту степень контроля и наблюдения, которую могут достичь в ТС процедуры скоординированного тестирования, которые записаны неформально в стандартном КАТ.
Примечание — Из всех недодай -teciкровени* данный ml-год излагает на К юшм-. кыпж- ограничения Предполагается. однако, что ГС бу к-т функций-пороиаи. a сгони тпчии с тем. чго «ачалеко п ДИРПТ. Элк звякни могут пр-.-дпо-лащтъ квотирую степень контроля, например, место, где ТС должна инициировать некоторое событие.
6.2.1 5.2 Для тех событий тестирования, для которых в ДИРПТ заявлена степень контроля или наблюдения, клиент должен обеспечить, чтобы о появлении в ТС таких событий оператор ТС уведомлял оператора тестирования (в той же испытательной лаборатории), если это требуется процедурами скоординированного тестирования.
Примечание — Способы передачи испытательной лаборатории уведом-лшпй и понл-ъ-нмп сгенсри|и>11иниых к наблюдаемых пазовых событии и<- входя» к предмет рассмотрения настоящего стандарта, но их можно обеспечить с по-мощыо отдельного канала связи, например, речевого, телефонного или канала данных и др. Способ осуществлении такой семы составляет часть неформальных щхмн-дур скоординированного тестирования и указыплется клиентом и споем мч'!|н>Л1.иом списке мри его передаче цепы: ьтельнип лаборлирпи дли оценки «ютястстпн*.
6.3 Взаимодействие между испытательной ла-«ораторией и клиенте м
6.3.1 Контрольные списки испытательной лаборатории и клиента
6.3.1.1 Введение
Во время подготовки к операции тестирования испытательная лаборатория и клиент обмениваются относящейся к тестированию информацией с целью согласования определения ТР. выбора ме-тада(ов) абстрактного тестирования и комплекта (о в) абстрактных тестов для иопользования в процессе тестирования. Эта информация, часть которой может быть собрана в результате обсуждений, записывается ю контрольных списках испытательной лаборатории и клиента. В результате обмена контрольными списками и их рассмотрения обе стороны могут придти к соглашению о возможности или невозможности перехода к фазе подготовки тестирования. Соглашение может быть не достигнуто, если испытательная лаборатория окажется неспособной предложить услуги тестирования. совместимые с представленной клиентом ТР. Если обе
ю
ГОСТ Р ИСОМ4К 9646-5—93
стороны согласились продолжать работу, они готовят документы, необходимые для оценки соответствия (см. 6.4).
б.^Л.2Роль испытательноИ лаборатории,
В фазе подготовки к тестированию процесса оценки соответствия испытательная лаборатория должна предоставить клиенту свой контрольный список, содержащий, по меньшей мере, следующую информацию:
а) требования, предъявляемые испытательной лабораторией к клиенту относительно обеспечения ЗСС, ЗСРП и ДНРПТ;
h) заявка о согласованности с настоящим стандартом;
с) метод(ы) абстрактного тестирования, обеспеченный(ыс) для каждого из протоколов ВОС, который предлагается для тестирования;
d) заявка о соответствии стандартам по аттестационному тестированию. на соответствие которым предлагается тестирование;
е) заявление об обеспечении илн необеспечен ин испытательной лабораторией услуги исчерпывающего тестирования в соответствия с требованиями каждого применимого стандарта по аттестационному тестированию и ГОСТ Р ИСО/МЭК 9646—2;
f) ограничения нижнего(их) тестера(ов) (при его (их) наличии), налагаемые на обеспечиваемые методы тестирования ТС клиента;
g) спецификация верхнего тестера (в применимых случаях) и процедур скоординированного тестирования для обеспечиваемых методов тестирования ТС клиента;
h) описание процедур испытательной лаборатории, относящихся к прогону тестов в ходе тестовой кампании и к клиенту, в особенности тех. которые должны выполняться оператором ТС;
i) ссылки на ясе документы, которые должны использоваться и разрабатываться испытательной лабораторией в ходе процесса опенки соответствия.
Примечание — Ислшнкльнах лаборатория может ярелостээить клиенту:
я) информацию об услугах тесткровакия. предлагаемых для набора протоколом ВОС, интересующих клиента;
Ъ) помощь в реализация верхнего тестера (при его использовании) для выб-ранного метала абстрактного тестировании;
с) перечень тех. с кем необходимо контактировать для получения форм ДИРПТ и другой необходимой информации;
d) опенки времен, необходимых для выполнения фаз Операций тестирования и разработки отчетов о тестировании процесса оценки соответствия;
it глюку об аккредитации нчпыгдтель.чой лаборатории (при необходимости)
6.3.1.3 Р о л ь клиента
В фазе подготовки к тестированию процесса оценки соответствия клиент должен предоставить испытательной лаборатории свой
П
ГОСТ Р ИСО/МЭК »М6—Б—93
контрольный список, содержащий, по меньшей мере, следующую информацию:
а) заявка о согласованности с настоящим стандартом;
Ь) определенно, какая часть 'ГС предлагается и качестве ТР и какие протоколы должны тестироваться;
с> заявка о тестируемости ТС, осно-ванная на конкретном (ых) методе(ах) абстрактного тестирования н/или на стандартах по аттестационному тестированию;
d) перечень тех процедур скоординированного тестирования, которые пригодны для использования с этой ТР и которые соответствуют предложенном у (ым) методу (а м) абстрактного тестирования.
При м<-чз н ан- — Клиент может предоставить- испытательной лаборатории: а) информацию о любых физических требованиях к ТР (например. занимаемая площадь, кондиционирование и др), при необходимости, и любую другую практическую информации», которая .может потребоваться и процессе оценки соответствии;
Ь) перечень тех. с кем необходимо контактировать п процессе оценки с-оот ик-тствин
6.3.2 Соглашения о методах тестировании и выбор тестового комплекта
6.3.2.1/*о л ь испытательной лаборатории
Испытательная лаборатория должна приспособить выбранный клиенто-м истод абстрактного тестирования я каждому протоколу предложенной ТР (см. 6.3.2.2) и выбрать соответствующий эталонный стандартный КАТ (включая соответствующую спецификацию ПАУТ), который должен использоваться в процессе оценки соответствия.
Для каждого выбранного стандартного КАТ испытательная лаборатория должна идентифицировать- и использовать СТ, согласованные со стандартным КАТ и ГОСТ Р ИСО/МЭК 9646—1.
Примечание — Использу*!мык(ые) стандарты) по аттестованному тес-тирочаниэо долли-иОнщ иметь наибольший ил данный момент статус стандартно цин {см. раздел 5 ГОСТ Р ИСО/МЭК 9М6—2J.
6.3.2.2 Роле клиента
Клиент должен рассмотреть контрольный список испытательной лаборатории и выбрать метод абстрактного тестирования, подлежащий использованию для каждого протокола предложенной ТР в соответствии с заяв-ками о тестируемости ТС и с услугами тестирования. предложенными испытательной лабораторией.
П р и- м с ni а к и я
I Клиент может аю Споем.)- Ж< .Hilt 1Нн ЬЫбрИП.. МНИМ м-Лад (|>0 абстрактного асетропання, который(ые) сн предъяпляет никаких дополниu-льных цк-бпнаний к ТС. кроме тех. которые содержа тел s стандартах ВОС и соответствие которым.
12
ГОСТ Р ИСО.'МЭК «««-S-93
ТС заявлено В подобных случаях клиент должен яыбрать такую испытательную» лабораторию, хоюран обеспечивает услуги исчерпывающего тестирования (Си. 13 7 2 ГОСТ Р ИСО/МЭК 9646—2 и 9 1 настоящего стандарта».
2 ТР может содержат», один логический объект протокола или несколько таких объектов Если ТР является многопротокольной, то методы оджоуропнего ^строенного тестирования должны использоваться нарастающим способом. (См. 7 6 ГОСТ ₽ ИСО/МЭК 9646—1).
$ При лспо.т>точл>11111 гк-годоп пу-трти-нисно «xuioypmwfct н-сыроиапим К\Т ориентирован на отдельный протокол ВОС.
4 В ТС может быть определено несколько ТР, если в одной и той же ТС для различных комбинаций протоколов н методой тестирования необходимо вы-г .лчить шхтю.т.ы» оценок соответствия
6 3.2.3 С о л .местная р о л л
После того, клк обе стороны рассмотрят информацию, содержащуюся в контрольных списках, для продолжения процесса опенки соответствия обе стороны должны согласовать:
а| точность и достаточность информации, предусмотренной » контрольных списках;
Ь) определение ТР;
с) метод(ы) абстрактного тестирования н соответствующий (не) КЛТ. подлежащие использованию дли процесса оценки соответствия.
Если соглашение не может быть достигнуто, должен быть пред-ирчля: согласованный выход для завершения процесса оценки со ответствия. Е-слп же соглашение достигнут», то все согласованное должно быть зарегистрировано в отчете об аттестационном тестировании системы (ОАТС), создаваемом в конце процесса оценки соответствия.
6.3.3 Административное управление техническими вопросами
Не существует общих требований относительно процедур разрешения технических вопросов между клиентом и испытательной лабораторией, которые могут возникнуть в процессе оценки соот встствня. Однако при обнаружении различий между стандартом по аттестационному тестированию и стандартом по протоколу и разрешении проблемы предпочтение следует отдать стандарту’по протоколу.
П р и мк-ч а м ж- — Неразрешимые вопросы технического Характера, отно-гяиик с и н <11не]Ч1|М’'>П1ып пхнвпсзоупддих стандартов, могу» быо. адресованы и соьишс/вуюшую ипрелсянтельиую группу пн стандарта и ВОС
6 1 Ъ ■■ У 'IС«■ г а ция по оценке с «ответ отв и я
(•■1.1 Общее описание
После того, как испытательная лаборатория и клиент согласуют определения ТР. метод(ы) абстрактного т-естировзния и комплексы) абстрактных тестов для использования в процессе оценки соответствия, они обмениваются подробной информацией относн-
IS
ГОСТ р НСО'МЭК ЭМв—5—93
тель но ТС Эта информация содержится в четырех документах, относящихся к подготовке тестирования: ЗСРП, ДИРПТ, ЗСС и заявки о реализации ПАУТ, В четырех следующих подразделах устанавливаются требования -к клиенту и испытательной лабора-тории относительно разработки этих документов и обмена ими.
6.4.2 Заявка в соответствии реализации протоколу (ЗСРП) ЬА.2.1 С одержимо е ЗСРП
Подробная информация <> роли л назначении ЗСРП приведена к 5.+ ГОСТ Р ИСО/МЭК 9646—1 и в основных руководящих материалах но no-строению формы ЗСРП, приведенных в приложении С к ГОСТ 11СО/МЭК 9646—2.
Форма ЗСРП содержится в каждом стандарте но протоколу ВОС и н стандарте по синтаксису передачи, который соответствует требованиям ГОСТ Р ИСО/МЭК 9646—2 на тестируемость.
>А:2.2 Р ол ъ испытательной .лаборатории
о вопросах обеспечения клиента формой ЗСРП требования к испытательной лаборатории не предъявляются. Однако испита-тельлая лаборатория может, при необходимости, обеспечить копни соответствующих форм ЗСРП.
6.4.2.3 Роль клиента
Клиент должен обеспечить ЗСРП для каждого стандарта по протоколу ВОС (и ДЛЯ каждого стандарта по синтаксису передачи н случае его применения), который реализован в ТР и на соответствие которому должно проводиться тестирование.
Клиент должен заполнить формы ЗСРП из соответствующих стандартов ВОС. Требования к информации, содержавшее и з ЗСРП. устанавливаются » соответствующих стандартах.
6.4.3 Дополнительная информация а реализации протокола для тесл ириван ая ( Д If PR Т)
6.4.3.1 Содержимое ДИРПТ
Роль и назначение ДИРП 1 приведены в 6.2 ГОСТ Р ИСО/МЭК 9646 — 1. Требования в другие руководящие материалы по структуре и содержимому ДИРПТ приведены в приложениях С и D настоящего стандарта.
6.4.3.2 Рол 6 испытательной лаборатории
Испытательная лаборатория должна разработать форму ДИРПТ для каждого стандартного КАТ, предлагаемого для тестирования. в соответствии со скелетом формы, определенным в приложении С.
Каждая форма ДИРПТ должна содержать расширенную форму ДИРПТ, прилагаемую к СТ и соответствующую эталонному стандартному КАТ Она должна содержать также вопросы, необходимые для получения всей информации относительно ТС. ТР и
И
ГОСТ Р ИСО/МЭК <1646-5—93
соответствующих параметров КАТ, которая отсутствует в соответствующих ЗСС и ЗСРП. но которая необходима испытательной лаборатории для прогона выполнимых версии стандартных КАТ.
Испытательная лаборатория должна представить клиенту форму ДИРПТ для каждого КАТ. который должен использоваться в процессе оценки соответствия.
Примечание — На каждый протохая имеется один стандартный КАТ при методах одпоурорщтого и астронпого одноурознеш :;о tee тированы) Таким образам, при использовании лях методов на каждый протокол имеется одна форма ДИРПТ
6.4.3.3 Роль клиента
Клиент должен обеспечить ДИРПТ на каждый КЛТ. используемый при тестирования, путем заполнение соответствующей формы ДИРПТ, представленной испытательной лабораторией.
Примечание — Если запрошенная информация слишком обширна, в ДИРПТ можно лать ссылку на другие документы, солгржшцяе ш-пбм«лю’уш ни формацию
6.4.4 Заявки о соответствии системы (ЗСС)
6.4.4.1 С. о d е р ж и мое ЗСС
Роль it назначение ЗСС кратко упоминались в 5.4 ГОСТ Р ИСО/МЭК 9646—1. Формат ЗСС не стандартизован, однако ЗСС должна содержать, как минимум, следующую информацию:
а) информацию о ТС н клиенте:
1) административную информацию, идентифицирующую клиента;
2) системную информацию, идентифицирующую ТС. например, наименование к номер версии;
Ь) информацию, относящуюся -к тем протоколам в ТС. для которых предусмотрена ЗСРП:
I) идентификацию о стандартах по протоколу ВОС (и синтаксис передачи ВОС), включая номера версий;
2) ссылку я а соответствующую ЗСРП.
ЗСС -факультативно может содержать сведения о том. доступны ли ОАТС и ОАТП, полученные из предыдущей оценки соответствия.
6АА.2Роль испытательной лаборатории
К испытательной лаборатории не предъявляется требований по обеспечению формы ЗСС. Сама ЗСС содержит независимую от теста информацию относительно ТС.
6.4.4.3 Р о л ь клиента
Клиент должен представить испытательной лаборатории ЗСС в соответствии с 6.4.4.1.
15
ГОСТ Р ИСО/МЭК 9646—5—93
6.4.5 Заявка о реализации ПАУТ
6.4.5.1 Содержимое запеки о реализации ПАУТ Роль и назначение заявки о реализации ПАУТ определены в разделе 14 ГОСТ Р ИСО/МЭК 9646—2. Форма заявки о реализации ПАУТ содержится в части ПАУТ каждого стандарта по аттестационному тестированию, который использует метод скоординированного абстрактного тестирования.
6.4.5.2 Роле испытательной . л а б о-р а то р и и
Испытательная лаборатория должна представить клиенту форму заявки о реализации ПЛУТ для каждого КАТ, основанного на методе скоординированного абстрактного тестирования, который должен использоваться в процессе оценки соответствия.
6.4.5.3 Роль клиента
Клиент должен обеспечить заявку о реализации ПАУТ для каждого КАТ, который основан на методе скоординированного абстрактного тестирования и который должен использоваться для тестирования. Эго выполняется путем зднолнения соответствующей формы, представленной испытательной лабораторией.
7 ОПЕРАЦИИ ТЕСТИРОВАНИЯ
7.1 Введение
В разделе 7 определены требования к операциям тестирования. На рисунке 3 показаны типичные операции тестирования. Для целей данного раздела предполагается, что однопротоколькая ТР тестируется с использованием одного стандартного КАТ, одной ЗСРП и одной ДИРПТ. Однако в данном разделе не исключается и многопротокольная ТР, которая тестируется нарастающим способом с использованием набора однопротокольных стандартных КАТ.
Если многопротокольная ТР должна тестироваться нарастающим способом, то стандартный КАТ будет использоваться для каждого тестируемого протокола и, тем самым, для каждого протокола будет своя ЗСРП и для каждого соответствующего стандартного КАТ — своя ДИРПТ.
7.2 Р а сом от рс и ие статического соответствия
7.2.1 Роль испытательной лаборатории
7.2.1.1 При рассмотрении статического соответствия испытательная лаборатория должка проанализировать ЗСРП согласно следуют нм крктср ням:
а) ЗСРП должка быть непротиворечивой;
16
ГОСТ Р ИСО/МЭК W4«—5-W
• олюл упй*а<**ем«я гмОД^ждо - ПоЮк И*^ОРМ«ЦИИ.
- ГГИ**9 при-о»» R4 р«^о*гм
Рисунок 3 — Типичные операции тестирования
Ь) ЗСРП должна соответствовать требованиям к статическому соответствию, определенным в стандарте (ах) по протоколам ВОС, на соответствие которому заявлена ТР.
7.2.1.2 Чтобы убедиться во взаимной согласованности ЗСРП и требований к статическому соответствию, должны быть проведены. как минимум, следующие проверки:
а) для каждой позиции, которая в колонке «статус» указана как обязательная, проверить, что позиция указана как обеспечиваемая;
Ь) для каждой позиции, которая указана как факультативная и из которой может быть обеспечено определенное подмножество, проверить, что индикации обеспечения соответствуют требованиям;
17
ГОСТ Р ИСО'ИЭК яме-5—93
с) для каждой позиции, которая в колонке «статус» обозначена как условная, оценить условия для определения эффективного статуса и выполнить проверки, соответствующие этому статусу;
d) провести дополнительные проверки статического соответствия. к-отарыс в «гьзнпм щмс o-ipe и-.к-лы it сапой форме ЗСГ'И
7.2.13 Никаких дополни те льны л проверок не требуется для Тех позиций, которые и колонке «статус» обозначены как:
а) неквалифицированные функциональные возможности (булево: выполнять или не выполнять);
1>) неяснойьзуемые.
7 2.1.4 Испытательная лаборатория должна Также проверить согласованность информации, содержащейся в документа* ЗСРП и ДИРПТ. представленных клиентом.
7.2.1.5 Испытательная лаборатория должна проинформировать клиента о результатах рассмотрения статического соответствия, прежде чем она продолжит процесс оценки соответствия.
7.2 2 Роль клиента
Клиент должен проанализировать результаты рассмотрения статического соответствия.
7.2.3 Совместная роль
Если результаты рассмотрения статического соответствия показали. что с точки зрения испытательной лаборатории или клиен-la продолжение тестирования будет непродуктивным, они могут предпринять согласованный выход.
7.3- Выбор теста
7.3.1 Роя/, испытательной лабораторию
Испытательная лаборатория должна выбрать все те абстрактные тестовые примеры, которые соответствуют ТР. основываясь на информации, содержащейся в ЗСРП и ДИРПТ, в соответствии с документацией СТ н с требованиями эталонного стандартного КАТ. Это означает, что испытательная лаборатория должна выбрать следующие тестовые примеры при условии, чго они тестируемы согласно ДИРПТ:
а) все тестовые примеры функциональных возможностей для обязательных функциональных возможностей;
М ВС? Tt c'i скис ррнм. пы ф; 1г:.щщп:1ЛЫ1ЫХ нозмолиосгей ыч факультативных или условных функциональных возможностей, которые обеспечиваются ТР согласно ДИРПТ;
с) все тестовые примеры повеления лля обязательных функциональных воз мо ж посте й;
d) все тестовые примеры поведения, которые согласуются с факультативными или условными функциональными возможностями, обеспечиваемыми ТР согласно ДИРПТ.
18
ГОСТ Р ИСОМЭК «Ив—5-93
Выбранный набор абстрактных тестовых примеров представляет собой комплект выбранных абстрактных тестов (КВАТ) для данной ТР. Фактически КВАТ может и отсутствовать (см. раздел 5 ГОСТ ИСО/МЭК 9646—4).
Если стандартный КАТ определяет перечень тестов основной взаимосвязи (ТОВ) и клиент желает выполнить тестирование основной взаимосвязи, испытательная лаборатория должна выб-pali. перечисленный набор ТОВ для выполнения тегтиронпнпя основной взаимосвязи в начале тестовой камлании.
7.3.2 Роль клиента
Клиент должен проинформировать испытательную лабораторию о необходимости тестирования основной взаимосвязи во время тестовой кампании.
Примечание — Если стандартный КАТ не идентифицирует перечень ТОВ. то испытательная лаборатория не ■сможет выполнить этот запрос.
7.4 Параметризация тестов
7.4.1 Роль испытательной лаборатории
7.4.1.1 После того как при выборе тестов будет определен набор гестаэых примеров, должна быть щ'полкимип.т информ ацил ДИРПТ для определения соответствующих значений каждого параметра в этих тестовых примерах в соответствии с документацией СТ и с требованиями эталонного стандартного КАТ Образованный в-результате комплект параметризованных выполнимых тестов (КПВТ) готов к выполнению, либо к тому, чтобы быть сге-нерировакным но запросу.
В процессе параметризации используется информация из ДИРПТ (и, возможно, нз ЗСРП).
Примерами типов параметризации служат:
а) значения сетевых адресов;
Ь) значения идентификаторов оконечных пунктов соединения;
с) значения счетчиков;
(И значения тайм-аутов;
е) стратегии кодирования.
Примечай и v — Этот перечень не является исчерпывающим.
7.4.].2 Посте выполнения параметризации непитательная лаборатория должна позаботиться о том, чтобы все тестовые примеры КВАТ содержались в КП ВТ.
Примечание — Результаты параметризации должны бить проверены как можно скорее до того, хак произойдет тестирование функциональных возможностей, например, во время тестирования основной взаимосвязи.
19
ГОСТ Р ИСО/МЭК 9M6-S-93
7.4.2 Родь клиента
В процессе параметризации тестирования к клиенту никаких требований не предъявляется.
7.5 В ер и ф и х а ц н я процедур скоординированного тестирования
7.5.1 Введение
Некоторый уровень процедур скоординированного тестирования явно или косвенно определен: в каждом стандартном КАТ. После выполнения процесса параметризации следует проверить способность СТ н КЛТ использовать требуемые процедуры скоординированного тестирования для выполнения тестовой кампании.
7.5.2 Совместная роль
Если для тестовой кампании должен использоваться метол абстрактного тестирования, который не является методом локального или скоординированного тестирования, испытательная лаборатория н клиент должны неформально выполнить процедуры скоординированного тестирования.
Если должен использоваться метод скоординированного тестирования, испытательная лаборатория должна проверить реализацию ПЛУТ в ТР. Это можно сделать, выбрав подходящие тестовые примеры из стандартного КАТ в соответствии с заявкой о реализации ПАУТ и выполнив их относительно верхнего тестера.
Если должен использоваться метод локального тестирования, то верификация процедур скоординированного тестирования может быть выполнена испытательной лабораторией как часть процедур верификации СТ.
Если результаты верификации процедур скоординированного тестирования нс удовлетворяют ни испытательную лабораторию, ни клиента, то независимо от метода тестирования тестовая кампания нс должна проводиться.
7.6 Т с с товпя к л м п а н м я
7.6.1 Введение
Тестовая кампания представляет собой процесс выполнения КП ВТ относительно конкретном ТР и выработку информации, необходимой для журнала соответствия.
7.6.2 Роль испытательной лаборатории
7.6.2.1 Общие положения
Испытательная лаборатория должна обеспечить наличие СГ и оператора тестирования в течение всего согласованного периода проведения тестовой кампании, должна привлечь все тестовые примеры КПВТ и выработать информацию, необходимую для журнала соответствия.
20
ГОСТ Р ИСО/МЭК 9646-5—95
7.62.2 Тестирование основной взаимосвязи
Если ТОВ выбраны, испытательная лаборатория должна привлечь эти тесты до прогона последующих тестов функциональных возможностей и поведения. Она должна проинформировать клиента о результатах выполнения ТОВ до прогона других тестовых примеров.
Примечание — После анализа результатов выполнения ТОВ клиент может пожелать выполнить согласованный выход.
7.6.2.3 Ан а л из назначения вердиктов
Во время тестовой кампании испытательная лаборатория должна определить для каждого тестового примера в КВАТ, какой из следующих результатов пригоден:
а) вердикт прохождения;
Ь) верди кт б езус пеш ноет и;
с) верди-кт незавершенности;
d) ошибка абстрактного -тестового примера;
е) ошибка выполнимого тестового примера;
i) ненормальное завершение тестового примера.
Для каждого тестового примера, имеющего ошибку, испытательная лаборатория должна указать в ОАТП. что данный тесто вый пример не был выполнен, и указать причину невыполнения.
Примечание 1 — Испытательная лаборатория должна провести обновление стандартней КАТ. чтобы зафиксировать ошибку, используя соатетежую-шнс проихсдурм быстроте. «ЖОМНК: изменений.
Для каждого тестового примера, н результате выполнения которого появилась либо ошибка выполнимого тестового примера, либо ненормальное завершение тестового примера, непитательная лаборатории должна повторить прогон этого тестового примера. Если получен тот же результат, испытательная лаборатория должна отметить в ОАТП. что тестовый пример не был выполнен и указать причину невыполнения.
Для каждого тестового примера, результату которого назначен вердикт «не завершен», испытательная лаборатория должна, по меньшем мере, один раз повторить прогон этого тестового примера. Если в результате последующего выполнения назначен вердикт «прохождение» или «безуспешно», этот вердикт должен быть зарегистрирован в ОАТП. Если же в результате последующего (их) выполнения (ни) этого тестового примера назначен вердикт «не завершен* и поведение тестового примера такое же, как и при предыдущем выполнении, то в ОАТП должен быть зарегистрирован вердикт «нс завершен».
Для каждого тестового примера, результату которого назначен вердикт «безуспешно», испытательная лаборатория должна опре-
21
гост р исо мэк шб-5-ад
делить, обусловлен ли этот вердикт неилентнфицированным тестовым событием: в этом абстрактном тестоном примере. Если нет. испытательная лаборатория должна зарегистрировать н ОАТП вердикт «безуспешно» для данного тестового примера. Однако, если это так, то испытательная лаборатория должна определить, является ли это ошибкой абстрактного тестового примера, то есть, было ли событие, которое согласуется с неилентнфицированным тестовым событием, действительным согласно протоколу и следует ли его определять в этом абстрактном тестовом примере. Если да, то испытательная лаборатория должна отметить в ОАТП, что данный тестовый пример не был выполнен и указать причину невыполнения
Анализируя журнал соответствия относительно конкретного тестового примера, испытательная лаборатория может обнаружить такие значения в ПБД, полученных СТ, которые нс были явно проверены в этом тестовом примере. Если абстрактный тестовый пример не содержит явных проверок этих значений, то испытательная лаборатория не должна изменять вердикта, назначенного в результате своего анализа.
Примечание 2 — Любые наблюдения, сделанные испытательной лабораторией. могут быть ^аретастрир-овялы в разделе 7 ОАТП tew приложение В), мй Они должны м-чеем,-, ц.иия-илп юльк» как доаолинiv.TbH йя ыпфермаьми для клиента.
Прежде чем войти в фазу разработки отчета о тестировании, испытательная лаборатория должна проинформировать клиента о всех тех тестовых примерах, для которых она намерена записать в ОАТП вердикт «безуспешно».
7.в.2.\ Р а зр а 6 от к а журнала соответ ста а я
Если клиент запросил журнал соответствия для проведения тестовой кампании, то непитательная лаборатория должна разработать его с тем, чтобы в нем можно было документировать результаты тестирования при каждом выполнении каждого тестового примера, запрошенного клиентом, включая любые повторные выполнения.
7.6.3 Роль клиента
7.6.3.1 Общие положения
Клиент должен обеспечить наличие -СТ и, при необходимости, оператора СТ на весь согласованный период тестовой кампании. Клиент должен сотрудничать с испытательной лабораторией при внесении любых изменений в ТР или в ее функциональную среду, которые могут потребоваться для обеспечения выполнения всех тестовых примеров {см. 7.6.4 1), и должен рассмотреть документацию о всех таких изменениях.
22
ГОСТ Р ИСО.'МЭК Ш6-5-93
7.6.32 Тсетиро в а н ие основной взаимосвязи
Если необходимо выполнить тест ирон .ан не основной взаимосвязи, клиент должен рассмотреть результаты этого тестирования и проинформировать испытательную лабораторию при необходимости принятия согласованного выхода. Клиент должен сделать это ло того, как ис(питательная лаборатория продолжит дальнейшее тестирование.
7.6.3.3 А на я из назначения вердиктов
К клиенту не предъявляется никаких требований относительно анализа назначения вердиктов. Однако во время тестовой кампании клиент может запросить повторный прогон любого тестового примера, который привел к вердикту «безуспешно», если он не убежден в том. что данный тестовый пример правильно продиагно-стировал ошибку в ТР.
7.6.4 Совместная роль
7.6.4.1 Изменения функциональной среды тестировано я
После начала тестовой кампании любые изменения в ТР. в ее функциональную среду, в нижний тестер и его функциональную среду или в верхний тестер могут вноситься только ял взаимному согласованию между клиентом и испытательной лабораторией.
Для сохранения постоянства результатов тестирования такие изменения должны согласовываться только в том случае, село он» нс нарушают результатов ранее выполнимых в этой тестовой кам.-ОСС :; нр-крок Если изменения «сой хот мы тля того, чтобы прогнать тестовые примеры в выполнимой версии эталонного КАТ. го сам факт, что эти требования исходят из эталонного КАТ. является достаточной причиной полагать, что эти тестовые примеры нс нарушают результатов ранее выполненных тестовых примеров.
Все изменения должны быть задокументированы испытательной лабораторией и рассмотрены как администратором испытательной лаборатории, так и администратором клиента по тестированию. На основе этого рассмотрения должно быть принято ре-(пение о дальнейшем выполнении тестовой кампании:
а> повторный запуск;
Ь> продолжение после необходимого пересмотра;
с) прекрашение по согласованному выходу.
7.6А.2 А н а а п з назначения вердиктов
Если клиент запросил повторный прогон тестового примера, который выработал вердикт «безуспешно», он должен вместе с испытательной лабораторией определить, был ли обусловлен этот результат некоторой ошибкой в ТР Если они не смогли определить наличие ошибки в ТР, испытательная лаборатория должна ис-
23
гост р ИСО/МЭК ««s-s-w
пользовать повторную процедуру для тестового примера, обусловившего вердикт «не завершен» (см. 7 6.2.2).
7.7 Согласованный выход из тестовой кампании
7.7.! Использование согласованного выхода
Согласованный выход из тестовой кампании — это момент времени, в который испытательная лаборатория и клиент совместно решили, что полученные до этого времени результаты не оправдывают продолжения процесса тестирования. Запрос на согласованный выход может быть сделан любой стороной.
Если согласованный выход выполняется на основе обсуждении результата (он) конкретного(ых) тестового(ых) примера (ов), то он осуществляется до назначения вердикта (он) рассматриваемому (ым) примеру(ам).
7.7.2 Роль испытательной лаборатории
Если обе стороны решили осуществить согласованный выход, то испытательная лаборатория должна предоставит», клиенту по его запросу документацию, содержащую всю информацию, зарегистрированную п процессе оценки соответствия. Эта документация должна, н случае запроса клиентом, содержать .журнал соответствия для выполненных тестовых примеров согласно 6.4 ГОСТ Р ИСО/МЭК 96-46—4.
Кроме того. испыга^ельнаи лнбирагирни должна представить неформальный отчет о- тестировании, который не имеет статуса ОАТС или ОАТП. Он должен рассматриваться просто как руководящий материал для клиента по результатам выполненного- тестирования. Этот неформальный отчет 6 тестировании должен указывать причину согласованного выхода.
Примечание — Если тестовая кампания заканчивается согласованным выхпл<>м. та дна гностическое- квитирование может быть продолжено и клиенту может быть предоставлена последующая диагностическая трассовая информация, дополнительно к той. кигора* содержится в журнале соответствия. Однако этот вопрос не охолит п предмет рассмотрения настоящегостандарт;»
7.7.3 Роль- клиента
После выполнения согласован лога выхода никаких требований к клиенту не предъявляется.
Примечание — Клиент может запросить документацию, которая содержит информацию, «регистрированную в процессе- опенки соответствия-, включая журнал соответствия.
7 7.4 Совместная роль
После выполнения согласованного выхода аттестационное гес-тирование не может быть начато повторно, за исключением начала новой тестовой кампании или инициации нового процесса оценки соответствия.
24
ГОСТ Р ИСО МЭК 9646-5-93
8 РАЗРАБОТКА ОТЧЕТА О ТЕСТИРОВАНИИ
8.10тчеты об аттестационном тестировании
8.1.1 Введение
Процес оценки соответствия завершается разработкой испытательной лабораторией двух видов отчета для каждого протестированного протокола: отчета об аттестационном тестировании системы (ОАТС) и отчета об аттестационном тестировании протокола <ОАТП).
Испытательная лаборатория может также разработать подробную диагностическую трассовую информацию, дополнительно к информация, содержащейся в журнале соответствия, которая по запросу может прилагаться к отчету'. Такая информация рассматривается как дополнение к самому отчету и настоящий стандарт нс требует, чтобы испытательная лаборатория обеспечивала се.
8.2 Отчет об аттестационном тестировании системы (ОАТС)
8.2 1 Роль испытательной лаборатории
Если при проведении тестовой кампании не был предпринят согласованный выход, испытательная лаборатория должна разработать ОАТС, в котором должны содержаться сводные результаты аттестационного тестирования ТС клиента. При этом испытательная лаборатория должна использовать форму ОАТС, приведенную в приложении А.
ОАТС должен содержать перечень эталонных стандартных КАТ. относительно которых проводилось тестирован не. вместе с датой их опубликования, и в случае стандартов ПСО/МЭК — подробные сведения о любых их изменениях или дополнениях, соответствие которым дайной ТР заявлено.
В ОАТС должен быть кратко поясней характер тестирования ВОС и. в частности, указано, что не гарантируется взаимодействие ТС, прошедшей все тесты, с другими реальными открытыми системами. (В форме ОАТС для этого предусмотрен отдельный абзац).
Если в каком-либо тестовом примере было выявлено несоответствие или если были замечены какие-либо интересные моменты, в ОАТС должно быть четко указано об этом. Такие констатации должны быть ясными и недвусмысленным и.
В 1.7 ОАТС должно быть записано соглашение между испытательной лабораторией it клиентом, определяющее ту часть или части ТС. которые рассматривались в процессе тестирования как ТР, и также используемый (ые) метод(ы) абстрактного тестирования н комплект(ы> абстрактных тестов.
ОАТС должен быть предоставлен клиенту испытательной лабораторией в конце процесса оценки соответствия.
?5
ГОСТ Р ИСО/МЭК 9646-3— 93
8.2.2 Роль клиента
При разработке ОАТС к клиенту не предъявляется никаких требований.
Примечание — Клиент должен рассмотреть ТР н. в случае chwih несогласия. с испытательной лабораторией относительно его содержимого, записать свои замечания н 1 В ОАТС-
8.2.3 Совместная роль
Испытательная лаборатория и кд псят должны предусмотреть, чтобы в 1.6 ОАТС была записана информация, описывающая все ограничения, относящиеся к использованию клиентом ОАТС пли к его разработке испытательной лабораторией.
8.3 Отчет об аттестационном тестировании протокола (ОАТП)
8.3.1 Роль испытательной лаборатории
По запросу клиента испытательная лаборатория должна предоставить ему сопроводительный ОАТП для каждого протокола ВОС, аттестационное тестирование которого было проведено в процессе опенки соответствия. Испытательная лаборатория должна использовать форму ЗСРП. приведенную в приложении В.
В каждом ОАТП должен быть зарегистрирован статус соответствия ТР относительно протестированного протокола. В разделах 3 и 5 ОАТП испытательная лаборатория должна записать результаты рассмотрения статического соответствия. В разделе б испытательная лаборатория должна перечислить псе абстрактные тестовые примеры в последовательности, определенной в стандартном КАТ. включая все выполненные ТОВ. с указанием следующей информ а пин:
а) абстрактные тестовые примеры, выбранные для включения в КПВТ;
Ь) абстрактные тестовые примеры, для 'Которых были выполнены соответствующие выполнимые тестовые примеры во время тестовой кампании.
Примечание — К тестовым примерам, которые были выбраны, но отмечены в отчете как мевиаолнимые, относятся те, которые дают в результате ошибку тестового примера или ненормальное завершение тестового примера;
с) вердикты, назначенные тем тестовым примерам, которые были выполнены;
d) наблюдения (при их наличии), выполненные испытательной лабораторией во время тестовой кампании.
Испытательная лаборатория должна обеспечить выполнение правильного набора тестовых примеров для данной ТР. Если в СТ выбран тест, который непригоден для данной ТР, то испытательная лаборатория не должна документировать в ОАТП результат
26
ГОСТ F ИСО/МЭК 9646-5—9.5
этого тестового примера, а указать, что рамный пример не был выполнен и пояснять причину.'Если в СТ ле удалась выбрать тестовый пример, пригодный для данной ТР. то испытательная лаборатория должна отмстить в ОАТП, что тест выбран, но не выполнен, и указать причину.
Примечание! — Испытательная лаборатория должна попытаться скорректировать ошибки либо в стандартном КАТ <нзпрзвнв извещение об ошибке), либо в СТ, в зависимости от ситуации.
Если в ОАТП не зарегистрирован вердикт «безуспешно», испытательная лаборатория должна заполнить раздел 4, указав, •сто «тестовая кампания не обнаружила ошибок в ТР». Если, кроме того, ЗСРП для данной ТР согласуется с требованиями к статическому соответствию, испытательная лаборатория должна заполнить раздел I. указав, что «при оценке соответствия ТР не по-казала несоответствия заданному стандарту по протоколу».
Но запросу клиента испытательная лаборатория должна также предоставить клиенту любые необходимые или все журналы соответствия с руководящими материалами по их интерпретации
Примечание 2 — Как минимум, журналы соответствия должны быть распечатаны'на бумаге, однако рекомендуется подготовить их также з млшннио-читаемом формате, пригодном для клиента
Испытательная лаборатория должна зарегистрировать в ОАТП срок хранения журналов соответствия.
Примечание 3 — Рекомендуется, чтобы до истечения срока хранения сохранялся либо упорядоченный список фактических тестовых событий, либо маши мио читаемая версия журнала соответствия (при ее наличии).
8.3.2 Роль клиента
Клиент должен проинформировать испытателньую лабораторию о необходимости обеспечения ОАТП и соответствующих жур налов соответствия.
Примечание — Клиент должен рассмотреть каждый ОАТП и. в случае несогласия с непитательной лабораторией относительно их содержимого, записать свои замечания в раздел 1.5 ОАТП.
8.3.3 Совместная роль
Испытательная лаборатория и клиент должны обеспечить наличие в 1.4 ОАТП описания любых ограничений, относящихся к использованию клиентом ОАТП или к их снятию испытательной лабораторией.
27
ГОС Г P ИСО МЭИ 9М6-5—#s
9 СОГЛАСОВАННОСТЬ
9.1Роль испытательной лаборатории
Испытательная лаборатория, которая заявляет о согласии с настоящим стандартом, должна:
а) для каждой ТС. оценку соответствия которой она проверила, выполнить требования, наложенные н подразделах «Роль испытательной лаборатории» и «Совместная роль» относительно:
I) подготовки к тестированию согласно разделу 6 и приложению С.
2) операций тестирования согласно разделу 7;
3) разработка отчета о тестировании согласно разделу 8 и приложениям А и В;
Ь) протестировать реализации протокола ВОС с нс пользованием стандартов по аттестационному тестированию, согласующихся с ГОСТ Р ИСО/МЭК 9646—2. и с использованием СТ. соответствующих требованиям ГОСТ Р ИСО/МЭК 9646—4.
Кроме того, если испытательная лаборатория заявила об обеспечении услуги исчерпывающего тестирования для конкретного протокола ВОС, она должна обеспечить требования к услуге исчерпывающего тестирования, установленные в соответствующем (их > стандарте (ах) ш» аттестационному тестированию к в ГОСТ Р ИСО/МЭК 9646-2.
Примечания
I Настоящий стандарт не требует, чтобы испытательная лабораторий обес-печинала услугу исчерпывающего тестирования для каждого конкретного протокола.
2 В 11.7.2 ГОСТ Р ИСО/МЭК 9646—2 от разработчиков КАТ требуется, чтобы они предъявляли к непитательной лаборатория минимальные требования, позвал нюните ей заявить об услуге исчерпывающего аттестационного тестирования соответствующега(их) протокола (on).
5 Если для одного н того же протокола имеется несколько стандартные КАТ, го можно говорить о том, что испытательная лабораторки обеспечивает услугу исчерпывающего тестирования, даже если она выполняет требования к таков услуге темнев по одному из этих КАТ. Это может иметь место, например, сслтт стандарт и рекомендации МККТТ отличаются относительно одного и того же метода абстрактного тестирования и одного и того же протокола
Испытательная лаборатория, заявившая о соответствии егзи-дарту(ам) по аттестационному тестированию, используемому(ым) для оценки соответствия, должна (дополнительно к выполнению требований этого (этих) стандарта(ов)) удовлетворять требованиям подразделов «Роль испытательной лаборатории» » «Совместная роль» в вопросах:
28
ГОСТ Р ИСО/МЭК 9646-5—93
я) выбора теста согласно 7.3.1;
Ь) параметризации теста согласно 7.4.1;
с) тестовой кампании согласно 7.5.2.
9.2 Роль клиента
Клиент, заявляющий о соответствии настоящему стандарту, долзкен для каждой СТ. 'представленной для оценки соответствия, выполнить требования подразделов «Роль клиента* и «Совместная роль» разделов 6, 7 и 8.
ГОСТ Р ИСО/МЭК 9646-5—9.1
ПРИЛОЖЕНИЕ А (обязательны)
ОТЧЕТ Oli АТТЕСТАЦИОННОМ ТЕСТИРОВАНИИ СИСТЕМЫ (OATCV
А.Г Введение
В данной приложении приведена форма ОАТС, «отощай должна применяться испытательной лабораторией с целью документирования результатов процесса оценки соответствия для конкретного клиента.
А.2 Форма ОАТС
ОАТС должен |«:по.ть:довдть ■следующую форму отчета:
ОТЧЕТОВ АТТЕСТАЦИОННОМ ТЕСТИРОВАНИИ СИСТЕМЫ ДЛЯ
иэимыпжгн'н: Ст
I СВОДКА ИДЕНТИФИКАТОРОВ
1.1 ОТЧЕТ ОБ АТТЕСТАЦИОННОМ ТЕСТИРОВАНИИ СИСТЕМЫ — Нимер ОАТС
Да та ОАТС:
A.lmhm:h;isi«itup испыппгльноп набораторни: Имя
Подпись: (Толпись
12 ИСПЫТАТЕЛЬНАЯ ЛАБОРАТОРИЯ
Иленгифнкзция
1.3 КЛИЕНТ
Идентификация
1.4 ТЕСТИРУЕМАЯ СИСТЕМА
Наименование:
Версия
Поста стации:
Латы тестирования
Идентификатор ЗСС:
1.5 ХАРАКТЕР АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
Цель аттестационного тестировании состоит о том, чтобы увеличить вероятность взаимодействия различных реализаций. Однако сложность протоколом ВОС делает непрактичным исчерпывающее тестирование как по техническим, так и по экономическим причинам. Болес того, нет гарантии, что ТС. которая прошла все необходимые тесты, соответствует спецификации. Het также никакой гарантии, что такая ТС будет взаимодействовать с другими реальными открытыми системами. Прохождение тестирования скорее дает уверенность в том. что функциональные возможности ТС установлены I» что ее поведение устойчиво соответствует я достаточно представительном числе сеансов обмена данными.
' Авторское право ин форму ОАТС.
Пользователи настоящего стандарта могут свободно воспроизводить форму ОАТС данного приложения для использования в своих целях и в дальнейшем публиковать заполненный ОАТС-
30
ГОСГ Р ИСО/МЭК 9648-5-93
1.6 ОГРАНИЧЕНИЯ И РЕЗЕРВИРОВАНИЯ
Здесь может быть, дана дополнительная информация относительно технического содержимого или дальнейшего использования данного технического отчета, либо укатаны права и обязанности испытательной лаборатории и клиента В этой информации могут быть указаны ограничения на публикацию отчета,
I 7 РЕГИСТРАЦИЯ СОГЛАШЕНИЙ
Определение той части или частей ТС. которые рассматривались в процессе тестирования в качестве ТР, а также используемого(ых) метолаЮгО абстрактного ттстиропаиия и комплекта(ов) абстрактных тестов.
16 КОММЕНТАРИИ
Дополнительные комментарии могул быть даны клиентом или испытательной лабораторией по любому вопросу ОАТС, например, могут быть отмечены разногласия между двумя сторонами
2 СВОДКА СИСТЕМНОГО ОТЧЕТА
Для каждого протестированного протокольно!о уровня требуются сводные сведения о состоянии тестирования и соответствия реализации этого уровня, где используются покатанные ниже разделы формата.
2п СВОДКА О ТЕСТИРОВАНИИ УРОВНЯ ПРОТОКОЛА
яхииенапаиие притаив.!!
Идентификатор реализации:
Ссылка на определение ТП:
С тандзрт/рекомсндаиия по протоколу:
ДИРПТ:
Номер ОАТП:
Дата ОАТП:
Станларт/рскоменлаиия по КАТ:
Метод абстрактного тестирования: Идентификатор средств тестирования
Статус соответствия:
Ошибки статического соответствия’
Ошибки динамического соответствия?
Прогом тестовых примеров:
Прохождение:
Безуспешно:
Не завершено:
Наблюдении (факультативно)
Наименование н номер версии
Ссылка на 1.7
Ссылка Ссылка Ссылка Ссылка Дата ОАТП Ссылка Ссылка
Наименование и номер версии
Да/нет Да/нет 1 Юм ер Номер Номер Номер
Если ТС статически и динамически не соответствует протоколу, то по воп-■осам несоответствия может быть дана дополнительная сводная информация 1д«ь могут быть отмечены любые трудности, с которыми пришлось столкнуться.
31
ГОСТ Р ИСО/МЭМ. S84J-5-W
ПРИЛОЖЕНИЕ В (обязательное)
ОТЧЕТ ОБ АТТЕСТАЦИОННОМ ТЕСТИРОВАНИИ ПРОТОКОЛА (ОАТП)1
В.1 В-вслеикс
В данном приложении прицелена форма ОАТП, которая должна использоваться испытательной лабораторией с целью документирования результатов процесса оценки соответствия относительно конкретного протокола с использованием конкретного стандарта по КАТ для конкретного клиента.
В 2 Форма ОАТП
ОАТП должен использовать следующую форму:
1 СВОДКА ИДЕНТИФИКАТОРОВ
I I ОТЧЕТ ОБ АТТЕСТАЦИОННОМ ТЕСТИРОВАНИИ ПРОТОКОЛА
Номер ОАТП:
Дата ОАТП;
Соответствующий номер ОАТС.
Соответствующая дата ОАТС:
Администратор испытательной лаборатории: Подпись.
12 ТР
Имя:
Вереи а:
Стандарт/рсконемда ция по протоколу:
ЗСРП:
Предыдущий ОАТП, при его наличии
(факультазипно):
Имя
Подпись
Ссылка
Копни или ссылка
Се ылкп
13 ФУНКЦИОНАЛЬНАЯ СРЕДА ТЕСТИРОВАНИЯ
ДИРПТ
Стандарт-рекомендация по КАТ:
Метод абстрактного тестирования:
Идентификация средств тестирования
Информация о протоколе (факультативно)
Даты тестирования:
Ссылка (и) на журнал соответствия:
Копия или ссылка Ссылка
Тайм-ауты, параметры и др
Информация, необходимая для получения жур-налои соответствия
Срок хранения для ссылок: на журнал соответствия:
1 Авторское право на форму ОАТП.
Пользователи настоящего стандарта могут свободно воспроизводить форму ОАТП данного приложения для применения в своих целях и в дальнейшем публиковать заполненный ОАТП
32
ГОСТ Р ИСО/МЭК амв—5—эз
1 4 ОГРАНИЧЕНИЯ И РЕЗЕРВИРОВАНИЯ —
Здесь может быть дана дополнительная информация относительно технического содержимого или дальнейшего использования данного технического отчета либо указаны прана и обязанности испытательной лаборатории и клиента. В этой информации могут быть указаны ограничения на публикации» отчета.
1.5 КОММЕНТАРИИ
Дополнительные комментарии могут быть даны клиентом или испытательной лабораторией но любому «опросу ОАТП. например жмут быть отмечены разногласия между двумя сторонами.
2 СТАТУС СООТВЕТСТВИЯ ТР
При опойке соответствия ТР проявила/we проявила несоответствия заданному стандарлу/рекомеидаиян по протоколу.
(Подчеркните соответствующее слово в этом предлоэкеини; если ЗСРП для данной ТР совместима с требованиями к статическому соответствию (согласно разделу 3 настоящего отчета) л не зарегистрирован пердим 4бсзуспешно»( в разделе 6). подчеркните слово «проявила», в противном случае — слоте «не проявила»),
3 ЗАКЛЮЧЕН ИЕ О СТАТИЧЕСКОМ СООТВЕТСТВИИ
ЗСРП для данной ТР соотиетсгвуст/нс соответствует требованиям к статическому соотяетстаию. заданным в соответствующем стлндартс/рекомсидзцнн.
(Подчеркните нужное слово э этом предложении).
4 ЗАКЛЮЧЕНИЕ О ДИНАМИЧЕСКОМ СООТВЕТСТВИИ
Т< топая кампания ибнаруж ила/ые обнаружила ошибки о ТР
(Подчеркните нужное слово в «том предложении; t-слн в разделе б настоящего отчета 1Ю зарегистрировано вердиктов «безуспешно», подчеркните слово «не обнаружило», в противном случае — слово «обнаружила».
Кроме того, может быть дана описательная сводка |кзультаюв выполнения труппы тестов. Подробные результаты тестирования привслА-пы в таблице разд Б; данный раздел дает возможность испытательно»! лаборатории сделать заключение по указанным результатам, например, «Все тесты. относящиеся к сегментированной передаче данных, оказались безуспешны ми»|
5 ОТЧЕТ О РАССМОТРЕНИИ СТАТИЧЕСКОГО СООТВЕТСТВИЯ
Если и разделе 3 указано несоответствие, то л данном: разделе перечисляются расхождения между ЗСРП я требованиями к статическому соот встстаикэ определенного стандарта.-рекомендации по протоколу
6 ОТЧЕТ О ТЕСТОВОЙ КАМПАНИИ
В этом разделе должна использоваться приводимая ниже таблица, в которой указаны как выбранные тестовые примеры, выполненные испытательной лабора торием, так и результаты тестирования. Последовательность, в которой абстрактные тестовые примеры должны быть представлены в этой таблице, определены в стаылйрте/рчжомендащнн по К.ЛТ
33
ГОСТ Р ИСО МЭК $6-16-5-93
Примечания к информации, которую лсдыгательная лаборатория должна поместить в колоннах, приведены ниже
Ссылка хм КАТ | вьчнэйи? | Выполнен ПРОГОН? | Нейса»! | Наблюдения |
а) | ь> | С1 | di | <1 |
а) Ссылка на абстрактный тестовый пример из стандарта/рекомендации по
Ь) Указывается, выбран ли ikci п соответствии с ЗСРП и ДИРПТ Если он не был выбран но причине информации ДИРПТ, указать, почему;
с) Если гост выбрав, указать, бил ли выполнен eto полный прогон Если статус iccra указан как «нс выполнен», указать почему (согласно 7 6231;
d) Записать вердикт, назначенный во время тестовой кампании;
el Записать ссылку на наблюдении, записанные в разделе 7 настоящего отчета
7 НАБЛЮДЕНИЯ
Здесь может быть дана информация, относящаяся к техническому содержимому ОАТП
54
ГОСТ Р ИСО/МЭК 9Мв~в—93
ПРИЛОЖЕНИЕ С (обязательное)
СКЕЛЕТНАЯ ФОРМА ДНЕПР
С-1 Введение
В данном приложении приведена скелетная структура формы ДИРПТ. Ис питательная лаборатория должна использовать это приложение для разработки исчерпывающей формы ДИРПТ такой же структуры, относящейся л конкретному комплекту абстрактных тестов и к соответствующих средством тестирования Исчерпывающая форма ДИРПТ должна быть предоставлена клиенту для заполнения, если для тестирования ТР этого клиента должен использоваться соответствующий комплект абстрактных тестон.
Примечание — Скелетная форма ДИРПТ не ориентирована на какие-то конкретные протоколы, методы абстрактного тестировании и средства истмро-ааняя и поэтому применительно к конкретным ситуациям она должна быть смо-дифтьирочана и расширена
Текст курсивом используется только для информационных комментариев и не должен входить з фактическую форму. Испытательная лаборатория должна прелости пни. информацию, запрашиваемую в разделах I, 2 и 3, до передачи формы клиенту. Клиент должен предоставить информацию, запрашиваемую в разделах * и 5, до возвращения формы Обе стороны должны обеспечить информацию. запрашиваемую в остальных разделах.
С.2 Форма ДИРПТ
ДИРПТ должен использовать следующую форму:
ФОРМА ДИРПТ ДЛЯ ____________________________________
■ йкнсяооаине комплект абегвактны» твовп
I СВОДКА ИДЕНТИФИКАЦИЙ
Номер ДИРПТ:
Номер испытательной лаборатории:
Дэта издания:
Выдано: Имя клиента
Испытательная лаборатория может включать в сводку идентификаций ссылку на клиента или на кон гр акт.
2 СВОДКА КОМПЛЕКТА АБСТРАКТНЫХ ТЕСТОВ
Стандарт/рскомеидаиин
по протоколу; Протокол (u)„ поллежа-
|Ц||йГне) тестированию
Сгандэрт/рсксшендация по КАТ
Метод абстрактного тестирования.
' Авторское право ла форму ДИРПТ.
Пользователи настоящею стандарта могут свободно ixc прошло лип. Форме ДИРПТ данного приложения для применении в своих целях и в дальнейшем публиковать заполненную ДИРПТ.
35
ГОСТ Р ИСО.*МЭК Ш8-»-«3
3 ИСПЫТАТЕЛЬНАЯ ЛАБОРАТОРИЯ —
В этом разделе должна содержаться информация, идентифицирующая испытательную лабораторию и средства тестирования Обычно она содержит еле дующее:
Идентификация испытательной лаборатории: Наименование и подроб •
ный адрес
Администратор непитательной лаборатории: Имя
Средства тестирования
Адресат) ПДУ: Для тссгироввкня ТС
адресуется нижний тестер
Инструкции по заполнению:
(Испытательная лаборатория должна записать все специальные инструкции, необходимые для заполнения формы и се передачи клиенту).
4 КЛИЕНТ
В этом разделе должна быть произведена информация, идентифицирующая клиента Обычно она содержит следующее;
Идентификация клиента: Ими и подробный адрес
Администратор клиента; Имя
Запрашиваемые средства тестирования;
Клиент должен перечислить конкретные средства. необходимые для тес* г провопим, пли набор средств, предоставляемых испытательной лабораторией.
3 ТЕСТИРУЕМАЯ СИСТЕМА
Мьмыоькиытн ин
версия:
Номер ЗСС:
Чатнннэя конфт ура ция
И деитифнчоиня операционной СОСТемЫ:
Ндсятифнк&иия wpxncro тестера:
Дата 1колтэерждсння верхнего тестера:
Идентификатор ТР
Ссылка в ДИРПТ на ТР;
Машина, па когupon смонтирована ТС
При его наличии В «ННВеТСТПуЖИЩТК случаях
Ограничения ГС:
Клиент может записать информацию, объясняющую, почему нс могут быть выполнены абстрактные тесты, например, не реализованы АСП при использовании метода удаленного тестирования
Услопп я окружающей среды:
6 СЛУЖЕБНЫЕ ПРОТОКОЛЫ
В следующей таблице клиент /должен записать соответствующую информацию оптоенчелыто каждого служебного протокола ТС:
36
ГОСТ Р ИСО МЭК W46-5-M
Наимеломлне про пагод а | Номер пепсин | Ссьмг» кд ЗСРП (факультатипмо) | Ссылка>о ЛКРПТ <ФкКуЛЬТЛНПНО1 | Ссылкаиа ОАТП ЮлкультаткниОТ |
Одни раздел необходим для служебного протокола, входящего в ТС. кото-рая обличается от самой ТР. Необходимая информация зависит от средств тестирования и от ТС и охватывает все адреса, значения параметров, тайм-аутов и услуги (относится к рекомендациям МККТГ) согласно ЗСРП для каждого протокола.
7 ИНФОРМАЦИЯ О ПРОТОКОЛЬНЫХ УРОВНЯХ
11.М1МГЦ1ХОКГ.Г Т||<о:оМ>лэ
7.1 ИДЕНТИФИКАЦИЯ ПРОТОКОЛА
Наименование:
Версия
Ссылка на ЗСРП:
7 2 ИНФОРМАЦИЯ О ТР
(В этот раздел должны входить такие вопросы, как адресация, значения параметров и тайм ьутоь, необходимых лап леетирооашея ТР Это должна быть информация, уточняющая ЗСРП соответствующего протокола, но нс противоречащая ей. Болес того, оно должна содержать параметры тестовых комплектов там. где они идентифицированы в спецификациях комплектов абстрактных или выполнимых тестов).
7.2.1 Адреса
В атч-м риэлслс дплжны ндситифиикроватьея адреса, подлежащие использован ню:
»> нижним тестером для доступа к ТР (обеспечивается клиентом);
Ь) тестируемой системой дли доступа к нижнему тестеру (обеспечивается мспытлтелмюй лабораторией).
7.2.2 Значения параметрон
IMHMei*:>uaiiiie ■■«измени | Гии пщ-иисти | I’d |Д|- ! ЗСРП | Л»ми.» ton П ПММГГИм.а | Гилмен«С й^аМОгпц |
— | — | — |
Клиент обеспечивает диапазон параметров, и используемые значения параметров по согласованию с исиыгательной лабораторией.
7.2.3 Значения тайм-аутов
37
ГОСТ Р ИСО/МЭК 964Л-5—W
Гип HaiivciKv<iiiirtA тайч-*тм | Рллсл ЗСРП | «Ли^вы м>и т лймо>>ои | Лолчокпе J^13 U-4 Ъ1М |
7.2.4 I ]роц;едурная информация
В этом разделе должны определяться требования к тестированию, налагаема стандартом по КЛТ. который может быть нс реализуем тестируемой си.-тс-моп и который может обусловить такие тестовые примеры, которые не могут быть выполнены; например, при использовании .метода удаленного тестирования — керсвлмзуемость управления передачей конкретного ПБД данной ТР, т. е. как вто требуется заявкой о косвенной передаче КДТН.
33
ГОСТ Р И СО М ЭК 9616-5 93
ПРИЛОЖЕНИЕ D (спрпночнм)
РУКОВОДСТВО ПО ДИРПТ
Поскольку ДИРПТ обычно должен иснолкзопаиди о сочетании с ЗСРП. то необязательна дублировать информацию, обеспечиваемую ЗСРП. кроме ин-формации;, идентифицирующей клиента. ТС и иротоколСм), поллежашийСие) тестированию В соответствующих случаях в ДИРПТ должны быть предусмотрены ссылки на разделы ЗСРП.
В тек случаях, когда клиент и испытательная лаборатория пришли к выводу о необходимости большого объема информации для выполнения тестирования, в ДИРПТ не должна воспроизводиться эта информация, а даваться ссылка на асе.
Информация ДИРПТ должна в основном относится к протокольному уровню или у роении, подлежащим тестированию. Но может потребоваться также и дополнительная информация, относящаяся к тспоыогвтсльным уровням Скак выше расположенным, так в ни нерасположенным), участвующим в тестировании ТР Назначение этой дополнительной информации будет зависеть от тестируемою проз окольного уровня, метола и средств тестирования, ио опа может со-.чг|'жго игин окольную и алр«и>чп лифорыяксю для каждого wnnMOiателкмою уровня в ТС (см Сб приложения С).
Несмотря на то. что ДИРПТ лролтипмачсна в основном для обеспечения испытательной лаборатории информацией о тестировании функциональной среды ТР. полезно также включить в ДИРПТ ту информацию (или ссылку на ют|. в которой нуждается клиент для подготовки ТС. Испытательная лабора-тории йьолнт >гу информацию п форму ДИРПТ. г. е. ыредиставлмет се клиенту для использовании Примерами служат информация нижнего тестера (например. адреса, значения тайм ayton и параметров), а также конфигурация вспоми* гательных уровней, используемая при тестировании
39
ГОСТ р ИСО-МЭК 9646-5—93
ПРИЛОЖЕНИЕ Е (справочное)
СВОДНЫЙ ПЕРЕЧЕНЬ ДОКУМЕНТОВ ПО А1ГЕСТАНИОННОМУ ТЕСТИРОВАНИЮ
Е.I Сокращения, используемые в займом приложении
В данном приложении используются следующие сокращения:
а) ссылка в пиле «5: М> означает ГОСТ Р ИСО/МЭК 9646—5. лрп-южс ине М;
Ь) «нсл. лаб.» означает испытательная лаборатория
Е.2 Использование документов по аттестационному тестированию к лисит он
и испытательной лабораторией | ||||
Форма ЗСРП | ЗСРП | Форка ДИР! И | дир: п | 3<Х |
C№<H'-4iiti‘:eirB Стинларк^м ио протоколу Частично за поливе <ся: Заполняется: клиентом Хранится: Фирма ОАТС | >«сп. лаб ОАТС | 5; С мен лаб. клиентом Форма ОАТП | исп лаб ОАТП | клиентом клиентом исп лаб Жури ’Л сотв.е-1 твия |
Обсокчннзстся 5; А | 5; В | |||
Частично ПОПОЛНЯЕТСЯ’ Змолтеиется; псп. лаб Хранится: | иен. лаб | пел. лаб. | псп. лаб | псп. ллй мп. лаб |
40
I ОС Г Р ИСО/МЭК 9646-5-М
УДК 681.324:006.354
П85
Ключевые слова: информационная технология, взаимосвязь открытых систем, методология, основы аттестационного тестирования, требования к испытательным лабораториям, клиент, процесс оценки соответствия, сопоставимые результаты тестирования, сходные реализации, методы абстрактного тестирования, заявка о соответствии системы, заявка о соответствии реализации протоколу
ОКСТУ 4002
Редактор Т. С Шско Технический редактор Н Н. Прусакова Корректор Н- И Галрищук
Слано я пабом 27.0194. Поли » псч. 3U.03.9l. Усл. печ. л. 2.79. Усл. «р. оп 2.79.
Уч.-мал л 2.90 Тир ЗИ «1. С 1141
Орхсно -Знак Почета» ИцкмрстРо стакдартов. 107076. Москва. Кололеаный пер . 14.
Калужская типография стаилартол ул Московская. 29Z Зак 250
