ГОСТ P иСО/МЭК 9646-4-93
ГОСУДАРСТВЕННЫМ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
И НФОР МАЦИО ИНАЯ ТЕХНОЛОГИЯ
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ.
МЕТОДОЛОГИЯ и основы АТТЕСТАЦИОННОЮ ТЕСТИРОВАНИЯ
Часть. 4 РЕАЛИЗАЦИЯ ТЕСТОВ
E9IL 36—21 £g
ГОССТАНДАРТ РОССИИ
И о с ■; в л
Г04 к Г Кт<ьМ »Н 'НИН 4- КЗ
II р е д и с л о о н <•
i ПОД I ОТ ОВЛ ЕII И ВНЕСЕН Техническим комитетами ( ГК 22) г Ияфирмлционман технология-»
2 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Гос -стандарта России <»т 20.12.93 № 262
Настоящий стандарт подготовлен на псионе применения аутентичного текста международного стандарта ИСО/МЭК 9(MS—4 <; Информационная технология. Взаимосвязь открытых, систем. Me голотип ия и основы аттссгамноннтно тестирования. Часть 4. Реализация гостов»
3 ВВЕДЕН ВПЕРВЫЕ
'С^ Издать «ктнп i тэндартов, 1994
Настоящий ««анчар! не может быть полностью иля частичка еткпрганзтедея, тиражирован и распространен и качестве официального издания Леа разрешения Гсксглилари России.
и
ГОСТ Р ИСО/МЭК 9646 4-93
СОДЕРЖАНИЕ
1 Область применения..............I
2 Нормативные ссылки- ... .... .....L
3 Определения ...... 2
4 Сокращения ............... 2
5 Общее описание реализации тестем . 3
6 Требования, относящиеся к реализации тестов.......4
6.1 Введение . . .............4
6 2 Требования, огноснщня-ся к средствам тестирования ..... 4
6.3 Требовании к созданию КВТ....... ... 6
б.з I Введение............ .6
в.3.2 Соппетстпие тлэлпп ном у станхартниму КАТ .... g
б.З.З Соотношения между КЛТ и КВТ /.......^
6.3.4 Образованно подмножеств КЛТ ........6
6 35 Независимость процесса создания....... 7
6.4 Требования. относящиеся к журнале соответствии.....7
6.5 Требования к развитию формы ДИРПТ . .’ . . и
6.6 Тре-банания, относ нщксся к другой документации.....<>
7 Сосласовэпнссп! ......?........ю
Приложение А (сирянючиос) Пополнительные руководящие материалы нм
реализации тестон .11
Л I Дополнительные- руководящие материалы со СТ . . . . 11
Л. 1.1 Введение . . ц
А 1.2 Реализации нижнего тестера........ -И
Л .1.3 Реализация верхнего тестера . . . . . . II
А. 1.4 Реализация процедур гкоорлиннроплиного тестирования. .12
Л.2 Дополнительные руководящие материалы во процессу создании КВТ
A.2J ОбШсс- описание .... . ... ;2
Л 2 2 Исходные латные к процессу создании тесто» . 12
А.2.3 Обслуживание КВТ ......... .12
АЗ Дополнительные руководящие материалы по журналу саппи-тс-тпцн
Д.4 Дополнительные руководящие материалы но документации .14
Л.4 1 Введение .... 14
Л 4.2 Документ «Информация о тестирующей системе» . 14
Л 4.3 Документ «Описание средств тестирования» 15
Л 44 Документ «Информация для клиента испытательной лябо-раторин» ..... 15
А.4 5 Документ «Рабочие иле фу к и ин испытательной л л борз тори и» 15
III
2 Зак. 164
ВВЕДЕНИЕ
Стандарты ГОСТ Р ИСО/МЭК 9646—1 и ГОСТ Р ИСО/МЭК 9646—2 -определяют общую методологию проверки соответствия реализации спецификациям протоколов к/или синтаксисов передачи ВОС, изданных в виде международных стандартов или рекомендаций МККТТ; эти стандарты содержат также требования к разработке стандартов по аттестационному тестированию и стан дартным комплектам абстрактных тестон (стандартным КАТ).
Часть ИСО/МЭК 9646—3 определяет стандартную тестовую нотацию — комбинированную древовидную и табличную йотацию (КДТН) для спецификации стандартных комплектов абстрактных тестов.
Как только- стандарты по аттестационному тестированию и стандартные комплекты абстрактных тестов становятся доступны, результаты тестирования, полученные различными испытательными лабораториями, могут быть сопоставимы, если их операции осио-наны на одних и тех же ссылочных стандартных КАТ.
ГОСТ Р ИСО/МЭК 9646—5 содержит требования к процессу оценки соответствия с тем, чтобы результаты тестирования можно было сравнить- с результатами, полученными другими испытательными лабораториями, и она может иметь широкое применение.
Настоявши стандарт касается промежуточного этапа тестирования. а именно реализации тестов. Прежде чем может начатьем подготовка тестирования, должны стать доступными средства тестирования тести руенон реализации (ТР).
Исполнители тестирования — эго тс организации, на которые возложена ответственность за обеспечение таких средств тестирования (СГ).
Настоящий стандарт налагает требования на реализацию тестон для гарантии того, что выполнение тестовых примеров отражает поведение, определенное в ссылочных стандартных КАТ. Таким образом достигается цель тестирования.
Настоящий- стандарт опубликован так же, как МККТТ, в виде рекомендации Y.293 (I99J) МККТТ.
Настоящий стандарт опубликован также, как рекомендация Х.2УЗ (НИИ) МККТТ.
IV
ГОСТ Р ИСО/МЭК 964^-4—93
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Ин формаций иная технолог и и
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ МЕТОДОЛОГИЯ и основы АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
Часть 4 Рсалксация тестов
Information technology — Open Systems linercoiineclion — Conformance
Testing Methodology and тгяпечигк, Pari 4: Test (Realisation
Лата •веления НИМ —07—01
1 ОБЛАСТЬ ПРИМЕНЕНИЯ
Настоящий стандарт содержит требования и руководящие ма-термалы 0Tnoc7ne.ih.no реализации средств тестирования ТР. излагаемые в соответствии с указываемыми стандартизованными и рамках ВОС комплектами абстрактных тестон и определенными н соответствии с ГОСТ р ИСО/МЭК 9646—2-
ПримЕчанис — Здесь предполагается использонанне стандартных, коми ямифв. аГ^актиых тестов (ХАГ) сежлисно Эй31 ГОСТ Р ИСО/МЭК 954й-I
Эти требования ограничены теин аспектами средств тестирования, которые могут быть преобразованы в функции абстрактного тестирования, определенные и ГОСТ Р ИСО/МЭК 9646—1. или которые существенно важны для надлежащего использования стандартных КАТ. Такие аспекты могут содержать средства создания журналов соответствия или развития формы ДИРПТ. Другие подробные сведения о реализации тестирующих систем и верхних тестеров нс входят в предмет рассмотрения настоящего стандарта.
Вопросы приемки и установки средств тестирования не входят в предмет рассмотрения настоящего стандарта.
2 НОРМАТИВНЫЕ ССЫЛКИ
Ныжеисречнслсмиыс стандарты содержат положения, которые путем ссылок на них в данном тексте образуют положения настоящего стандарт.), В момент публикации настоящего стандарта ука замныс издания стандартом били действующими. Все стандарты подвергаются пересмотрам » участника и соглашений, основанных Нэцаняе официальное
1
ГОСТ Р ИСО/МЭК 9646—4—93
на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандарте». Комитеты—члены МЭК и ИСО имеют списки международных стандартов, действующих на текущий момент.
ГОСТ 28906—9] (ИСО/МЭК 7498—84). Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель. (См. также рекомендацию Х.20О МККТТ).
ГОСТ Р ИСО/МЭК 964ft—1—93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестаци «итого тестирования. Часть 1. Общие концепции (См. также реко метка ни» Х.290 (1991) М К КТТ).
ГОСТ Р ИСО/МЭК 9646-—2—93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта (См. также рекомендации» X.29I (1991) МККТТ).
ГОСТ Р ИСО/МЭК 9646—5—93. Информационная технология. Вазимоевязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия (См. также рекомендацию Х.294 (1991) МККТТ).
ИСО/МЭК 9646—3—91. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная н табличная нотация. (См. также рекомендацию X 292 (1991) МККТТ)*
3 ОПРЕДЕЛЕНИЯ
Для настоящего стандарта применимы все определения, приведенные в ГОСТ Р ИСО/МЭК 9646— I.
4 СОКРАЩЕНИЯ
В- настоящем стандарте используются следующие сокращения», приведенные в разделе 4 ГОСТ Р ИСО/МЭК 9646—1:
АСП абстрактный сервисный примитив
ВОС взаимосвязь открытых систем
ДИРПТ дополнительная информация о реализации прото
кола для тестирования
ЗСРЛ заявка о ■соответствии реализации прото-колу
КАТ комплект абстрактных тестон
• До прямого применения данного документа в качестве ГОСТ распространите его осуществляет секретариат ТК. 22 «Информационная -технология».
ГОСТ Р ИСО/МЭК Овсе—4—ю
КВАТ комплект выбранных абстрактных тестов
КВВТ комплект выбранных выполнимых тестов
КВТ комплект выполнимых тестов
КДТН комбинированная древовидная и табличная нотация КПАТ комплект параметризованных абстракт пых тестов
КПВТ комплект параметризованных выполнимых тестов
ПБД протокольный блок данных
ПКН пункт контроля и наблюдения
СТ средства тестирования
ТОВ жест основной взаимосвязи
ТР тестируемая реализация
ТС тестируемая система
5 ОБЩЕЕ ОПИСАНИЕ РЕАЛИЗАЦИИ ТЕСТОВ
5.1. Реализация тестов — это процесс разработки средств тестирования (СТ) тестируемых реализаций из соответствие спецификациям протоколов ВОС. который основывается на стандарте по аттестационному тестированию и на КАТ.
5.2. Средства тестирования *— это совокупность оборудования н процедур, способных выполнять:
а) создание;
Ь) выбор;
с) параметризацию и
d) выполнение
тестовых примеров в соответствии с указанным стандартным КАТ. а также вырабатывать журнал соответствия.
5.3. В процессе создания абстрактные тестовые примеры эталонного стандартного КАТ преобразуются таким образом, чтобы они .могли быть выполнены в тестирующей системе.
13 процессе выбора выбираются соответствующие тестовые примеры для ТР согласно содержимому ЗСРП и ДИРПТ.
В процессе параметризации параметрам выбранных тестовых примеров придаются соответствующие значения согласно содержимому ДИРНТ (и. возможно. ЗСРП).
После этого при выполнении процесса оценки соответствия ТР используются СТ, что приводи! в результате к выработке журнала соответствия.
Результат процесса создания называется «комплектом выполнимых тестов» (КВТ). Ок состоит из выполнимых тестовых примеров.
5.4. Могут быть созданы, но не обязательно, промежуточные формы тестовых комплектов в зависимости от того, когда происходит процесс ■создания.
3
ГОСТ Р ИСО/МЭК 9646-4—93
Такне промежуточные формы получили названия:
а) КВАТ— комплект выбранных абстрактных тестов;
b) КВВТ — комплект выбранных выполнимых тестов;
с) КПАТ — комплект параметризованных абстрактных тестов; d) КПВТ — комплект параметризованных выполнимых тестон.
5.5. Из всех этих разнообразных форм только комплекты абст рактных тестов явно необходимы.
Некоторые СТ могут генерировать. КПВТ автоматически из эталонных стандартных КАТ (при наличии ЗСРП и ДИРПТ) но время фактического прогона тестовых примеров. Такие СТ не проявляют в явном виде нн КВТ. ни КВВТ. ни КПВТ.
Однако всегда выполняется КПВТ.
6 ТРЕБОВАНИЯ. ОТНОСЯЩИЕСЯ К РЕЛЛ ИЗАЦИИ ТЕСТОВ
6.1 Введение
Требования, относящиеся к реализации тестов, касаются:
а) СТ как единого целого;
Ь) процесса создания выполнимых тестовых примеров из абстрактных;
с) средств выработки журнала соответствия;
d) развития формы ЗСРП ;
е) других документов.
6.2 Требования, относящиеся к средствам тестирования
6.2.1. Средства тестирования реализаций протоколов ВОС должны обеспечиваться и контексте одного стандартного КАТ в соответствия с ГОСТ Р ИСО/МЭК 9646—2. Исполнитель теста должен использовать ту версию спецификации КАТ. которая имеет наивысший статус стандартизация (например, предпочтительнее проект международного стандарта (ИМС). чем проект предложе-ня (ПП) или проект комитета (ПК).
СТ должны обеспечивать:
л) реализацию нижнего тетера;
Ь) спецификацию верхнего тестера н той степени, в какой она требуется методом абстрактного тестирования.
с) реализацию верхнего тестера для метода локального тестирования;
d) реализацию верхнего тестера для методов скоординированного я распределенного тестирования, факультативно,
с) спецификацию процедур скоординированного тестирования в соответствии с требованиями, определенными а стандартном КАТ;
4
ГОСТ Р ИСО/МЭК «648 4-93
[) реализацию процедур скоординированного тестирования внутри тестирующей системы для метода локального тестирования;
gj реализацию протокола административного управления тестированием внутри тестирующей системы для метода скоординированного тестирования.
(См. 7.4 ГОСТ Р ИСО/МЭК '9646—1 и 12.3 ГОСТ Р ИСО/МЭК 9646—2).]
6 2.2. СТ может содержать либо выполнимые тестовые примеры, созданные из тестовых примеров эталонного стандартного КАТ, либо средства их создания.
СТ должны быть реализованы в соответствии с семантикой гес товой нотации, выработанной в эталонном стандартном КАТ.
СТ должны обеспечить средства выбора и параметризации тестовых примеров (будь они на абстрактном или на выполнимом уровне) согласно «эответствукипой информации ЗСРП и ДИРПТ. предоставляемой вместе с ТР (см. 7-3 и 7.4 ГОСТ Р ИСО/МЭК 9646-6).
6.2.3. СТ должны обеспечить средства выбора тестовых примеров функциональных возможностей или поведения, упомянутых в перечне тестов основной взаимосвязи (перечень ТОВ), если таковой определен в эталонном стандартном КАТ, и должен предусмотреть средства их прогона, сначала а целом, до выполнения тестов функциональных возможностей и поведения.
СТ должны обеспечить так же возможность опускать из набора тестовых примеров, выбранных для тестирования функциональных возможностей н повеления, те тестовые примеры, которые указаны в перечне ТОВ.
6-2.4 СТ должны обеспечивать возможности выполнения параметризованных выполнимых тестовых примеров, образуемых в результате выполнения процессов создания, выбора и параметризации.
6.25 Исполнитель теста должен составить заявку в соответствии средств тестирования эталонному стандартному КАТ, указав то подмножество КАТ. которое не обеспечивается (см. 6.3.4).
Исполмитель теста должен идентифицировать все ограничения, налагаемые СТ на выполнение теста, помимо определенных эталонным стандартом КАТ (например, ограниченные диапазоны значений, предусмотренных в ДИРПТ).
Примечание — Исполнитель теста доджем отметить требования к услуге исчерпывающего тестирования, установленные в стандартном КАТ. Ом может выразить пожелание разработать СТ для каждого из требуемых методов абстрактного тестирования с гем, чтобы испытательная лаборатория могла обеспечить услугу исчерпывающего тествроламня.
5
ГОСТ Р ИСО/МЭК мне—♦-•83
■6.2.6 СТ должны обеспечивать возможность создания журнала соответствия (см. 6.4).
6.3 Требования к созданию КВТ
6.3.1 Введение
Требования 6.3 должны относиться ко всем комплектам выполнимых тестов, включая КВВТ и КП ВТ независимо от их реального наличия.
6.3.2 Соответствие эталонному стандартному К А I
КВт должны создаться из одного эталонного стандартного КАТ.
Для того, чтобы КВТ соответствовал эталонному стандартному КЛТ. он должен отвечать требованиям 63-3—6.3.5. Он должен от печать также требованиям, установленным в самом эталонном стандартном КАТ, а также в других частях многочастевого стандарта по аттестационному тестированию, если таковой применим (например, ПАУТ).
6.3.3 ■Соотношение между КАТ и КВТ
Каждый выполнимым тестовый пример должен представлять собой реализацию отдельного абстрактного тестового примера и должен выбираться для выполнения ла индивидуальной основе.
Все последовательности тестовых событии, образующие абстракции тестовый пример, должны быть реализуемы в выполнимом тестовом примере.
Цель тестирования и назначения вердиктов каждого абстракт кого тестового примера должны обеспечиваться в соответствующем выполнимом тестовом примере.
СТ должны выполнить проверку действительности параметров ПБД. полученных из ТР„ дополнительно к проверкам, определенным в абстрактном тестовом примере. Любые другие проверки, которые могла бы выполнять тестирующая система, не входят в предмет рассмотрения настоящего стандарта и не должны влиять на назначение вердиктов результатам выполнения каждого тестового примера.
Стандартный КАТ охватывает преобразование абстрактного тестового примера или примеров в позиции формы ЗСРП и ДИРИТ (см раздел 15 ГОСТ Р ИСО/МЭК 9646—2 в КВТ.
G.3.4. Образование подмножеств КАТ
Процесс создания КВТ в общем случае приводит к созданию всех тестовых примеров эталонного стандартного КАТ. Однако мо жет оказаться полезным создать КВТ для некоторого подмножества КЛТ. Если такое подмножество создано, то исключение набора
6
ГОСТ Р ИСО/МЭК шив-4-W
тестовых примеров должно происходить согласованно с процессом выбора тестов для ТР относительно преобразования между позициями формы ЗСРП (и ДИРПТ) и тестовыми примерами в КАТ.
Примечание — Эш означает, что те тестовые примеры, которые обяш Тельмы для всех ТР, всегда будут входит», в это подмножество, однако испиши-тель теста может предпочесть не реализовывать те конкретные наборы тгецмшч примеров, которые яиляклся факультативный» или условными «I. г ледова тел ыи., они могут ис потребоваться дли некоторых конкретных классов ТР.
Таким образом, то подмножество эталонного стандартного КАТ. которое реализовано, должно быть эквивалентно одному или нескольким эквивалентным КВАТ.
6.3.5. Независимость процесса создания
В ТС процесс создания должен приводить к одному и тому же КПВТ. выполняемому для данной ТР. независимо от 'того, когда происходит процесс создания относительно процессов выбора н пара метризации,
П р и и -с *1 а и и с — См. А 2 т и рисунок Л.1.
Применение процессов выбора н параметризации к конкретной ТР — это вопрос, за который отвечает испытательная лаборатория пи этапе подготовки к тестированию.
6.4 Требования, относящиеся к журналу соответствия
Как показано в 6.2, СТ могут обеепчить возможность создания журнала соответствия.
Журнал соответствия представляет собой запись визуально читаемой информации, выработанной в результате тестовой кампании и достаточной для записи наблюдаемых’результатов тестирования и проверки назначения вердиктов тестирования.
В этой, информации объединены результаты наблюдений фактических событий тестирования, проис ход я тих при прогоне КПВТ относительно ТР, с информацией, ■которая соотносит эти события е рассматриваемыми абстрактными 1 остовыми примерами.
Журнал соответствия может использоваться при выработке отчетов об аттестационном тестировании к разрешении споров и вопросов, которые могут возникнуть при выполнении млн после выполнения процесса оценки соответствия.
Журнал соответствия должен содержать:
а) уникальный идентификатор журнала соответствия, который содержит время и дату начала выполнения КПВТ;
Ь> идентификатор СТ, дату создания, номер версии и идентификатор КВТ (при его наличии);
с) индикацию начала и окончания прогона каждого тестового примера, включая уникальную ссылку на абстрактный тестовый
7
ГОСТ Р ИСО/МЭК 9646-4—93
пример так. как определено в КАТ (например, указатель тестового примера КДТН или идентификатор теста) ;
d) ПБД, посылаемый нижним тестером & ТР и получаемый нижним тестером из ТР. включая запись подробной информации, содержащейся в параметрах 11БД и данных пользователя;
о) абстрактные тестовые события, определенные и соответствующем абстрактном тестовом примере; к ним относятся асе абстрактные сервисные примитивы, наблюдаемые нижним тестером, нее тостовые события, полученные через процедуру скоординированного тестирования нижним тестером, который содержит информацию. полученную из верхнего тостера, и идентификацию со-отястствующых пунктов контроля и наблюдения (ПКИ);
Г) запись результата каждого тестового примера; что будет либо назначение вердикта. либо ошибка абстрактного или выполнимого тестового примеря, либо ненормальное завершение тестового примера;
g) отметку времени или упорядоченную последовательность всех тостовых событий, зарегистрированных нижним тестером в той последовательности. в которой они наблюдаются;
h) любую дополнительную информацию, необходимую Для эталонного стандартного- КАТ.
I] рм меч а и »« J — Пример h относин-л к сличаю, когда аберрантный-п стилый пример, записанный в КДТН. определи ст. что информации ct промежутки ■ них результатах: (в колонн «вердикт*» иди метки (я колонке «метка») должны бить мрсглстри рент и ы в журнале соответствия при появлении сспттвстст вуюгщси« цехового события.
Журнал соответствия должен огражатк псе илпм-енопяляи. жйбри: натуры о значенья с мгиользомнкся герм теологии и соглашений омпслсяемин.х и счеши фикаичи протокола, синтаксис перелечи (при ere» 1|пмляь«о'пииии). пли -пала-пп нА стандартный КАТ (с лрелпочтсвис!» первым двум из перечисленных).
СТ должны обладат!» способности» вырабатывать на бумажном носше-ж журнад соот встстоия Рек-омел дуется также, чтобы была доступ па мвши|пкэчнм<--ыэ» форм» журнала есютгх-тсгпм'я с шпывалешиым спАержимым.
Примсча и не 2 — Руюшпдшж' материалы но ссйлаинт луркалэ сто ветствия см. в приложении А. А З
б 5 Требования к развитию формы ДИ РПТ
Неполная форма ДИРПТ, определенная в эталонном стандартном КАТ, должна быть развита с учетом средств тестирования. Для этого исполнитель теста должен добавить в неполную форму ДИРПТ те дополнительные вопросы, на которые необходима дать ответы с целью подготовки СТ для конкретной ТР.
Исполнитель теста должен включить в расширенную- форму ДИРПТ всю информацию, относящуюся к реализации эталонного
8
гост р исо/мэк те -4-93
стандартного КАТ. которая необходима клиенту для заполнения ДИРПТ.
Исполнитель теста должен обратиться к приложению С ГОСТ Р ИСО/МЭК 96-46—5 и разработать расширенную форму ДИРПТ и соответствии с этим приложением.
Полученная в результате расширенная форма ДИРПТ должна быть предоставлена испытательной лаборатории с тем,, чтобы она могла ввести в нее требования, определенные в 6.4.3 и приложении С к ГОСТ Р ИСО/МЭК 9646—5
6.6 Требования, относящиеся к другой документации
СТ должны сопровождаться документацией для того, чтобы испытательная лаборатория могла выполнять операции тести ропалия в соответствии с эталонным стандартным КЛТ и с требованиями ГОСТ Р ИСО/МЭК 9646—5 относительно информации, которая должна быть предоставлена клиенту.
Эта документация должна содержать:
а) идентификацию СТ. лату создания, номер версии и идемти-фикацлю КВТ (при его наличии);
Ь) наименование и номер версии международного стандарта илы рекомендацию МККТТ по спецификации протокола (и, в соо-т встствующих случаях, по определению услуг); наименование к номер версии эталонного стандартного КАТ в сочетании с перечнем принятых технических поправок;
с) описание СТ (см. руководящие материалы в А.4);
d) спецификацию процедур скоординированного тестирования и верхнего тестера в соответствии с требованиями эталонного стандартного КАТ;
е) тестовые примеры (при наличии таковых), которые не могут быть выполнены вследствие ограничений СТ.
Примечание -■ Такие огра ничеи ин должны быть исключен нами и могут иметь место только п случаях, котла конкретные тестовые примеры »ie могут быль просто |х.-алнмввны:
Г) описание тех процедур выполнения тестов, которые должны выполняться испытательной лабораторией м/или клиенток и которые специфичны для данных СТ;
g) заявка о соответствии эталонному стандартному КАТ;
h) заявка о согласованности с настоящим стандартом;
i) руководящие материалы по интерпретации журнала соответствия.
Если исполнитель теста обнаруживает ошибку в каком-либо абстрактном тестовом примере или обнаруживает какой-либо абстрактный тестовой пример, который ориентирован на ошибочные
9
ГОСТ Р ИСО/МЭК 9646 4—93
или неоднозначные требования в специфика инк протокола, он дол жен идемтифн пировать такие тестовые примеры в документацмн сопроводительной для СТ.
Примечание — Исполинтглм тюои должны также иапраялять в coot (лпствующнЯ комитет ИСО/МЭК или МККТТ извещения об ошибка к. которм мл ни мфнавруют проблсиу.
7 СОГЛАСОВАННОСТЬ
Средства тестировании ТР согласуются с настоящим стандартом только л тон случае, если выполнима все требования раздела б.
11 р « м i ч л н и с--Оскопим- «ккоби проверки того, что СТ реализм! четыре- функции, еял.тиные <• (калн за пней ксгоя |7. <• еа.мание, выбор, иарл*»» ризяпня г PuncutmiHC-i. солсржп-н’и л журнале стетветстпин.
10
ГОСТ Р ИСО/МЭК Ж48--4-93.
ПРИЛОЖЕНИЕ Л (<CnpaW>4NVf)
ДОПОЛНИТЕЛЬНЫЕ РУКОВОДЯЩИЕ МАТЕРИАЛЫ ПО РЕАЛИЗАЦИИ Т ЕСТОВ
A I Дополнительные руководящие материалы но СТ
А Л. I Ввел с и и е
В данном ври.к»же№1Н1 содержатся руководягццс материалы л сп<аКшх (ча-шютт я ТС чред абстрактным функция тек'] Иринами я. ппяеде-шгшых л 73 ГОСТ f И СОБЛАЗН 'JfiKi Е з имептг нчжпето тестер л. огрхшти тестера я Ь^ч^Дур скоордии иронавиого тестяролзпня
П р и м i ч а н нс — Тке тирующая слсге иа должин rifi.ui.wi4> еи'и-обшн'тыо ■ *<--ит 1|р<»1йГ1м:>е к рач/цичпым СТ
Л J.2 Реал» нации и и ж и e i о г г «' I с р а
Для каждого меюла абстрзктткио теезнрцигнч»!, оацкяглепн<но п ГОСТ 1’ НЕО/НЭК ЩЯЗ-^. «сгонным объемом дли мюрхшт шеи к коктролн. we тирские инн япящ-гги нижний тестер. Функции нижнею тестера ечк-юя? и том. тчйы
з) прогонять яышмшямыг тсстоные примеры, кс/юрыг обратуинея нт збет раненых тестовых примеров;
Ь) вырабатывать индикации м-рлякшн в саптпвпегпин с эталонным стандарт-₽>ым КАТ;
с| ноиттюляринаи> и наб.'цидать тссцинм' Событии, которые пхОдят в абст-*>a»miNFi тестовый пример (к этим событиям относятся генерация и прием ОВД. r:Ue.?pikflsU< CepDnciilJc 1ф liMUTHbLI, I lткpiiiiiii II ЛрнЬм ЛБД адМЩ111й1|ьт/ННКиЧ )Та|еЮК-НИЯ ТГСхиГЧШШПК'М. события, I>THCIC*IU1MCC31 К ПриПСЛурИМ СЩ><|рЛШ1|'р|>д;|НН0-■ I» Т«Г1ЯрОЯДННН|
Нижний нч-гер предстаолчет собой часть пела виси мо-м реальной слетимте, учн-смагривзеиой как тестирующая сисп-иа Как данная тестирующей система, гик и ТС iirivciieMHiuiKiT 1Н1же|1аси<1Лс1>чЧ111Ы1- услуги ниже ез чем о нижт-го дрогни »'Р««т<> колон и ТР
А.1.2-2 Лы пчеи-к ие объекты В(К' и шикнем Тестере мн>! ут лазкачигься |ш.г личными способами, мэпример.
а) кодер/декодер — просто ко тирует АСИ л Г1БД в соотвстсти!»» с потреб rw<rjH»ii прогоняемою теста, ш- нилиисо р гили ши. ней рассыз)|)11 ннемою isporo-мола;
Ь) расширен it» я рсалиаицня — реализации рассматриваемого протокола, «модифяцмросаиная лобапленнем генератора ошийпк, модули конфигураций или тугого и Ольги <ir«j усфоЛенн дли wo. чпт&и можно било 1эра)пиргм1эп.. что акщяйсгвн тслынаг иля необычные ЛСП или Л БД будут генерироваться и смог пет гтниа с пытг-ебноегтш и прогоняемы о тестового примера.
АЛ.З Реализация пгр.« и с г <» тестера
СТ «бесиечиваит реллнзаипю или спецификацию функций верхнего тестера "• соответствии с методом абспшнт’Кюо п стирона инн. иегюлшусмым и а талонном отйпдартиом КАТ.
Верхний тестер может примим;п*. радлинные формы, наирнмеэ:
а} программная реализация (шпорам м«жщ быть. »ю не обязательно. пе*;т кнснмоА от ««^-троения ГС или ТР). содержащаяся в ТС над ТР. с регионом ирс >.брлц>ьапий. который сопрягается с локальной рса«кзашкй АСП;
bi человек-оператор — функция пефкиего тестера аыпачняе-т фитячссжае ли по, имеющее доступ к интерфейсу с полыпоатслсм. который отображается на
И
«ОСТ Р ИСО/МЭК 9646-4-93
сервисную границу ТР. имеет доступ к реализации спотти-тствующих ДСП si ми пнпулкфуит ЯМИ.
с) концептуальный верхний тестер, г. е. для реализации функции верхней» тестера используются верхние уроэни fC без использован ни каких-либо дополни тельных механизмов (этот вид верхнего тостера может мелокльзоодтъея только дли реализации метода удаленного абстрактного тестирования).
А»1.4 Реализация процедур с к о пр я вн и ро в а и и о г о тсети р о и а ни я
Существует множество способов взаимодействия нижнего и верхнего тестеру, например, с синхронизацией или без, с использованием канала обмена данными дополни тел ьио к каналу, используемому между шежнкм тестером и ТВ или бел такового, и др.
Можно идентифицировать несколько общих типов реализации:
0) •юловсх оператор — функции верхнего тестера выполняв! физическое лицо, имеющее доступ к интерфейсу <• пользователем, который отображается па сервисную границу ТР; этот оператор осуществляет синхронизацию работы виж него тестера, код которой может быть обнаружен различными среде г па мн. лап ример, набором пробных сообщений от интерфейса пользователя нижнего тестера ;
Ъ) интерпретатор сценария — верхний тостер реализуется удаленным интерпретатором сценария; ©и воспринимает его инструкции из генерируемых файдоп в сочетании е уст ковкой нижнего тестера и с регионом пробран» мт ни между ним и сервисной границей ТР.
с) прилежал административного управления тестированием — игахний тостер синхронизирован с нижним тестером с помощью протокола адм и «истратив кого управления тестирован нем. который использует услуги, itpcnciera паяемые ТР и ннжсраслоложсннымн уровнями, а также соответствующие функция ним него тестера.
А 2 Дополнительные руководящие материалы по процессу создания КВТ
А.21 Общее описание
Процесс создания может происходить в следующих случаях
а) во время реализации теста.
Ь) со время установки СТ испытательной лабораторией;
с) иа стадии цодгфтоикы tecta, чередующейся с процессами гыбоуа и пара метризации, для конкретной ТР;
d) во время -операций тестирования и результате интерпретации или гомик линии эталонного КАТ.
Ла рисунке А 1 показаны различные- ислможиосгн комбинирования лрощ-с-гов создали», выбора, параметризации и выполнения теста, наторит «писаны и разделе 5 и требования к которым описаны и разделе 6
А.2.2 Исходные данные к процессу сохла имя тестон Исполни тель теста должен рассмотрен, следующие исходные данные:
в) эталонный стандартный КАТ для конкретного протокола ВОС. основанный на конкретном методе абстрактного тестировании и содержащий спецификацию процедур сноордиишрованмого тестировании*;
Ь) форма ЗСРП для протокола ВОС;
с) заполнен форма ПИРИТ, обычно прилагаемая к эталонному сыныиргнмму КАТ-
A.2UI Обслуживание КВТ
Как только возможность выполтк-ыи» К.ПВТ будет реализована и СТ и СТ начнут нспол^оиатин. к нсйОАИигглю теста могут гимтуван. из испытательной лаборатории отчеты о возникающих проблемах. Проблемы могут возникать г процедурами выполнения или относительно errorостетпня эталонному стандарт
12
I OCT P ИСО/МЭК 9646 4-93
ному КЛТ. В таки л ситуация* исполнитель госта должен обеспечивать-со ответе! ПуКЛЦИТ НОррсХЦКН.
Исполнители теста должен также обеспсчиплц. <■ биотwикс СТ при изж.чм обновлении а галон кого с-гаидэрт пою К АТ.
ТчиотмЯ КАТ
ВиСор.
<1А1».»'°,» этап
<и ДМР<1Т1
ОКАТ
1 Шарики* КЛГ1
1
I Ьрожтржкаш».
■a>N> «о Д.ИРПТ ««а ХРП>
4.
пклт
<П»>»шг^р"»> »>м»А ВКАП
4
Соыммс/ юпол .«w II КВТ
КВТ
^ (Комплект jмой мн-мык тплче>
Ф u^r пэл» >ум«- ЭСР11 <• лйртт
Ф BKW
_J> i амурным# КН1>
ИьгШСТ>«>ач>*«. тымумьДИМИ имиЗСПП
*
ПК ВТ
-> И1иЯ-»< янхаиииш*
ИКВТ>
Ф
М«|пспн<н«е ПКВТ
Рнсуипь \ I I Ipowxx спада ння/ям11<1лн4'Ю1я ПК&Т
АД Дополнительные руководящие материалы но журналу еоответс^яни
Для ни раб» гк и журнала семя вс клиня ikmXuojiiио следующие:
а> регистрировать фактические: п-купкие события п п1х-.тслопятк-лыкх'П1 и» ичхплеиия в процессе ГЫНС1Лнения КПВТ:
Ь) анализирован» ясу информацию оч ное иге; п>ми еоотйетстьуюитих нибраи пмд и параметр itiobuijtitrx тг^юпил при не рос, преобразуй фактические vctohui СОбыТИЯ II обстроит НЫе тестовые событии II рч 1КТ|Ч1 рум ПСн> “рутую необхоли «ую информ :нс>|».
Тркбоианим нр-дт.мп.тнингм lei^ii.iti» к mnltopvaiTiiii, впдяс«anvil записи i журнал СОйТВеТСТПИЯ, И ж смссойу ее Предст ;||!Л« Н»1И
Аналчл упирпдиченнгмо перечли фен. и we кпд nciWHix событий мело • ■■—и вчтрдеи и каждый истовы) пример и вы шатия ri.cn после выполнения воелсдспе «• либо о»! мпжгт ||р:цы|||>1ткя ^ач <п-дг.т1.»™й прочит поел», выполнения KI ШТ л ибо ОН может быть IHHifi.TlIell riLXXd.pulM СОЧеЧа пнем тГИК методов. 4’.1С< 1- Г»ы ILiariwniciniM этого Лпзл|г;а и пре «сил с: о riMimuoi'iiim лгшеят-ельии CJIcxk.ii ,:м <111.1 пенни КПВТ in- fiiiii.japiH.Kiimjiu.
Как о|||м.,д№,||<1 ц б ।, <‘Т лолжни обладить с тхоОхкит ьн- ямра5и1Ы1;а '»-журшич сеютмстствнр на бумажном жптпеле Рекомендуется также пр ед усмотрел ч;н||ИП«К1-чятп<'мым журнал снял пгтегтиот зпвина-цдниого содержания.
Процесс сги.члпия журпилл CoOWTCTIMIH МЛИГНЛ пап:п«1тув,ты1П oUrO.UlTK па примере рису in ;:t Л .2.
ГОСТ Р ИСО/МЭК 0848-4-93
Ожим^чСмм*
—ф Поп» ужцнмитшс* жжЮфиаии»
———^ Поли обедпшшлй ■utvpMMP*
---> Вопж 4ик>лг-тхгиз>юй ихфорчацпн
Рисунок z\2 — Создание журнала соответствия
Примечание — Недоходный, чтобы испытательная лаборатория сохрани-лз. как минимум, либо упорядоченный перечень фактических событий тссгндома-ним. либо машинно-читаем}'» вспеню журидля соответствия.
Л.4 Дополнительные руководящие материалы по документации
ААЛ Введение
Помимо соблюдении требований;, определенных в Й4 и 6.5. рекомендуется подготовить следующие документы:
а) информацию о тестирующей системе;
Ы описание СТ;
с) информацию о клиенте испытательной лаборатории;
4) рабочий инструкции испытательной лабораторки.
Л-4 2 Документ «Информации о тестирующей системе»
СТ приспособлены ж конкретней тестирующей ciktcnc. Этот документ должен содержать следующую инфор^я^1*», относящуюся к данной тестирующей системе.
al оборудование (гее гирующей систем ы>;
Ъ) наименование и номер версии опера пион ной системы {тестирующей сие темы);
с) наименование н номер версии ияжшчо тестера.
41 наименование и номер версии верхнего тестера (при его наличии);
14
ГОСТ Р КСО МЭК VS46-4-D3
ej оборудование и/иля процедуры, необходимые для езязн нижнего истер» с ТР для целей тестирования (т. с. (N—1)-услуга);
О оборудование и/илн процедуры, необходимые для слили щ-рхне у щ-гтсра (при его наличии) с ТР для целей тестирования;
р) на именован ж-„ место расположения и контактная информации организации, отвечающей за обслуживание СТ п КАТ и выдачу консультаций ни вам
А.4.3 Дож у мент «Описан не среде г а т ос ? а р о в а п и нэ
Этот документ должен содержать описание след;.тощих acncxron СТ. относящихся к. эталонному стандартному КАТ:
а) нижний тестер, описание нотации выполнимого Тестирования и см прс-Обряловли не о нотацию абстрактного тестирования I например, п КД TH) Описание способов контроля, наблюдения и хранения ДСП и де монет рання того, что выбрани Lili метод реализует правила уаорчлочсЯни. hiiJikUkiUhc i. абстрактным тестовым примерам;
Ь) верхний тестер: опясалие способов контроля, набтюлсаия и хранения АСП (sa исключением метода улалезтого тестировании), пока «ыиаюпни- стелено, соблюдения требований к функциям верхнего гесторл.
с) координация тестирования описание преобразований процедур скоординированного тестирования: п- их реализацию, требования к ним определены в эталонном стандартном КАТ;
d) процесс выбора: описание мс подыскан ня ЗСРП и ДИРПТ при выборе абстрактных тестовых: примеров, пригодных для тестирования ТР.
с) процесс параметризации: описание исполмоаанин ЗСРП я ДИРПТ в па-рамстризоваэпгыл ниполинмых тестовых примерах иди ’гост л|№ на пип ТР;
Е) средства выработки журнала соответствия
А4 1 Документ «Информация дли клиент в испыта-
тольиой л а б о р 1 т о р н м»
В >том документе исполнитель- теста должен обеспечить следужмну»> информацию. позволяющую нспыгзтелхыой лаборатории информировать клиента а степени готовности ТС для тестировании:
а) верхний тестер: если »гог компонент предусмогрен — это описание способа отображения его интерфейса нз соответствующую реализацию сервисном границы, любые предположения о реализации определения услуг, либо о функциональных возможностях или ресурсах, доступных и ТС; если же верхний тестер не предусмотрен, то это описание того, каким образом следует охватить его рса низанию; такое описание содержит протокол административного управления тестированием, при его наличии;
Ь) координатор тестирования: что должен делать клиент для реализации процедур скоординированного тестирования — описание способа цы поли ей ин любой ручной координации взаимодействия между ТС и лнжним тестером, при ос необходимости, — любая соответствующая информатик о синхронизации, н?4 пример, ожидаемый- рабочие параметры протокола а.х-мнпнстраглшюн> управления тестированием;
с) пнжераспвложенные услуги: указать, что клиент должен «^сепгчнть лог татючно надежную <М—1)-услугу и. по возможности, пояснить, каким образом этого можно достичь (но обращаясь к конкретному компьютеру)
А.4.5 Документ «Рабочие инструкции) и с it ы = at с л г и ой л я б о р а т о р я и»
В этом документе исполнитель теста должен предусмотреть информацию, которая может стать пособием и руководящим материалом для испытательной лаборатории при выполнении тестировании с помощью СТ, диагностике проблем к повторном прогоне тестов в случае необходимости. Сюда может относиться;
а) подготовка тестирования: способ использования ЗСРП и ДИРПТ для вы полнен ня процессов выборки и параметризации тестов с помощью СТ;
15
ГОСТ ₽ ИСО/МЭК 964 6—4—93
Ь) ныскшиенне тестировании; описание процессе прогона тестив п «нжи«м тестере и анализа результатов;
с) контроль лыпалиспнк:- определение степени детализации контроля при выполнении тестовых примеров; рабочие инструкции должны сю «сыча ты. каким, образом выполняются тестовые примеры я. тем самым, косвенно определять ко-яннеетио тестовых .примеров, которые могут быть выполнены s виде одной исполняемой единицы. крайним: случаем является налично одной единственной команды на bciO n-схоку ю кампании» -(тнеты основной взвн мпемязн.. тесты функциональных возможностей я тесты поведения); другой крайний случай—наличие команды на каждый; отдельный шаг тестирования я каждом отдельном тестовом принтере КВТ;
Л» создание журнала соотнетстэня; контроль сто создания, возможность обратного отображения журнала соответствия на стандартные тестовые примеры а спецификации эталонного КАТ.
i‘J иерзимй хсир; описание любых исходных доверительных тестов, подлежащих выполнению на нажнем тестере и способа получения хранимых тестовых событий их мрхнего тестера;
[} процедуры схоорлянщюпанного тестирования, описание речного способа осуществленья координации между нижним и верхним тестерами в случае необходимости.
УДК 681 324.006.354
П85
Ключевые слова: .информационная технология, взаимосвязь открытых систем, методология, основы, аттестационное тестирование. реализация тестов, средства тестирования, комплект абстрактных тестов, функции абстрактного тестирования, журнал соответствия, тестирующие системы
ОКО У «002
Редактор В Л. Огурцов Технический редактор О. Л. Никитина Корректор Н. И. Гаврищук
Слано а наб. 2GOI.5M. Поло. о лсч. 24.0ЦО4. Уел. а. д,-Мб У<л. щк-отт. 1.10 Ут -ими л. J.W.
_______________________________Тирам 368 Ж) С Ч»Г.______________________________
Ордена чЗхап Пете» Иадлтелкс-пю -сгаиса-ргоп, Jww? М<х ни») ^Л^^УКИЙ Пер.. 11.
Кклужскаа типография cretuwprae. ул Московеаыи. 256. Зак. 1-М
