5.5. Из всех этих разнообразных форм только комплекты абстрактных тестов явно необходимы.
Некоторые СТ могут генерировать КПВТ автоматически из эталонных стандартных КАТ (при наличии ЗСРП и ДИРПТ) во время фактического прогона тестовых примеров. Такие СТ не проявляют в явном виде ни КВТ, ни КВВТ, ни КПВТ.
Однако всегда выполняется КПВТ.
6 Требования, относящиеся к реализации тестов
6.1 Введение
Требования, относящиеся к реализации тестов, касаются:
a) СТ как единого целого;
b) процесса создания выполнимых тестовых примеров из абстрактных;
c) средств выработки журнала соответствия;
d) развития формы ЗСРП;
e) других документов.
6.2 Требования, относящиеся к средствам тестирования
6.2.1. Средства тестирования реализаций протоколов ВОС должны обеспечиваться в контексте одного стандартного КАТ в соответствия с ГОСТ Р ИСО/МЭК 9646-2. Исполнитель теста должен использовать ту версию спецификации КАТ, которая имеет наивысший статус стандартизации (например, предпочтительнее проект международного стандарта (ПМС), чем проект предложения (ПП) или проект комитета (ПК).
СТ должны обеспечивать:
a) реализацию нижнего тестера;
b) спецификацию верхнего тестера в той степени, в какой она требуется методом абстрактного тестирования;
c) реализацию верхнего тестера для метода локального тестирования;
d) реализацию верхнего тестера для методов скоординированного и распределенного тестирования, факультативно;
e) спецификацию процедур скоординированного тестирования в соответствии с требованиями, определенными в стандартном КАТ;
f) реализацию процедур скоординированного тестирования внутри тестирующей системы для метода локального тестирования;
g) реализацию протокола административного управления тестированием внутри тестирующей системы для метода скоординированного тестирования.
[См. 7.4 ГОСТ Р ИСО/МЭК 9646-1 и 12.3 ГОСТ Р ИСО/МЭК 9646-2).]
6.2.2. СТ может содержать либо выполнимые тестовые примеры, созданные из тестовых примеров эталонного стандартного КАТ, либо средства их создания.
СТ должны быть реализованы в соответствии с семантикой тестовой нотации, выработанной в эталонном стандартном КАТ.
СТ должны обеспечить средства выбора и параметризации тестовых примеров (будь они на абстрактном или на выполнимом уровне) согласно соответствующей информации ЗСРП и ДИРПТ, предоставляемой вместе с ТР (см. 7.3 и 7.4 ГОСТ Р ИСО/МЭК 9646-5).
6.2.3. СТ должны обеспечить средства выбора тестовых примеров функциональных возможностей или поведения, упомянутых в перечне тестов основной взаимосвязи (перечень ТОВ), если таковой определен в эталонном стандартном КАТ, и должен предусмотреть средства их прогона, сначала в целом, до выполнения тестов функциональных возможностей и поведения.
СТ должны обеспечить также возможность опускать из набора тестовых примеров, выбранных для тестирования функциональных возможностей и поведения, те тестовые примеры, которые указаны в перечне ТОВ.
6.2.4 СТ должны обеспечивать возможности выполнения параметризованных выполнимых тестовых примеров, образуемых в результате выполнения процессов создания, выбора и параметризации.
6.2.5 Исполнитель теста должен составить заявку в соответствии средств тестирования эталонному стандартному КАТ, указав то подмножество КАТ, которое не обеспечивается (см. 6.3.4).
Исполнитель теста должен идентифицировать все ограничения, налагаемые СТ на выполнение теста, помимо определенных эталонным стандартом КАТ (например, ограниченные диапазоны значений, предусмотренных в ДИРПТ).
Примечание - Исполнитель теста должен отметить требования к услуге исчерпывающего тестирования, установленные в стандартном КАТ. Он может выразить пожелание разработать СТ для каждого из требуемых методов абстрактного тестирования с тем, чтобы испытательная лаборатория могла обеспечить услугу исчерпывающего тестирования.
6.2.6 СТ должны обеспечивать возможность создания журнала соответствия (см. 6.4).
6.3 Требования к созданию КВТ
6.3.1 Введение
Требования 6.3 должны относиться ко всем комплектам выполнимых тестов, включая КВВТ и КПВТ независимо от их реального наличия.
6.3.2 Соответствие эталонному стандартному КАТ
КВТ должны создаваться из одного эталонного стандартного КАТ.
Для того, чтобы КВТ соответствовал эталонному стандартному КАТ, он должен отвечать требованиям 6.3.3 - 6.3.5. Он должен отвечать также требованиям, установленным в самом эталонном: стандартном КАТ, а также в других частях многочастевого стандарта по аттестационному тестированию, если таковой применим (например, ПАУТ).
6.3.3 Соотношение между КАТ и КВТ
Каждый выполнимый тестовый пример должен представлять собой реализацию отдельного абстрактного тестового примера и должен выбираться для выполнения на индивидуальной основе.
Все последовательности тестовых событий, образующие абстрактный тестовый пример, должны быть реализуемы в выполнимом тестовом примере.
Цель тестирования и назначения вердиктов каждого абстрактного тестового примера должны обеспечиваться в соответствующем выполнимом тестовом примере.
СТ должны выполнять проверку действительности параметров ПБД, полученных из ТР, дополнительно к проверкам, определенным в абстрактном тестовом примере. Любые другие проверки, которые могла бы выполнять тестирующая система, не входят в предмет рассмотрения настоящего стандарта и не должны влиять на назначение вердиктов результатам выполнения каждого тестового примера.
Стандартный КАТ охватывает преобразование абстрактного тестового примера или примеров в позиции формы ЗСРП и ДИРПТ (см. раздел 15 ГОСТ Р ИСО/МЭК 9646-2 в КВТ.
6.3.4. Образование подмножеств КАТ
Процесс создания КВТ в общем случае приводит к созданию всех тестовых примеров эталонного стандартного КАТ. Однако может оказаться полезным создать КВТ для некоторого подмножества КАТ. Если такое подмножество создано, то исключение набора тестовых примеров должно происходить согласованно с процессом выбора тестов для ТР относительно преобразования между позициями формы ЗСРП (и ДИРПТ) и тестовыми примерами в КАТ.
Примечание - Это означает, что те тестовые примеры, которые обязательны для всех ТР, всегда будут входить в это подмножество, однако исполнитель теста может предпочесть не реализовывать те конкретные наборы тестовых примеров, которые являются факультативными или условными и, следовательно, они могут не потребоваться для некоторых конкретных классов ТР.
Таким образом, то подмножество эталонного стандартного КАТ, которое реализовано, должно быть эквивалентно одному или нескольким эквивалентным КВАТ.
6.3.5. Независимость процесса создания
В ТС процесс Создания должен приводить к одному и тому же КПВТ, выполняемому для данной ТР, независимо от того, когда происходит процесс создания относительно процессов выбора и параметризации.