Программы считаются выдержавшими испытание, если ..............
6.5. Испытание по п. 4.4.2. Программы выполняется следующим образом
| Приводится методика испытания, целью которого является выявление и устранение ошибок в последовательности вычислений, выполнении операций, точности, временной организации и использовании численных алгоритмов. Как правило, испытания этого вида проводятся с использованием:а) данных из допустимых диапазонов изменения;б) данных, выходящих за пределы, установленные техническими условиями;в) данных, находящихся на границе, установленной техническими условиями;г) данных, находящихся в окрестности особых точек, например, вблизи точек нарушения непрерывности алгоритма;д) соответствующих характеристик алгоритма, включая линейность, разрешающую способность, масштабирование при вычислениях с фиксированной запятой и т.п. |
Программы считаются выдержавшими испытание, если ...............
6.6. Проверка по п. 4.5. Программы выполняется следующим образом
| Приводится методика проверки:а) потоков данных и управляющей логики программы;б) обеспечения требуемого порядка, типа и количества аргументов вызываемой подпрограммы;в) отсутствия ложных выходных сигналов из общей базы данных или отсутствие нежелательных изменений в этой базе;г) корректности циклограммы в случае испытаний на целевом аппаратном средстве;д) соблюдения нормальной последовательности следующих событий:- выставка и снятие управляющих флажков;- инициализация (установка в начальное состояние) переменных;е) правильного возобновления вычислений в случаях применения процедур прерывания, если обработчик прерываний является одним из модулей, входящих в интеграцию;ж) разделения функций, имеющих разные категории критичности, если используется принцип обособления функций. |
Комплекс считается выдержавшим испытание, если ..............
6.7. Испытание по п 4.6. Программы выполняется следующим образом
| Приводится методика испытания, целью которого является проверка того, что комплекс интеграции с минимальной комплектацией аппаратных средств удовлетворяет требованиям, предъявляемым ТЗ.При наличии соответствующей аппаратуры может быть использован метод последовательного наращивания количества испытываемых программ в сочетании с одновременной проверкой правильности их сборки.При испытании данного вида должны быть выявлены ошибки следующих видов:а) неправильная обработка уровней прерывания;б) неспособность программы или группы программ удовлетворить требования к циклограмме вычислительного процесса;в) неправильная реакция комплекса на переходные процессы, причины которых связаны с аппаратурной реализацией или с отказами аппаратуры (невозможность восстановить нормальную работу в тех случаях, когда это предусмотрено требованиями);г) проблемы, связанные с шиной и ресурсами;д) неспособность встроенного тест-контроля выявить отказы или неисправности;е) неспособность осуществить запуск программы, как в случае начального включения, так и в случае рестарта, справиться с переходными процессами, вызванными загрузкой входных данных и изменениями напряжения входного электропитания;ж) ошибки в сопряжении комплекса и аппаратных средств и их спецификациях;и) возможные отклонения от нормального функционирования контуров обратных связей.Типовые методы испытания интеграции комплекса и аппаратных средств включают:а) моделирование в реальном масштабе времени или другие методы испытаний, позволяющие запустить в работу в реальном масштабе времени комплекс;б) контроль загрузки процессоров;в) использование типов отказов и анализ их последствий для получения контрольных примеров, проверяющих комплекс в условиях ошибок, переходных процессов и отказов аппаратных средств;г) имитация выбранных отказов аппаратных средств;д) имитация предельно допустимых по ТЗ условий. |
Комплекс считается выдержавшим испытание, если ..............
6.8. Испытание по п 4.7. Программы выполняется следующим образом
| Выполняется прогон комплекса с целью выявления ошибок и подтверждения правильности её выполнения на контрольном примере (тесте) или контрольных примерах (тестах), достаточных для подтверждения соответствия каждому из требований, предъявляемых ТЗ к комплексу, и позволяют сделать вывод о его эксплуатационной пригодности. В контрольных примерах (тестах) следует предусмотреть и пересечения требований. |
Комплекс считается выдержавшим испытание, если ..............
7 Отчетность
7.1 Заданные и фактические данные, полученные при испытаниях по каждому пункту программы, оформляются протоколами, представляемыми на заседание комиссии. Типовая форма протокола испытаний приведена в приложении В.
В согласованных случаях допускается оформлять одним протоколом данные, полученные при испытаниях по нескольким пунктам программы.
7.2 По результатам испытаний в течение 3 дней комиссией составляется акт испытаний.
Акт испытаний должен содержать:
подтверждение выполнения программы испытаний;
оценку результатов испытаний с конкретными точными формулировками, отражающими соответствие испытуемого комплекса требованиям ТЗ;
выводы по результатам испытаний;
заключение о возможности предъявления комплекса на следующий этап испытаний (возможности тиражирования и реализации комплекса*(16));
К акту прилагаются протоколы испытаний по пунктам программы.
7.3 Первичные материалы испытаний хранятся на предприятии "______" в течение 10 лет со дня окончания испытаний.
7.4 Отчетная документация рассылается в следующие адреса: Федеральное агентство по науке и инновациям;
_________________;
....
_________________.
______________________________
*(1) Поле оформляется только для государственных приемочных испытаний.
*(2) Поле оформляется для проектов, в контрактах которых предусмотрен конкретный потребитель разрабатываемой документации, в том числе Инициатор проекта в рамках мероприятий 2.7 и 3.2 по тематике, предложенной бизнес-сообществом.
*(3) Вместо символов XXX... указывают обозначение, присвоенное данному документу.
*(4) При необходимости последовательного выпуска нескольких ПМ (напр., для испытаний макетов, предварительных и приемочных испытаний) их обозначают ПМ, ПМ01, ПМ02 и т.д.
*(5) Для исследовательских испытаний по ГОСТ 16504
*(6) Для ПМ предварительных испытаний
*(7) Для ПМ государственных приемочных испытаний
*(8) Устройство или материал, который выступает в качестве носителя программы в виде объектного или исходного кода: например, листинг программ, дискета, магнитные диск или лента и т.п.
*(9) Для государственных приемочных испытаний
*(10) Средства верификации, испытательное оборудование, программные средства поддержки, инструкции по применению этих вспомогательных программных средств и испытательного оборудования.
*(11) Если иное не оговорено в разделах 4 и 6 ПМ.
*(12) Состав граф 4, 5 и 6 может уточняться в зависимости от формы задания требований в ТЗ.
*(13) Текст для предварительных испытаний и испытаний более ранних стадий. Текст этого абзаца для государственных приемочных испытаний: "Контроль полноты, достоверности и объективности хода и результатов государственных приёмочных испытаний, полноты информации, соблюдения сроков испытаний и документальное оформление их результатов осуществляет комиссия по приёмке работ, назначенная Федеральным агентством по науке и инновациям".
*(14) Текст для государственных приёмочных испытаний: "комиссией".
*(15) Методики испытаний, применяемые для определения соответствия комплекса обязательным требованиям, если они не являются типовыми стандартизованными методиками, должны быть аттестованы в установленном порядке и согласованы с соответствующими органами государственного надзора (п. 6.5.7 ГОСТ Р 15.201-2000).
Для определения показателей (характеристик), которые не могут быть определены прямым или косвенным измерением методики должны содержать:
- формулы расчета в конечном виде (без выводов) с объяснением символов, обозначений я коэффициентов.
- номограммы, диаграммы, графики зависимости отдельных параметров комплекса от состояния - внешней среды, других параметров; способы оценки качественной характеристики.
*(16) По результатам государственных приемочных испытаний
Приложение А
к программе и методикам испытаний ПО
к программе и методикам испытаний ПО
Пример |