Программ

Средства для испытаний и определения характеристик сложных комплексов

Для обеспечения высокого качества крупных комплексов программ необходимы соответствующие проблемно-ориентированные интегрированные системы автоматизации тестирования, способные достаточно полно заменить испытания программ с реальными объектами внешней среды. При этом высокая стоимость и риск испытаний с реальными объектами почти всегда оправдывают значительные затраты на такие интегрированные системы, если предстоят испытания критических ПС с высокими требованиями к качеству функционирования программ, с длительным жизненным циклом и множеством развивающихся версий. Инструмен-

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

шальные средства автоматизации процессов тестирования и испытаний программ должны обеспечивать:

— определение тестов — реализацию процесса тестирования разработчиком: ввод тестовых наборов; генерацию тестовых данных; ввод ожидаемых, эталонных результатов;

— выполнение участка тестируемой программы между контрольными точками, для которого средство тестирования может перехватить операторский ввод (клавиатуры, мыши и т.д.) и для которого вводимые данные могут быть отредактированы и включены в последующие тестовые наборы;

— управление тестами и участком программы, для которого средство тестирования может автоматически выполнять тестовые наборы;

— анализ и обработку тестовых результатов — возможность средства тестирования автоматически анализировать тестовые результаты: сравнение ожидаемых и реальных результатов; сравнение файлов; статистическую обработку результатов;

— анализ покрытия тестами исходного кода для обнаружения: операторов, которые не были выполнены; процедур, которые не были вызваны; переменных, к которым не были обращения;

— анализ производительности программы, когда она исполняется: загрузку центрального процессора; загрузку памяти; обращения к специфицированным элементам данных и/или сегментам кода; временные характеристики функционирования испытываемой программы;

— моделирование внешней среды — поддержку процесса тестирования с помощью модели имитации данных из внешних для ПС компонентов информационной системы.

При создании генераторов тестов внешней среды применяется два принципиально различающихся подхода, которые условно можно назвать интегральным и дифференциальным. При интегральном или эмпирико-статистическом подходе основой является формальное описание входной и выходной информации имитируемого объекта, а также функциональной связи между данными на его входе и выходе. При этом структура объекта и процессы, реализующиеся при реальном функционировании его компонентов, не имеют значения и не моделируются. Исходные данные и характеристики для построения таких генераторов тестов получаются в натурных экспериментах или при исследовании более детальных — дифференциальных моделей.

14.3. Средства для испытаний и определения характеристик сложных комплексов...

Дифференциальные или имитационные модели генераторов тестов базируются на описаниях внутренних процессов функционирования компонентов объекта моделирования, его структуры и взаимодействия составляющих. Результаты функционирования таких моделей определяются адекватностью знаний о компонентах и их характеристиках, а также об их взаимосвязях. Для этого необходимы достаточно подробные сведения о всех процессах функционирования компонентов объектов внешней среды, которые, в свою очередь, могут потребовать еще более глубокого моделирования их составляющих.

В отличие от натурного эксперимента моделирование внешней среды и тестов на ЭВМ имеет большие возможности контроля как исходных данных, так и всех промежуточных и выходных результатов функционирования испытываемого объекта. В реальных системах ряд компонентов иногда оказывается недоступным для контроля их состояния, так как либо невозможно поместить измерители контролируемых сигналов в реальные подсистемы, подлежащие тестированию, либо это сопряжено с изменением характеристик самого анализируемого объекта. Преимуществом моделирования внешней среды на ЭВМ является также повторяемость результатов функционирования и возможность исследования большого количества вариантов и сценариев тестирования. В отличие от этого натурные эксперименты зачастую невозможно остановить на некоторой промежуточной фазе или повторить с абсолютно теми же исходными данными. Программная имитация внешней среды на ЭВМ позволяет:

— проводить длительное непрерывное генерирование имитируемых данных для определения характеристик качества функционирования ПС в широком диапазоне изменения условий и параметров, что зачастую невозможно при использовании реальных объектов;

— расширять диапазоны характеристик имитируемых объектов за пределы реально существующих или доступных источников данных, а также генерировать потоки информации, отражающие перспективные характеристики создаваемых информационных систем и объектов внешней среды;

— создавать тестовые данные, соответствующие критическим или опасным ситуациям функционирования объектов внешней среды, которые невозможно или рискованно реализовать при натурных экспериментах;

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

— обеспечивать высокую повторяемость имитируемых данных при заданных условиях их генерации и возможность прекращения или приостановки имитации на любых фазах моделирования внешней среды.

Одними из наиболее сложных и дорогих имитаторов внешней среды, применяемых для испытаний комплексов программ, являются модели: полета космических аппаратов; диспетчерских пунктов управления воздушным движением; объектов систем противовоздушной обороны; сложных административных систем. Подобные моделирующие испытательные стенды (МИС) проблемно-ориентированы и объем программ, моделирующих в них внешнюю среду, может даже значительно превышать объемы соответствующих испытываемых ПС. Для их реализации выделяются достаточно мощные универсальные моделирующие ЭВМ (рис. 14.3). Кроме того, для автоматизации разработки программ могут использоваться отдельные специализированные, технологические ЭВМ, что в совокупности образует инструментальную базу для обеспечения всего ЖЦ сложных комплексов программ реального времени на объектных реализующих ЭВМ.

Имитация конкретных тестов с реальными характеристиками, адекватными объектам внешней среды, является основной частью типовых моделирующих стендов. В соответствии с полной номенклатурой и реальными характеристиками объектов создаются их интегральные или дифференциальные модели. Выбор типов моделей зависит от глубины знаний об алгоритмах функционирования объектов, характеристиках их компонентов и обобщенных параметрах работы объекта в целом. Кроме того, существенным для выбора типов моделей является длительность расчета имитированных данных и обеспечение возможности проводить полную имитацию внешней среды на моделирующей ЭВМ в реальном времени с учетом затрат времени на обработку результатов.

При затруднениях реализации реального масштаба времени при имеющейся производительности ЭВМ следует выделять модели объектов, на которые отсутствуют воздействия обратной связи от испытываемого ПС. Для таких объектов возможно основную часть имитации производить предварительно вне реального времени с регистрацией у каждого тестового сообщения значений реального времени, когда его следует выдать на обработку ПС. Модели объектов, результаты которых зависят от функционирования испытываемого ПС, иногда можно упрощать путем выделения алгоритма реализации обратной связи в реальном времени и дополнения

14.3. Средства для испытаний и определения характеристик сложных комплексов...

этими поправками основной части тестов, подготовленных вне реального времени.

Тексты программ