3.3 План модульного тестирования

3.4 Тестирование

3.4.2 Отладка программы

В ходе отладки вычислений в точке с координатами х=1021.95444572,у=0.0005 была обнаружена ошибка деления на ноль (Рисунок 9).

Рисунок 9 - Исходный код программы. Подсвечена ошибка деления на ноль

Структурное тестирование программы предполагает знание исходного текста программы, либо спецификации программы в виде потокового графа управления.

Рассмотрим основные особенности потокового графа:

1. Граф строится отображением управляющей структуры программы. В ходе отображения закрывающие скобки условных операторов и операторов циклов (end if; end loop) рассматриваются как отдельные (фиктивные) операторы.

2. Узлы (вершины) потокового графа соответствуют линейным участкам программы, включают один или несколько операторов программы.

3. Дуги потокового графа отображают поток управления в программе (передачи управления между операторами). Дуга -- это ориентированное ребро.

4. Различают операторные и предикатные узлы. Из операторного узла выходит одна дуга, а из предикатного -- две дуги.

4. Предикатные узлы соответствуют простым условиям в программе. Составное условие программы отображается в несколько предикатных узлов. Составным называют условие, в котором используется одна или несколько булевых операций (OR, AND).

При структурном тестировании программы используются так называемые структурные критерии, которые базируются на основных элементах графа управления программы: операторах, ветвях и путях.

Рассматривают 3 группы критериев:

- Тестирующие команды.

- Тестирующие ветви.

- Тестирующие пути.

Пусть вершина управляющего графа (уграфа) имеет три исходящих дуги, помеченных предикатами P1(X), P2(X), P3(X), как на рисунке 10.

Рисунок 10 -Граф управления

Таблица 4 -План структурного тестирования

Структурный анализ управляющих графов программ предполагает, что все объекты, из которых они составлены, прошли автономное тестирование и получили сертификат качества. Это означает, что каждый объект с заданной доверительной вероятностью не содержит ошибок в пределах своей области определения.

Существует два пути возникновения ошибок:

- Неверно составлены предикаты.

- Неверно организовано управление (неправильный граф программы).

Ошибки неверного употребления данных или организации межмодульного информационного интерфейса в технологии ГСП маловероятны, так как неправильное употребление данных должно быть установлено еще на этапе тестирования акторов, а при автоматической организации межмодульного информационного интерфейса ошибки такого рода исключены.

Значит, при тестировании в технологии ГСП необходимо проверять корректность графа управления вычислительным процессом, а также полноту и непротиворечивость используемых предикатов.

Рассмотрим условия ситуации естественного развития как частный случай некорректности графа управления.

Естественное развитие - запланированный режим работы вершины

ветвления. В данном случае производится проверка на существование

данных при которых управление переда?тся по одному из

перечисленных направлений. В данном случае это

Формальная модель анализа уграфа программы основывается на исчислении предикатов первого порядка с сигнатурой, включающей отношения порядка. Это означает, что при построении предикатов используются алгебраические выражения, содержащие отношения порядка (<, >, =, ><, <=, >=).

При переходе от логических функций к множествам логические функции естественным образом заменяются на теоретико-множественные операции пересечения, объединения и дополнения. Поскольку предлагаемая формальная модель анализа уграфов

основывается на теоретико-множественном анализе, то все логические выражения необходимо заменить на соответствующие операции на множествами.

Алгоритм метода структурного тестирования управляющих графов программы:

1. Записать исходное логическое выражение (проверяемый предикат).

2. Представить исходный предикат посредством базовых предикатов.

3. Заменить логические операции на теоретико-множественные.

4. Ввести индикаторные функции.

5. Записать решающую функцию для заданного в пункте 3 множества.

6. Для нахождения значений истинности сложного логического выражения применяется алгоритм оптимизации функции многих переменных, а задачу тестирования структуры программы сводится к оптимизационной задаче поиска минимума.

7. Если минимум функции меньше единицы, то логическое выражение выполняется хотя бы на одном наборе данных.

Построим теперь решающую функцию. Пусть задана система линейных уравнений:

Необходимо проверить ситуацию естественного развития для первого направления

Ситуация естественного развития для первого направления описывается следующим логическим условием:

Предположим, существует такой Х, что вышеприведенная формула истинна, тогда истинны в отдельности предикаты и , т.е.:

Тогда условие естественного развития для первого направления будет иметь следующий вид:

Пусть:

Тогда, используя теоретико-множественные операции, можно представить данное условие в виде:

Построим решающую функцию для выражений , , введя индикаторные функции:

Рассчитаем данную модель в пакете Matlab. На рисунке 11 представлено изображение решающей функции в виде изолиний.

Рисунок 11 -- Изолинии решающей функции

Из рисунка 2 видно, что существует большое количество точек, для которых решающая функция меньше 1. Следовательно, запирания первого направления нет.

4.4 Результаты структурного тестирования

В результате тестирования была изучена формальная модель структурного тестирования с использованием решающей функции. Решающая функция обеспечивает возможность нахождения ошибочных ситуаций с использованием алгоритмов оптимизации. Это гарантирует эффективность данного подхода. Найден вектор значений, удовлетворяющий данной ситуации.

Аналогичным образом проводится исследование ситуаций естественного развития, тупика и конкуренции для каждой вершины графа. Результаты структурного тестирования сведены в таблицу ниже.

Таблица 5 -Результаты структурного тестирования

Для построения множества маршрутов в технологии ГСП применяется алгоритм частичного перебора маршрутов (АЧП). Проверка корректности схем маршрутов логически завершает структурное тестирование агрегатов ГСП и сводится к анализу всех его вычислительных маршрутов. Анализу вычислительных маршрутов предшествует проверка корректности организации ветвлений в вершинах уграфа агрегата. В целом о корректности агрегата судят исходя из полноты покрытия тестами проверяемых маршрутов, т.е. по количеству проверенных маршрутов. Отбор конечного числа тестов, используемых при тестировании ПП, обычно основывается на наборе правил, следуя которым производится анализ полноты тестирования. В целом набор правил формирует критерий полноты тестирования. Определение подходящего для тестируемой системы критерия полноты является одной из важнейших задач, которую необходимо решать при организации тестирования. Чаще всего критерий полноты использует разбиение всех ситуаций, в которых система должна работать, на классы эквивалентности, интуитивно предполагая, что в эквивалентных ситуациях система работает примерно одинаково. И как следствие, либо в обоих случаях присутствует ошибка, либо, наоборот - ошибки нет. Такие критерии полноты называются критериями тестового покрытия, а полнота тестирования с их помощью измеряется как достигнутое тестовое покрытие -- процент классов эквивалентных ситуаций, используемых в ходе тестирования, по отношению к числу всех классов. Данная метрика основана на простой эвристике -- чем больше неэквивалентных, «существенно различающихся» ситуаций проверено, тем полнее было тестирование, и тем лучше оно отражает реальное качество системы. Предположения, на основании которых выбираются критерии покрытия, могут иметь различную природу. Однако следует помнить, что основу структурного тестирования, ее базу, составляют методы проверки корректности выделенных маршрутов. Изучению этих методов и посвящена данная лабораторная работа.

Алгоритм частичного перебора схем маршрутов

Введем понятие свободных вершин графа. Свободными вершинами графа G относительно схемы маршрута S будем называть вершины графа, не содержащиеся в схеме маршрута S, т.е. L(S) = V(G)\V(S) , где V(G) и V(S) - соответственно вершины графа и схемы маршрута.

Алгоритм частичного перебора использует следующие правила:

1. Вершины графа кодируются символами упорядоченного множества любым способом, но так, чтобы корневая вершина имела наименьший код, а концевые - наибольшие значения.

2. На каждом шаге работы алгоритма для текущего состояния схемы маршрута Si ищется путь на орграфе перехода из последней вершины Si в любую свободную вершину схемы Si.

3. Если переход возможен, то схема маршрута Ї “расширяется” на один символ.

4. Если переход невозможен, то рассматривается следующая вершина списка свободных вершин и так до тех пор, пока не кончится список вершин.

5. Если переход из текущей вершины в любую из свободных вершин (не содержащихся в схеме маршрута) невозможен, то происходит Ї “откат” по схеме маршрута на один символ назад.

6. При достижении концевой вершины алгоритм Ї “откатывает” на один символ назад.

7. Алгоритм завершает свою работу, если список свободных вершин корневой вершины исчерпан.

5.2 Постановка задачи структурного тестирования маршрутов

Схемы маршрутов для данного агрегата

При использовании алгоритма частичного перебора были построено 8 схем маршрутов, на их основе составлен план структурного тестирования.Таблица 6 - План структурного тестирования маршрутов

Рассмотрим процесс тестирования маршрутов на примере маршрута 0,2,3,4,6,9,17.

Если учесть, что при проверке вершин ветвлений на стандартный набор ошибочных ситуаций (тупиков, конкуренций, естественного развития), была уже оттестирована каждая из вершин уграфа, то условие реализации маршрута можно записать в виде:

= (1)

В дальнейшем исследование выражения (1) с технической точки зрения ничем не отличается от использования «решающей» функции для тестирования вершин ветвления уграфа. Для (1) строится «решающая» функция F(X) . Задача проверки маршрута M сводится к оптимизационной задаче Xmin = arg minX F(X).

Если F (Xmin) , то существуют такие сочетания данных предметной области, на которых реализуется тестируемый маршрут. Иначе маршрут не реализуем, и следует организовать поиск ошибки в тестируемой программе.

Следующий шаг - построение решающей функции.

Успешное прохождение по вышеприведенному маршруту выражается следующим предикатом:

Представим выражение через базовые предикаты:

(2)

(3)

Построим поэтапно решающую функцию для выражения (3):

1)

2)

3)

4)

5)

6)

Исследуем итоговую решающую функцию - для этого произведем оптимизацию этой функции методом деформированных многогранников. Ниже представлены минимальные значения функции с точками, в которых они найдены.

При нескольких экспериментах с различными начальными условиями получилось несколько точек, минимум функций в которых примерно равен единице, например:

В результате оптимизации решающей функции было найдено решение X* = (-1.0757, 1.5126, -0.7090, 0.1108), причем F(X*) = 1, что подтверждает работоспособность алгоритма. На рисунках 2 и 3 в окрестностях найденной точки построены графики решающей функции.

Рисунок 11 - График «решающей функции» F(X)

Рисунок 12 - Изолинии «решающей функции» F(X)

Аналогичным образом исследуется каждый из маршрутов предложенного алгоритма решения кубического уравнения. В результате исследований доказывается реализуемость или нереализуемость маршрутов.

5.4 Результаты структурного тестирования маршрутов

«Решающая функция» обеспечивает возможность нахождения ошибочных ситуаций с использованием алгоритмов оптимизации. Это гарантирует эффективность данного подхода. Результаты тестирования маршрутов с использованием «решающей функции» сведены в таблицу.

Таблица 7 - Результаты структурного тестирования маршрутов

В целом, комплексное тестирование данной программы завершено с положительным результатом. В исследуемой программе обнаружены ошибки, однако их влияние на работу программы невелико, так как проявляются они приблизительно в 3-7% случаев.

В ходе выполнения первого этапа - модульного тестирования - в модуле dZ была выявлена ошибка деления на ноль, возникающая при значениях координаты X, близких к 1021.95444572. Данная ошибка относится к классу ошибок способа обработки аргументов. Возможной причиной ошибки является недостаточная проработка алгоритма, в частности, упущена обработка исключительного случая.

Вторым этапом было проведено структурное тестирование. При исследовании ситуаций тупика из вида изолиний решающих функций можно сделать вывод, что не существует точек, решающая функция для которых будет меньше 1, т.е. ситуация тупика не возникает ни для одного из вершин графа программы. Исследование ситуации естественного развития для вершин графа позволяет заключить, что она наблюдается для каждого модуля, прошедшего тестирование. Однако результаты исследования ситуации конкуренции оказались не такими радужными - для двух вершин был обнаружен конфликт. А значит, исходное предикативное предположение о наличии конкуренции в программе верно, то есть для заданных условий программа работает с ошибками в случаях, описанных указанным тестом.

В ходе выполнения структурного тестирования маршрутов было установлено, что для одного из исследуемых маршрутов существуют такие сочетания данных предметной области, на которых маршрут не реализуется.

Размещено на Allbest.ru