Разработка программно–алгоритмических средств для определения надёжности программного обеспечения на основании моделирования работы системы типа "клиент–сервер"

На практике чаще встречаются ситуации смешанного типа. Для такого ПО и напишем уравнения. Эта модель применима для ПО, которое состоит из элементов-модулей разного типа: немногочисленных (уникальных) (например, в архитектуре клиент-сервер это - сервер) и многочисленных (в архитектуре клиент-сервер это - клиенты), причем состояния тех и других взаимообусловлены.

В этом случае для модулей первого типа можно составить дифференциальные уравнения, в которых неизвестными функциями являются вероятности состояний. Для модулей же второго типа - средние численности состояний. Такие уравнения будем называть уравнениями смешанного типа.

Рассмотрим ПО S, состоящее из большого количества N одинаковых клиентских программ и одного сервера, который координирует работу всех клиентских программ. Как сервер, так и отдельные клиенты могут отказывать (зависать). Интенсивность потока отказов сервера зависит от числа x работающих программ-клиентов (то есть фактически зависит от интенсивности входных данных и их диапазона):

(19)

Интенсивность потока неисправностей каждого модуля-клиента при работающем сервере равна ` (см. (14)).

Среднее время устранения ошибки в сервере, учитывая сложность сервера, больше чем среднее время устранения ошибки в клиенте:

,(20)

где 0 - скорость устранения ошибок в клиенте (скорость исправления ошибки программистом), S - коэффициент сложности сервера.

Опишем процесс, протекающий в ПО, с помощью уравнений смешанного типа, в которых неизвестными функциями будут:

вероятности состояний сервера;

средние численности состояний клиентов.

Рисунок 16 - Граф смешанной системы

Опишем нашу систему при помощи графа, показанного на рис.16. Этот граф распадается на два подграфа. Первый (верхний) - это подграф состояний сервера, который может быть в одном из двух состояний:

C(t) - работает;

С'(t) - не работает (ошибка обнаружена и исправляется).

Что же касается программы-клиента, то для нее мы учитываем возможность находиться в одном из трех состояний:

П1С(t) - клиент работает при работающем сервере;

П2С(t) - клиент не работает при работающем сервере;

П2С'(t) - клиент не работает при не работающем сервере;

Состояние сервера характеризуется в момент времени t одним из событий C(t) и C'(t). Вероятности этих событий обозначим через p(t) и p'(t) = 1 - p(t), а численности состояний П1С(t), П2С(t) и П2С'(t) соответственно: X1С(t), X2С(t) и X2С'(t).

Соответствующие математические ожидания обозначим как:

(21)

Очевидно, для любого момента времени t:

(22)

где N - число клиентов, работающих с сервером.

Определим интенсивности потоков событий для графа (см. рис. 16). Прежде всего, по условию задачи (19):

(23)

Из (20) следует:

(24)

Далее, программа-клиент переходит из состояния П1С(t) в состояние П2С'(t) не сама по себе, а только вместе и одновременно с сервером (когда тот зависает). Поэтому:

(25)

Аналогично:

(26)

Для остальных переходов не трудно установить соответствующие интенсивности, если учесть тот факт, что второй (нижний) подграф отличается от рассмотренного ранее (см. рис. 14) только наличием еще одного состояния П2С', когда клиентская программа простаивает на время исправления ошибки в программе-сервере. С учетом этого имеем:

(27)

(28)

(29)

Напишем для графа (см. рис. 16) дифференциальные уравнения смешанного типа, приближенно описывающие нашу систему (аргумент t для краткости записи опущен):

(30)

где:

Отметим, что, положив в (30) все левые части равными 0, можно найти решение для стационарного режима, а он существует, так как система эргодическая.

Заметим, что из этой системы уравнений можно исключить два уравнения: одно из первых двух, пользуясь уравнением p + p' = 1, и одно - из последующих трех, пользуясь соотношением нормировки (22).

Эти уравнения решаются при условии, что в начале сервер и все программы-клиенты работают: t = 0; p = 1; p' = 0; ; (31)

В случае, если важно исследовать, скажем, как быстро система восстанавливается при выходе из строя сервера, то начальные условия нужно выбрать другими: t = 0; p = 0; p' = 1; ; , (32)

3. Экспериментальная часть

3.1 Обоснование выбранного метода реализации

Основной проблемой нахождения надежности ПО при помощи моделей надежности является необходимость знать начальное количество ошибок в ПО. Эту величину определить достаточно трудно (практически не возможно).

Поэтому одним из преимуществ предлагаемой модели по сравнению с другими является то, что в ней не используется предположение о начальном количестве ошибок N0 в ПО. Вместо нее используются достаточно просто измеряемые характеристики ПО, такие как интенсивность появления ошибок и интенсивность устранения ошибок. Хотя предложенная модель надежности и не использует эту величину, тем не менее, можно воспользоваться ее результатами для нахождения начального количества ошибок в программе N0 методом обратного расчета. Это позволит найти такие характеристики надежности ПО, как время наработки до отказа, его вероятность и время достижения нужной надежности при заданных начальных условиях.

3.2 Алгоритм функционирования программы

Программа написана в интегрированной среде разработки программ Delphi с применением объектно-ориентированного (ОО) подхода, который обеспечивает более быструю и компактную реализацию алгоритма.

При одном розыгрыше выполняются следующие шаги:

Разыгрывается размещение Er ошибок на ООД, распределенных на ней равномерно;

Для каждого из K клиентов разыгрывается в начале и только один раз mki и ki.

Далее итеративно (M раз подряд) с шагом t для каждого клиента:

Если клиент исправен, то он может обращается с запросами к серверу с интенсивностью обр. Вероятность обращения клиента к серверу равна . В случае обращения клиента к серверу разыгрывается случайная величина xi, распределенное по нормальному закону с параметрами mki и ki - входное данное для запроса к серверу. Область, занимаемая входными данными запроса от одного клиента к серверу на ООД, есть величина xi /2.

Если в интервал (xi /2) попадает хотя бы одна ошибка на ООД, то считается, что в клиенте обнаружена ошибка, и он выводится из эксплуатации для ее исправления одним из свободных программистов. Если свободных программистов нет, то неисправный клиент становится в очередь и ожидает, когда один из программистов освободится.

Если в запросе клиента к серверу ошибки нет, то этот запрос направляется серверу на обработку и ответа. При этом разыгрывается ответ от сервера клиенту аналогично 3а). Если в область (xi /2) попадает хотя бы одна ошибка из списка ошибок сервера, то считается, что в сервере произошла ошибка. В этом случае работа системы останавливается и все программисты пытаются исправить эту ошибку в сервере со скоростью испр каждый. Вероятность исправления ошибки одним программистом равна .

Если шаге 3b) в клиенте обнаружена на ошибка и есть свободный программист, то свободный программист пытается исправить ошибку в клиенте с вероятностью .

Если ошибка исправляется, то она удаляется из списка ошибок. Таким образом, эта ошибка уже не может возникнуть в других клиентах. При этом если есть клиенты, в которых была обнаружена такая же ошибка, то эти клиенты считаются тоже исправленными. При исправлении ошибки каждый программист может внести новую ошибку с вероятностью или pвнес. Причем, если программист внес ошибку в программу, то он может внести туда еще одну ошибку с вероятностью равной квадрату вероятности внесения предыдущей ошибки. Вновь внесенные ошибки вносятся в список ошибок. При этом эти новые ошибки не считаются обнаруженными в клиенте или сервере, то есть если обнаруженная ошибка исправляется, то клиент или сервер считается исправленными даже, если при этом были сделаны новые ошибки.

За один временной такт t разыгрывается сценарий обмена данными для всех работающих на этот момент времени клиентов. Для неисправных клиентов или неисправного сервера разыгрывается вероятностный процесс исправления ошибки в них.

В результате разыгрывается M итераций согласно п. 3, и получаем одну реализацию случайных функций , , и (согласно 3а) на временном интервале M*t.

Испытания проводим еще R раз и таким образом получаем R реализаций случайных функций , , и . Для каждого момента времени tj (для j = 1, … M) с шагом t находим статистическое среднее для этих функций и получаем средние функции , , и .

Также в процессе розыгрыша производится:

Расчет текущего времени наработки до отказа;

Расчет среднего времени наработки до отказа за все время розыгрыша;

Расчет вероятности отказа ПО в единицу времени как P = (< объем запроса >*< количество ошибок в клиентах и сервере > х (< количество работающих клиентов > + 1)*< интенсивность обращения >*< шаг итерации по времени >;

Расчет коэффициента готовности: Кг = 1 - < время простоя всей программы > / < время работы >

Программа предупреждает, если задается интенсивность такая, что на интервал времени t приходится больше одного события (т.е t* должно быть меньше единицы) - для соблюдения условия ординарности потока событий.

3.3 Практические результаты моделирования

3.3.1 Оценка времени, необходимого для уменьшения количества ошибок до расчетного уровня.

Найдем время необходимое для уменьшения количества ошибок в 2 раза. Пусть (рис.17):

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,0001;

N0 (начальное количество ошибок) = 100;

s (сложность сервера) = 2;

t (шаг итерации) = 0,001 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 100/сутки;

испр (интенсивность потока исправления ошибки) = 0,2/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,005

M (количество итераций) = 200000;

Общее время розыгрыша: 200 (сутки);

К (число розыгрышей) =5.

По формуле (27) получаем: дня, что является очень оптимистичной оценкой. Для этой модели надежности Джелински, Моранда, Шумана получаем лет, что явно сильно завышено. Программное моделирование дает результат T1/2 = 135 суток (рис.18).



Рисунок 17 - Форма для ввода начальных параметров розыгрыша

Рисунок 18 - Форма с результатами моделирования

3.3.2 Влияние количества клиентов на надежность ПО

Изучим влияние количества программ-клиентов на поведение ПО.

Сначала проведем моделирование при следующих условиях:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,00001;

N0 (начальное количество ошибок) = 250;

s (сложность сервера) = 2;

t (шаг итерации) = 0,002 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 500/сутки;

испр (интенсивность потока исправления ошибки) = 1/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,1/сутки

M (количество итераций) = 50000;

Общее время розыгрыша: 100 (сутки);

К (число розыгрышей) =50

Получены следующие результаты (рис.19):

Рисунок 19 - Влияние количества клиентов на надежность ПО (10 клиентов)

Из рисунка видно, что ПО начнет устойчиво работать (т.е. количество работающих клиентов сравняется с количеством неработающих клиентов) на 15 сутки, что хорошо согласуется с расчетной моделью. Теперь увеличим количество клиентов с 10 до 100:

K (кол-во программ-клиентов) = 100;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,00001;

N0 (начальное количество ошибок) = 250;

s (сложность сервера) = 2;

t (шаг итерации) = 0,002 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 500/сутки;

испр (интенсивность потока исправления ошибки) = 1/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,1/сутки

M (количество итераций) = 85000;

Общее время розыгрыша: 170 (сутки);

К (число розыгрышей) =50

Видно, что на 170 сутки почти все ошибки исправлены (рис.20). Это происходит из-за того, что клиентов больше и их запросы охватывают большую область данных и, следовательно, обнаруживается большее количество ошибок и большее количество ошибок исправляется.

При десяти клиентах (рис.19) в ПО на 170 сутки еще будет оставаться около 50 ошибок.

Рисунок 20 - Влияние количества клиентов на надежность ПО (100 клиентов)

3.3.3 Влияние количества программистов на надежность ПО

Теперь покажем, что при малой нагрузке на сервер (малом количестве клиентских программ) увеличение количества программистов, исправляющих ошибки, дает малый эффект. Количество неисправленных ошибок к концу тестирования остается таким же. Уменьшается только время ожидания программы исправления в очереди.

Начальные условия розыгрыша:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 12;

(ширина запроса клиента) = 0,00001;

N0 (начальное количество ошибок) = 250;

s (сложность сервера) = 2;

t (шаг итерации) = 0,002 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 500/сутки;

испр (интенсивность потока исправления ошибки) = 1/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,1/сутки

M (количество итераций) = 50000;

Общее время розыгрыша: 100 (сутки);

К (число розыгрышей) =50

Рисунок 21 - Влияние количества программистов на надежность ПО

Видно (рис.21), что программа начнет устойчиво работать, как и раньше, только на 10-15 сутки, то есть увеличение количества программистов не приводит к ожидаемому эффекту, и часть программистов, скорее всего, будет простаивать.

Гораздо эффективнее в этой ситуации увеличивать нагрузку при тестировании. Например, увеличивая количество клиентов.

Увеличение количества программистов может оказать даже отрицательное влияние на надежность ПО, если при устранении ошибок в ПО они интенсивно вносят в него новые ошибки. Пусть при 12 программистах каждый из них вносит ошибку с интенсивностью 0,6 вместо 0,1 ошибок в сутки.

Начальные условия розыгрыша:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 12;

(ширина запроса клиента) = 0,00001;

N0 (начальное количество ошибок) = 250;

s (сложность сервера) = 2;

t (шаг итерации) = 0,002 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 500/сутки;

испр (интенсивность потока исправления ошибки) = 1/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,6/сутки

M (количество итераций) = 50000;

Общее время розыгрыша: 100 (сутки);

К (число розыгрышей) =50

Рисунок 22 - Влияние количества программистов на надежность ПО

Из рис.22 видно, что за 100 дней работы системы количество ошибок практически не уменьшилось.

3.3.4 Влияние интенсивности обращений клиентов к серверу

Увеличение интенсивности обращения каждого клиента к серверу не дает ожидаемого эффекта, т.к. каждый клиент обычно работает в своей узкой части ОД и выбивает ошибки из этой части, при этом значительная ОД остается не проверенной, а значит с ошибками. Проведем розыгрыш при увеличении интенсивности обращений с 500 до 2500 в сутки (рис.23).

Начальные условия розыгрыша:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,00001;

N0 (начальное количество ошибок) = 250;

s (сложность сервера) = 2;

t (шаг итерации) = 0,0004 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 2500/сутки;

испр (интенсивность потока исправления ошибки) = 1/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,1/сутки

M (количество итераций) = 250000;

Общее время розыгрыша: 100 (сутки);

К (число розыгрышей) =10

3.3.5 Определение начального количества ошибок в ПО

Данная модель в сочетание с предложенной марковской моделью надежности ПО позволяет оценить количество ошибок в программе следующим образом - получить расчетный результат, а затем подобрать начальное количество ошибок в ПО таким образом, чтобы результаты розыгрыша совпадали с результатом расчета.

Рисунок 23 - Влияние интенсивности обращений клиентов к серверу

Для решения этой задачи с помощью программы моделирования необходимо добиться того, чтобы начальная интенсивность потока ошибок 0 из модели надежности ПО типа клиент-сервер совпадала с начальной интенсивностью потока ошибок в программе моделирования. Напрямую это сделать невозможно, так как в программе моделирования такого параметра нет. Для этого в программе моделирования нужно положить = 0.5, то есть каждое обращение клиента к серверу и ответ сервера к клиенту должен с вероятностью 1 порождать ошибку. Затем необходимо добиться того, чтобы количество обращений за сутки клиентов к серверу (т.е. K*обр) было равно 0. Остальные начальные параметры программы моделирования необходимо положить равными аналогичным параметрам модели надежности.

Найдем начальное количество ошибок для примера рассмотренного ранее. Для того чтобы начальная интенсивность потока ошибок в программе моделирования была равна 0=10, положим = 0.5, а обр при 3-х программистах положим равной 3,3. Итак:

Начальные условия розыгрыша:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,5;

N0 (начальное количество ошибок) = 9;

s (сложность сервера) = 3;

t (шаг итерации) = 0,0001 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 3,3/сутки;

испр (интенсивность потока исправления ошибки) = 0,5/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0/сутки

M (количество итераций) = 100000;

Общее время розыгрыша: 10 (сутки);

К (число розыгрышей) =50

Рисунок 24 - Определение начального количества ошибок в ПО

Как видно из рис.24, при начальном количестве ошибок в программе равном 9 получили результат аналогичный полученному в модели, то есть клиенты начнут устойчиво работать на 4 сутки. Число 9 было получено методом подбора различных начальных значений количества Er ошибок в программе на начальный момент времени.

Таким образом, комбинируя модель и розыгрыш можно вычислить первоначальное количество ошибок в ПО и другие его характеристики.

3.3.6 Поиск начального количества ошибок в программе по начальной и конечной интенсивностям отказов

Наша модель позволяет решать обратную задачу, т. е. зная количество программистов, интенсивность их работы и интенсивность отказов в начале опытной эксплуатации и в конце опытной эксплуатации можно подобрать начальное количество ошибок в программе, совпадающее с ними.

Проведем такое исследование для периода опытной эксплуатации ПО и исследуем возможность передачи системы в промышленную эксплуатацию [25]. Известно, что ее обслуживает 3 программиста. Количество программ-клиентов - 10. Интенсивность отказов в начале опытной эксплуатации была 1 отказ в сутки. Через пол года работы получили интенсивность отказов - 1 отказ в месяц или 0,033 отказа в сутки. При этом объем одного запроса вычислим как отношение объема одного запроса к размеру всей базы данных. Он равен: = 0,01Кб/10000Кб = 0,000001. Попробуем методом подбора найти первоначальное количество ошибок такое, чтобы оно удовлетворяло начальным и конечным условиям задачи. С учетом того, что каждую минуту одна из программ-клиентов получает данные, получаем интенсивность обращения к серверу - 1500 обращений в сутки.

Розыгрыш показывает, что таким начальным и конечным условиям соответствует ПО с 20-25 ошибками в начале работы и 10-14 ошибок на 180 сутки и коэффициент готовности 0,9. Для розыгрыша:

Начальные условия розыгрыша:

K (кол-во программ-клиентов) = 10;

P (кол-во программистов) = 3;

(ширина запроса клиента) = 0,000001;

N0 (начальное количество ошибок) = 25;

s (сложность сервера) = 2;

t (шаг итерации) = 0,0005 (сутки);

обр (интенсивность потока обращений клиента к серверу) = 1500/сутки;

испр (интенсивность потока исправления ошибки) = 2/сутки;

pвнес (вероятность внесения ошибки при исправлении) = 0,1/сутки

M (количество итераций) = 360000;

Общее время розыгрыша: 180 (сутки);

К (число розыгрышей) =5

Был получен результат (рис.25).

Рисунок 25 - Поиск начального количества ошибок

Из полученных данных видно, что после 180 дней опытной эксплуатации в системе останется примерно 5 ошибок и коэффициент готовности будет более 0.95, а среднее время наработки на отказ будет более 20 суток. Это приемлемые значения для надежности такой системы и следовательно ее можно передавать в промышленную эксплуатацию.

Моделирование следующих 180 дней промышленной эксплуатации показывают, что за это время будет обнаружено и исправлено всего 3, 4 ошибки, а коэффициент готовности достигнет 0.99 и среднее время наработки до отказа будет около 60 дней (рис.26).

Рисунок 26 - Поиск начального количества ошибок

Для сравнения проведем розыгрыш для количества ошибок, равном 100 и неизменных остальных начальных условиях (рис.27).

Рисунок 27 - Поиск начального количества ошибок

Из полученных результатов видно, что к концу опытной эксплуатации программы с таким начальным количеством ошибок через 180 дней еще останется около 25 ошибок, коэффициент готовности - 0.9, а среднее время наработки до отказа - около 6 суток, что говорит о низкой надежности ПО, вследствие чего программа не готова к передаче в промышленную эксплуатацию и необходимо продлить ее опытную эксплуатацию еще на полгода.

Выводы

В ходе выполнения дипломной работы были изучены существующие модели надежности ПО и методы разработки качественного (прежде всего надежного, Кг > 0,999) ПО в условиях ограниченных ресурсов. На основе проведенного аналитического обзора современного состояния дел было выяснено, что на данный момент отсутствует общее решение проблемы надежности ПО, а есть множество частных решений, которые не учитывают такие существенные факторы, как интенсивность внесения и устранения ошибок в программе, время разработки ПО. Кроме того, влияние объема и сложности текста программ на надежность ПО в настоящее время непрерывно уменьшается. Таким образом, ни одну из существующих моделей нельзя считать достаточной для оценки надежности ПО малого и среднего объема (до 100 тысяч строк) из-за неопределенности их входных параметров, таких как начальное количество ошибок в ПО, количество ветвлений, циклов и т.п.

В ходе выполнения работы была создана новая математическая модель надежности ПО на основе марковских систем массового обслуживания, позволяющая проводить расчет характеристик надежности ПО.

Предлагаемая модель является более простой по отношению к рассмотренным. Основным ее преимуществом является отсутствие в ней начального количества ошибок в ПО.

Основным практическим результатом работы является программа для прогнозирования поведения надежности ПО со временем, основанная на методе Монте-Карло и предложенной модели надежности ПО. Сочетание двух подходов - марковской модели надежности ПО и прогнозирования при помощи метода Монте-Карло - позволяет более точно и более всесторонне оценить характеристики надежности ПО. Работа модели показана на конкретных примерах. Полученные результаты хорошо согласуются с результатами, полученными на практике.

Таким образом, созданная программа моделирования позволяет, задавая различные начальные условия, наблюдать поведение надежности ПО во времени. Это позволяет использовать ее для решения оптимизационных задач (например, поиска оптимальных ресурсов для достижения заданного уровня надежности, оптимальной интенсивности тестирования при заданных характеристиках клиент-сервера и количестве программистов). В частности, это позволяет найти начальное количество ошибок в ПО.

Таким образом, модель и программу моделирования можно рекомендовать использовать при разработке и сопровождении ПО, когда уровень надежности должен быть высоким, а достигнуть и подтвердить его не просто.

Список использованных источников

1. А.В. Антонов, А.С. Степанянц. Методы анализа надежности (безошибочности) программного обеспечения программно-технических средств //Труды ІІ Междунар. конф. "Идентификация систем и задачи управления" (SICPRO-2003). - С.924-942.

2. Ханджян А.О. Анализ современного состояния разработки надежного программного обеспечения //Естественные и технические науки. - М., 2005. - №2. - С. 220 - 227.

3. Лисс В.А. Математические модели надежности программного обеспечения распределенных систем //Известия СПбГТУ "ЛЭТИ". Сер. "Информатика, управление и компьютерные технологии". - 2005. - Вып.2. - С.26-32.

4. В.Г. Промыслов, А.В. Антонов, С.И. Масолкин, А.С. Степанянц. Оценка надежности программного обеспечения на различных этапах жизненного цикла сложных программ // Труды V Междунар. конф. "Идентификация систем и задачи управления" (SICPRO-2006). - С.1300-1304.

5. Шураков В. В. Надежность программного обеспечения систем обработки данных: Учебник.-- 2-е изд., перераб. и доп.-- М.: Финансы и статистика, 1987.--272 с.: ил.

6. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению. - 12 с.

7. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. - М.: Госком. СССР по стандартам - 38 с.

8. Соммервилл И. Инженерия программного обеспечения. - М.: Вильямс, 2002. - 624 с.

9. Larson D., Miller K. Silver Bullets for Little Monsters: Making Software More Trustworthy, IEEE IT Pro, March/April 2005 (русская версия: Ларсон Д., Миллер К. Серебряные пули для маленьких монстров //Открытые системы №5-6, 2005 С.20 - 23)

10. ISO/IEC 91261:1998. Информационная технология. - Характеристики и метрики качества программного обеспечения. - Часть 1: Характеристики и подхарактеристики качества.

11. Майерс Г. Надежность программного обеспечения. - М.: Мир, 1980. - 360 с.

12. Гаспер Б.С. Надежность функционирования автоматизированных систем. - Пермь: ПГТУ, 1999. - 70 с.

13. Иыуду К.А. Надежность, контроль и диагностика вычислительных машин и систем. - М.: Высшая школа, 1989. - 320 с.

14. Липаев В.В. Функциональная безопасность программных средств. - М.: СИНТЕГ, 2004. - 340 с.

15. Vincent J., Waters A., Sinclair J. Software quality assurance. Vol II. A programmer guide. - Englewood Cliff, New Yersey: Prentice-Hall. - 1988. - 192 p.

16. Тейер Т., Липов М., Нельсон Э. Надежность ПО. - М.: Мир, 1981. - 328 с.

17. Международный стандарт. МЭК 60880-2. Программное обеспечение компьютеров в системах важных для безопасности атомных электростанций. - IEC. М.: 2002. - 90 с.

18. Кулаков А.Ф. Оценка качества программы ЭВМ. - К.: Техника, 1984. - 168 с.

19. Липаев В.В. Надежность программных средств. - М.: СИНТЕГ, 1998. - 232 с.

20. Полонников Р.И., Никандров А.В. Методы оценки надежности программного обеспечения. - СПб: Политехника, 1992. - 80 с.

21. Штрик А.А., Осовецкий Л.Г., Мессих И.Г. Структурное проектирование надежных программ встроенных ЭВМ. - Л.: Машиностроение, 1989. - 296 с.

22. Вентцель Е.С. Исследование операций. - М.: Сов. Радио, 1972. - 552 с.

23. Гаспер Б.С. Надежность функционирования автоматизированных систем. - Пермь: ПГТУ, 1999. - 70 с.

24. Куракин А.Л. Фактор надежности в оптимизации аппаратуры для научных исследований //Технологии приборостроения №1(5) (СНИИП) - 2003. - С. 62_65.

25. Ханджян А.О. Моделирование надежности программного обеспечения. - http://www.software-testing.ru/lib/handzhyan/software_quality_modeling.htm

Приложение А. Примеры моделей надежности ПО

Экспоненциальная модель роста надежности Джелински, Моранда, Шумана

Это одна из самых распространенных на сегодняшний день моделей надежности ПО опирается на теорию надежности аппаратуры [11, 13, 16, 19, 20, 21, 23].

Один из способов оценки СВМО - наблюдение за поведением программы в течение некоторого периода времени и нанесение на график значений между последовательными ошибками. На рис. А.1 изображено увеличение надежности ПО (кривые R1, R2, R3 - функции надежности, т. е. вероятность того, что ни одна ошибка в программе не произойдет или не будет обнаружена на временном интервале [0…t]) при исправлении в нем ошибок.

Рисунок A.1 - Увеличение надежности ПО при исправление в нем ошибок

Для разработки модели вводят следующие предположения:

i = Z(t) постоянно до обнаружения и исправления ошибки или интенсивность обнаружения ошибок;

i = Z(t) = K · ( N - i ) - т.е. Z(t) прямо пропорционально числу оставшихся ошибок, где N - неизвестное первоначальное число ошибок, i - число обнаруженных ошибок, K - некоторая неизвестная константа. Эта зависимость отображена на рис.А.2.

Рисунок A.2 - Функция риска

При обнаружении и исправлении ошибки функция риска уменьшается на K.

Неизвестные N и K можно оценить, если некоторое количество ошибок уже обнаружено. Предположим, что обнаружено n ошибок, а x[1], x[2], …, x[n] - интервалы времени между этими ошибками. Тогда, в предположении что Z(t) постоянно между ошибками, плотность вероятности для x[i] будет равна

p( x[i] ) = K · ( N - i ) · exp{ -K · ( N - i ) · x[i] }.

Значение N даст основной результат - оценку полного числа ошибок. Знание K позволяет использовать уравнение для предсказания времени до появления (n+1)_й ошибки и последующих ошибок.

Это частный случай модели Шумана. Предположим, что интервалы времени отладки между обнаружениями двух ошибок имеет экспоненциальную зависимость и частота ошибок пропорциональна числу еще необнаруженных ошибок. Таким образом, функция плотности распределения времени обнаружения i-ой ошибки, отсчитываемого от момента выявления (i-1)-ой ошибки имеет вид

,

где

и N - число первоначально присутствующих в ПО ошибок.

Эта модель построена на следующих допущениях:

время до следующего отказа распределено экспоненциально;

интенсивность отказов пропорционально оставшимся в ПО ошибкам.

Тогда вероятность безотказной работы ПО:

, (А.1)

где

i=CD * ( N0-(i-1) ), (А.2)

CD - коэффициент пропорциональности,

N0 - первоначальное число ошибок в ПО.

В (А.1) отчет времени начинается от момента последнего (i-1)-го отказа.

Если известны все моменты обнаружения ошибок ti и каждый раз в этот момент устраняется одна ошибка, то, используя метод максимального правдоподобия, можно получить уравнение для определения значения начального количества ошибок N0.

По методу максимального правдоподобия находим CD и N0. Функция правдоподобия имеет вид:

.

Откуда получаем условия для нахождения экстремумов:

,

Отсюда получаем решение для CD и N0:

,(А.3)

.(А.4)

Уравнение (А.4) решается методом перебора.

Пусть в ходе отладки зафиксированы интервалы времени между отказами ПО t1=10, t2=20, t3=25 ч. Определим по вышеприведенным формулам вероятность отсутствия 4-го отказа, начиная с момента устранения 3-го отказа.

Решаем (А.4) методом перебора и получаем N=4. Следовательно, из (А.3) имеем CD=0,02. Тогда из (А.1, А.2) получаем P(t4)=exp(0,02*t4) и, следовательно, 4=0,02 и среднее время до следующего отказа программы составляет <t4>=1/4=50 ч.

Это одна из первых и простых моделей. Модель использована при разработке весьма ответственных проектов (например, для программы Apollo). В ее основу положены следующие допущения:

интенсивность обнаружения ошибки R(t) пропорциональна текущему числу ошибок в программе;

все ошибки равно вероятны и их появления независимы друг от друга;

время до следующего отказа распределено экспоненциально;

ошибки постоянно исправляются без внесения новых ошибок;

R(t) = const на интервале между двумя соседними ошибками;

В соответствии с этими допущениями функцию распределения (риска) интенсивности ошибок между (i-1) и i-ой ошибками можно представить как:

R(t) = K[N0 - (i-1)],

где K - коэффициент пропорциональности; N0 - исходное число ошибок в ПО.

Все интервалы времени

ti = ti - ti-1

имеют экспоненциальное распределение:

P(ti) = exp{- K[N0 - (i-1)] ti }.

Из принципа максимального правдоподобия для K и N0 получают следующие оценки:

,(А.5)

.(А.6)

Нелинейное уравнение (А.6) достаточно сложно для решения численными методами, так как оно имеет локальные экстремумы и не всегда имеет решение.

Модель позволяет найти время до обнаружения следующей ошибки tn+1 и время необходимое для обнаружения всех ошибок T:

,

.

Можно посчитать n - количество ошибок, которое следует обнаружить и устранить для повышения наработки между обнаружениями ошибок от T1 до T2:

n = N0 · T0 · ( 1/T1 - 1/T2).(А.7)

Также можно получить затраты времени t на проведение тестирования, которые позволяют устранить n ошибок и соответственно повысить наработку от T1 до T2:

t = N0 · T0 · ln( T2 / T1 ) / K .(А.8)

Коэффициент готовности:

,

Коэффициент простоя КП = 1 - КГ, где t' - период проверок, t1 - время затрат ресурсов на проверки, tВ - длительность восстановления работоспособности программы.

Относительная длительность отладки в этой модели:

,

где H - количество систем, в которых функционирует программа; tЭ - длительность эксплуатации программы; _ коэффициент увеличения затрат ресурсов на единицу машинного времени.

Средняя наработка на отказ:

Тср = 1/.

Следует подчеркнуть статистический характер приведенных соотношений.

Из (А.8) видно, что время, затрачиваемое на тестирование, пропорционально квадрату первоначального количества ошибок T0 в программе. Приведем пример: пусть N0 = 1000; T0 = 1 час. Требуется повысить надежность программы с T1 =1 час до T2 = 1 месяц = 720 часов. Тогда из (А.7) n = 999, что фактически означает, что нужно обнаружить все ошибки для получения устойчивой работы ПО в 1 месяц. И на это будет затрачено время t ~ 60 дней (при расчете K по формуле (А.5) было сделано предположение о неизменности , в этом случае

K=n*T0/(сумма ар. прогрессии)).

На практике же будет затрачено гораздо меньше времени и найдено гораздо меньше ошибок, так как предположение о равномерности использования всего текста программы в процессе эксплуатации не верно. И, скорее всего, будет за меньшее время обнаружено 99% ошибок в той части программы, которая исполняется чаще, чем другая. В малоэксплуатируемой части останется не обнаруженными до 99% ошибок. Отсюда следует вывод о большой важности точного подбора входных данных при тестировании как можно более соответствующих режиму эксплуатации и вывод о необходимости сокращать время тестирования за счет меньшего тестирования малоиспользуемых ветвей программы. При этом важно не забывать о различных режимах эксплуатации ПО: нормальном, аварийном, ждущем и т.п.

Постулат, что программа не меняется за исключением исправления ошибки, а новые ошибки не вносятся, является спорным. Желание выразить надежность ПО некоторой функцией времени вполне логично, однако в действительности она от времени не зависит. Надежность ПО является функцией числа ошибок, их серьезности и расположения, а также того, насколько интенсивно система используется (интенсивность входного потока данных).

Статистическая модель Миллса

Описана в [11] и [20]. Программа специально "засоряется" некоторым количеством заранее известных ошибок. Эти ошибки вносятся в программу случайным образом, а затем делается предположение, что для ее собственных и искусственно внесенных ошибок вероятность обнаружения при последующем тестировании одинакова и зависит только от их количества. Тестируя программу в течении некоторого времени и отсортировывая собственные и внесенные ошибки можно оценить N - первоначальное число ошибок в программе.

Пусть: S - число специально внесенных ошибок; n - число найденных собственных ошибок в программе; - число найденных внесенных ошибок; n+ - количество обнаруженных ошибок при тестировании.

Тогда по методу максимального правдоподобия имеем: N = S · n / .

Основное допущение модели - распределение «посеянных» ошибок совпадает с распределением по программе собственных ошибок, и, следовательно, обнаружение, как тех, так и других ошибок равновероятно - что является существенным недостатком этой модели.

При этом можно выдвигать и проверять гипотезы об N. Пусть в программе не более k собственных ошибок и внесли нее еще S ошибок. Теперь программа тестируется, пока не будут обнаружены все специально внесенные ошибки. Причем в этот момент подсчитывается число обнаруженных собственных ошибок (обозначим его, как и раньше, как n). Введем уровень значимости C:

(А.9)

С - мера доверия к модели, то есть мера правильности нашего предположения о количестве k собственных ошибок и дает оценку для количества ошибок

,

которое нужно внести в программу, чтобы проверить гипотезу с заданным уровнем значимости.

Например, если мы утверждаем, что в программе нет ошибок (k = 0), и внося в программу 4 ошибки, все их обнаруживаем, не встретив ни одной собственной ошибки, то C = 0.80. А чтобы достичь уровня 95 %, надо было бы внести в программу 19 ошибок.

Этот метод не очень эффективен в случае применения его в реальной практике, так как если предположить что в программе своих ошибок n = 1000 (что более реально, чем n = 0), то для достижения уровня правдоподобия 0,95 в программу придется ввести 19019 ошибок, что само по себе уже тяжелая задача.

Формулу (А.9) можно модифицировать так, чтобы устранить недостаток, заключающийся в том, что C нельзя предсказать до тех пор, пока не будут обнаружены все искусственно внесенные ошибки (а это может и не произойти за ограниченное время, отведенное на тестирование). Модифицированной формулой можно пользоваться уже после того, как найдено j внесенных ошибок:

(А.10)

Это математически очень простая и интуитивно понятная модель. Процесс внесения ошибок - само слабое звено модели, так как должны вноситься "типичные" для данной программы ошибки (то есть искусственно внесенные ошибки должны иметь то же распределение вероятности, что и собственные ошибки). Кроме того, эта модель не учитывает системных ошибок, то есть ошибок вносимых на этапе проектирования, а не самого кодирования.

Модель Бейзина

Пусть ПО содержит Nk команд [20]. Случайным образом из них выбирается n команд, в которые вводятся ошибки. Затем для тестирования случайным образом выбирается r команд. Если в ходе тестирования будет обнаружено собственных и m привнесенных («посеянных») ошибок, то полное число N0 ошибок содержащихся в программе перед началом тестирования (следует из метода максимального правдоподобия) можно определить как:

.

Простая экспоненциальная модель

В отличие от модели Джелинского-Моранды R(t) const [20].

Пусть N(t) - число обнаруженных к моменту времени t ошибок и пусть функция риска пропорциональна числу оставшихся к моменту t в программе ошибок: R(t) = K(N(0) - N(t)).

Продифференцируем обе части этого уравнения по времени:

.

Учитывая, что dN(t)/dt есть R(t) (число ошибок, обнаруженных в единицу времени), получим дифференциальное уравнение:

с начальными условиями N(0) = 0, R(0) = KN0.

Решением этого уравнения является функция:

R(t) = KN0exp(-Kt).(А.11)

Для K и N0 получают следующие оценки (с применением МНК) для первых n ошибок:

,

,

где

.

Используя (А.11) можно определить время необходимое для снижения интенсивности появления ошибок с R1(t) до R2(t):

.

Дискретная модель Шика-Уолвертона

Эта модель рассмотрена в работах [12, 20, 21]. Применяется при следующих допущениях:

предполагается, что частота проявления ошибок (интенсивность отказов) линейно зависит от времени испытаний ti между моментами обнаружения последовательных i-й и (i-1)-й ошибок;

появление ошибок равновероятно и независимо;

ошибки корректируются без введения новых.

Тогда:

,

где k - коэффициент пропорциональности, обеспечивающий равенство единице площади под кривой вероятности обнаружения ошибок.

В этом случае для оценки вероятности безотказной работы получается выражение, соответствующее распределению Релея:

,

где P(ti) = P(Tti).

Отсюда плотность распределения времени наработки на отказ:

.

Использовав функцию максимального правдоподобия, получим оценку для N0 и K:

, .

Модель Вейбулла

В [12] и [20] приводится модель надежности ПО с учетом ступенчатого характера изменения надежности при устранении очередной ошибки.

Функция риска для этой модели представляется в виде: R(t) = (a/b) (t/b)a-1, где a > 0, и b > 0 - константы модели; t - интервал времени безошибочной работы.

Если a > 1, то интенсивность обнаружения ошибок растет со временем, если a < 1, то - падает.

Плотность распределения вероятности до появления очередной ошибки описывается распределением Вейбулла:

.

Наработка до отказа выражается через гамма-функцию:

,

где P(t) - вероятность безотказной работы и P(t) = 1 - Q(t), где Q(t) - вероятность отказа:

.

Для оценки параметров a и b используются следующие формулы:

,

где

b = exp{-b0/a},

,

k - число интервалов тестирования,

,

tj - длина j-го интервала тестирования,

,

Ni - нормированное суммарное число ошибок, обнаруженных к моменту ti.

Определение надежности по результатам тестирования

Рассмотрены в работе [13]. Оценку надежности ПО при стохастическом (когда входные данные выбираются согласно своим функциям распределения и основным статистическим моментам) функциональном тестировании целесообразно производить на основании заключительной серии стохастических тестов (например, при приемочных испытаниях), когда отказы программы отсутствуют. Тогда для оценки вероятности безотказной работы программы может быть использована формула (оценка безошибочности ПО производится таким же методом как оценка безотказности аппаратуры):

,(А.12)

где pн - нижняя доверительная граница вероятности безотказной работы ПО при однократном прохождении набора стохастических входных данных; н - доверительная вероятность; n - число проходов при тестировании.

Пусть, например, n=150 прохождений со случайными исходными данными. Исходы всех тестов положительные (ошибок не обнаружено), т.е. количество отказов ПО равно нулю. Необходимо определить нижнюю доверительную границу вероятности безотказной работы ПО при одном прохождении, при н = 0,9.

Согласно (А.11) имеем pн = 0.985.

Сделанное выше допущение относительно независимости результатов отдельных тестов программы не вполне обосновано, так как наличие ошибки в ПО обнаруживается скорей всего, большим количеством тестов, чем это можно ожидать, исходя из независимости их результатов. Поэтому представляет интерес другой подход, где ПО рассматривается как сообщение, состоящее из N символов. Пусть каждый стохастический тест проверяет в среднем r символов из N и пусть один из N элементов содержит ошибку.

Пусть вероятность того, что при одном тесте ошибка не будет обнаружена, оценивается как 1 - r/N. Вероятность того, что при n независимых тестах ошибка не будет обнаружена, равна (1 - r/N)n. Если ошибочных символов в ПО больше чем один, то вероятность их обнаружения одним тестом будет еще больше, так как эта оценка является оценкой снизу.

Пусть n = 150; r/N = 0,3. Тогда вероятность обнаружения ошибки в ПО

p = 1 - (1 - r/N)150 = 1 - 1,7210-20 1.

Настолько высокая оценка вероятности обнаружения ошибок получается благодаря тому, что в соответствии с данной моделью каждый символ программы проверяется в среднем многократно, и вероятность того, что некоторый символ ни в одном тесте не проверяется, весьма мала.

Модель избыточности

Можно попробовать использовать подход, предложенный в статье [24] для описания эффективности защиты ПО от сбоев посредством введения в нее избыточного кода. Эффективность защиты (в расчете на которую в ПО вводится избыточный код, который снижает функциональные характеристики ПО, в частности, быстродействие и требует больших ресурсов (например, для использования образцового в этом отношении языка JAVA нужно как минимум 128 Мб ОЗУ)), априорно определим как вероятность P (являющейся функцией времени T периодичности работы программного модуля) нужности (срабатывания) защиты. Эта вероятность в рассматриваемом случае может быть выражена произведением вида:

P = Pe * Pr * Pd,(А.13)

где Pe - вероятность того, что сбой произойдет (например, закончатся ресурсы оперативной памяти и не будет выделена память);

Pr - вероятность того, что защита от этого сбоя сработает;

Pd - вероятность того, что сообщение о сбое будет получено и обработано (т.е. что диагностика сработает).

По сути данной задачи речь идет о двух типах случайных событий:

1. событии (нежелательном) состоящем в том, что произошел прогнозируемый сбой;

2. событии (желательном) состоящем в том, что защита сработает.

Рассмотрим случай, когда оба типа событий характеризуются постоянными интенсивностями (поскольку временные зависимости этих параметров обычно не известны). Пусть:

- интенсивность (то есть вероятностью возникновения в единицу времени) возникновения ошибки (сбоя);

r - интенсивностью отказа (не срабатывания) защиты, характеризующая надежность защиты;

d - интенсивность срабатывания диагностики, характеризующая надежность системы диагностики Pd.

Тогда сомножители, входящие в формулу (А.13), можно представить в следующем виде:

	(А.14) (А.15) (А.16)

где T - периодичность работы программного модуля;

, - вероятности ошибок 1-го и 2-го рода диагностики.

Диагностика представляет собой устройство (или программу), обеспечивающее оповещение оператора о сбое и принятии решения о дальнейшей работе. Исправный диагностический модуль по аналогии с размыкателем характеризуется двумя ошибками: ошибка 1-го рода - ложное срабатывание (например, выключение без наличия сбоя), ошибка 2-го рода - отсутствие срабатывания при наличии сбоя. Защита не эффективна в обоих случаях.

Подстановка (А.13) - (А.15) в (А.12) дает выражение:

,(А.17)

где

.

Функция (А.16) достигает максимума при значении T равном:

(А.18)

Значение T* представляет собой оптимальное время T защищенности программы. Таким образом, этот метод позволяет определить оптимальную периодичность работы программы, при которой защита с заданными характеристиками , r, d дает оптимальный эффект. Либо можно оценить одну из характеристик , r, d при заданных остальных и заданном T*.

Например, оценим T*:

- один раз в месяц, т.е. равна 3,7e-7;

r = ;

d - один раз в минуту, т.е. равен 0,017.

Тогда T* = 59 с.

Теперь, оценим d при следующих условиях:

T* = 60 с;

- один раз в год, т.е. равна 3,3e-8;

r = .

Тогда из (А.17) имеем

.

Получаем d = 1,67e-02 1/с или один раз в минуту.

Модель Дюэна

Модель рассмотрена в работе [20]. Эта модель была предложена для оценки роста надежности. Для этого рассматривается отношение интенсивности обнаружения ошибок к общему времени тестирования. В основу модели положены следующие предположения:

обнаружение любой ошибки равновероятно;

общее число ошибок N(t), обнаруженных к произвольному моменту t, распределено по закону Пуассона со средним значением n(t) = at.

Из этого следует, что

.

Из МНК получают следующую оценку для и :

,

,

где

Xi = ln(ti), Yi = ln(i/ti),

,

Для использования этой модели требуется только знание моментов времени ti проявления ошибок.

Метод Холстеда оценки числа оставшихся в ПО ошибок

Модель рассмотрена в работе [20]. На сегодняшний момент это единственная модель, с помощью которой можно оценить число ожидаемых (то есть потенциальных) ошибок в ПО еще на этапе составления ТЗ на ПО.

Для программы вводится понятие длины программы N и объем программы (в битах) V:

N = n1log2n1 + n2log2n2,

V = Nlog2(n1 + n2),(А.19)

где n1 - число различных операций (например, таких как IF, =, DO, PRINT и т.п.); n2 - число различных переменных и констант.

Далее рассматривается потенциальный объем программы (в битах) V*:

,(А.20)

где - только число входных и выходных переменных.

Величина может быть выявлена уже на стадии ТЗ или технического проекта на разработку ПО.

Еще вводится понятие уровня программы L, который определяется как отношение потенциального объема V* к объему V:

L = V*/V.

Также вводятся величины:

E = V/L = V2/V*,

= LV*

- уровень языка программирования. Значения для некоторых языков программирования: Ассемблер - 0,88; Фортран - 1,14; PL-1 - 1,53; С/С++ - 1,7; Pascal - 1,8; JAVA - 1,9.

Из этого следует, что

V = (V*)2/.(А.21)

Оценка времени, затрачиваемое на разработку ПО:

T = E/S = (V*)3/(S) (А.22)

где S - параметр Страуда (психофизиологическая характеристика времени, необходимого человеческому мозгу для выполнения элементарной мыслительной операции. S лежит в пределах от 5 до 20 различий в секунду. Холстедом используется значение S = 18, характеризующее процесс программирования как довольно напряженную умственную работу).

Используя (А.21) можно оценить выигрыш во времени разработки при переходе от одного языка программирования 1 к другому языку 2:

.

Например, выигрыш при переходе с C/C++ на JAVA составит около 10%, а с ассемблера на JAVA - 50%.

Основное предположения этой модели:

общее число ожидаемых ошибок N в программе определяется сложностью ее создания (и это верно, за исключением того, что в вышеперечисленные характеристики ПО не входит сложность проектирования, а учитывается только сложность кодирования!).

мозг человека может обработать одновременно и безошибочно 72 объектов (гипотеза Миллера).

Тогда, взяв нижнюю границу в 5 объектов и добавив еще один объект, мы получим максимальное число = 6 различных входных и выходных параметров для потенциально безошибочной программы. Тогда потенциальный объем V0* по (17): V0* = (6+2) log2(6+2) = 24 логических бита.

Следовательно, после обработки 24 битов информации на языке программирования человек совершит одну ошибку.

.

Это означает, что на каждые 3000 бит объема V* приходится одна ошибка. Тогда для реального объема ПО из (П1.20) следует, что число ошибок в ПО:

(А.23)

Модель IBM

Модель рассмотрена в работе [20]. Эта модель предназначена для оценки количества вносимых ошибок в сопровождаемом ПО, находящемся в эксплуатации, при его модификации. Модель построена на данных сопровождения 19 версий ОС OS/360 фирмы IBM.

Пусть Mi - число модулей i-ой (новой) версии. Из них

СИМi - число измененных по отношению к предыдущей версии модулей,

НМi - число новых модулей (то есть Мi = Мi-1 + НМi),

МИМi - число многократно измененных и исправленных модулей (10 и более раз),

ИМi - число модулей, в которые внесено менее 10 изменений.

Из практики сопровождения OS/360 и создания ее новых версий были выявлены следующие зависимости:

ИМi = 0,9 НМi + 0,15 СИМi

МИМi = 0,15 ИМi + 0,06 СИМi.

Число ожидаемых ошибок равно:

N = 23 МИМi + 2 ИМi .

Основные выводы, следующие из модели IBM, таковы:

количество ожидаемых ошибок в следующей версии может увеличиться по сравнению со старой версией, если будет изменено достаточно большое количество старых модулей (СИМ) и/или будет введено достаточно большое количество новых модулей (НМ). Поэтому перед выпуском такой версии понадобятся дополнительные усилия по ее тестированию;

введение новых модулей быстрее приводит к появлению ошибок, чем исправление старых модулей. Однако, если удастся вместо изменения большого числа старых модулей создать несколько новых с требуемой функциональностью, то это приведет к уменьшению оценки ожидаемых ошибок. То есть на некотором этапе усовершенствования ПО поддержка старых модулей является не эффективной, а более целесообразно с точки зрения надежности написать новые модули.

Модель Шумана

Рассмотрена в [16]. Предполагается, что Er - количество ошибок в начальный момент времени и в течение времени устраняется c() ошибок в расчете на одну команду. Тогда:

- количество оставшихся ошибок на одну команду, где IT - число машинных команд, которое предполагается постоянным.

Предполагается, что частота отказов z(t) пропорциональна числу ошибок, оставшихся в ПО, то есть z(t) = с · r().

Тогда вероятность безотказной работы на интервале времени (0, t):

.

Простая эвристическая модель двух независимых групп тестирования Руднера

Описана в [11] и [20]. В этой модели исключается основной недостаток модели Миллса. Здесь тестирование осуществляется двумя независимыми группами.

Пусть есть две независимые группы тестирования.