Теория управления. Принципы системного анализа

1. Не существует результата наилучшего в абсолютном смысле.

2. Решение может считаться лучшим лишь для конкретного ЛПР, с учетом его предпочтений.

3. Для нахождения приемлемого результата должна строиться многокритериальная модель, которая создается для уточнения предпочтений ЛПР. Она должна быть логически непротиворечивой и должна включать в себя основные свойства решаемой задачи.

Прежде чем переходить к рассмотрению многокритериальных задач, остановимся на предпосылках их постановки, т.е. укажем причины, порождающие проблему многокритериальности. Для этого обратимся к блок-схеме, приведенной на рис. 2 в лекции 2 (рис. 2). Данная схема отражает рациональную логическую последовательность этапов при подготовке и принятии решений.

С проблемой многокритериальности лицо, принимающее решение, сталкивается на этапе 7 (Выбор наиболее предпочтительного вариата решения). Вместе с тем, ЛПР на более ранних этапах (2 и 3 при формулировании цели и критериев оценки) сам предопределяет постановку многокритериальной задачи. Следовательно, предпосылкой постановки многокритериальной задачи является необходимость проведения этапа 3 (формирования системы критериев). Этот этап может и отсутствовать, если цель принятия решения четко определяется одним критерием.

В практических задачах цель - весьма сложное понятие, которое даже содержательно не всегда удастся четко определить, тем более, количественно измерить степень ее достижения. Поэтому осуществляется декомпозиция сложного понятия "цель принятия решения" на более простые единичные критерии, каждый из которых может быть количественно измерен. В большинстве случаев в качестве единичных критериев используются общепринятые характеристики исследуемого объекта, измеряемые по шкалам интервалов или отношений.

Полное и четкое описание цели множеством критериев является основой успешного решения поставленной задачи принятия решений.

Таким образом, причинами проведения этапа 3 и, соответственно, предпосылками постановки многокритериальных задач являются сложность цели принятия решений и трудность измерения степени достижения цели различными вариантами решения задачи.

Рис. 2. Этапы подготовки и принятия решений

Следовательно, постановку многокритериальной задачи предопределяет сам исследователь (ЛПР) из-за того, что не смог сформировать в математическом виде целевую функцию, а на этапе 7 он сталкивается с необходимостью решения многокритериальной задачи.

Следует отметить, что поскольку описание цели системой критериев является неформальной процедурой, то и последующее агрегирование критериев на этапе 7 также не является формальной процедурой. Поэтому решение многокритериальной задачи не является строгой математической задачей, а представляет собой набор процедур, помогающих ЛПР разобраться и уточнить цель принятия решений, устранить ошибки в своих оценках, сделать свое поведение в процессе выбора рациональным.

Примеры постановок многокритериальных задач из разных областей деятельности:

Выбор площадок для строительства промышленных объектов. В данной задаче необходимо учитывать группы критериев: экономические, экологические, социальные, критерии безопасности и т.д.

Оценка качества продукции (технического уровня разработок) по множеству потребительских свойств. Следствием данной задачи является определение цены на продукцию на основе потребительских свойств.

Проектирование на основе принципа многовариантности. Каждый из вариантов в абсолютном большинстве оценивается множеством критериев. В этой связи следует подчеркнуть, что системы автоматизированного проектирования должны включать подсистему выбора и оценки решений по многим критериям.

Проведем классификацию многокритериальных задач (рис. 3).

Рис. 3. Классификация МКЗ

По характеру решаемой многокритериальной задачи (МКЗ) можно выделить два класса задач.

Задачи, в которых множество объектов конечно, будем называть дискретными многокритериальными задачами (ДМКЗ). В задачах этого класса множество многокритериальных объектов в пространстве критериев f₁f₂...f_m представляет собой множество дискретных точек. Дискретные МКЗ чаще всего ставятся в экономике и квалиметрии.

Второй класс образует непрерывные многокритериальные задачи (НМКЗ), которые формулируются следующим образом:

Имеется объект исследования, характеризующийся параметрами x₁,...,x_n. Требуется определить оптимальные в некотором смысле значения этих параметров с учетом нескольких критериев (целевых функций) k₁,...,k_m. При этом задана область определения параметров x₁,...,x_n и целевые функции k₁=f₁(x₁,...,x_n);...; k_m=f_m(x₁,...,x_n).

Область определения параметров (переменных) задается обычно в виде системы ограничений, например, в многокритериальных задачах линейного программирования - система линейных неравенств. Поэтому непрерывную многокритериальную задачу можно рассматривать как задачу, в которой бесконечное множество объектов.

Так как непрерывные МКЗ, как правило, возникают при оптимизации параметров сложных объектов, то в литературе их еще называют задачами векторной оптимизации. Одной из задач векторной оптимизации является многокритериальная задача линейного программирования.

Будем называть каждый из скалярных критериев оптимальности частным критерием оптимальности. Совокупность частных критериев оптимальности будем называть векторным критерием оптимальности. Предполагаем, что ставится задача оптимизации каждого из частных критериев оптимальности в одной и той же области допустимых значений D.

Вторым признаком классификации многокритериальных задач является вид требуемого результата решения задачи. По этому признаку выделим следующие классы многокритериальных задач:

задачи, в которых необходимо выделить из множества объектов один наиболее предпочтительный объект (получить одно наиболее предпочтительное решение). В некоторых случаях может быть выделено не одно, а подмножество эквивалентных и наиболее предпочтительных объектов. Постановка задачи выделения наиболее предпочтительного объекта может быть как для дискретных, так и для непрерывных многокритериальных задач;

задачи, в которых необходимо упорядочить многокритериальные объекты. Постановка многокритериальной задачи в таком виде чаще всего имеет место для дискретных МКЗ, например, упорядочить по предпочтению варианты технических систем, по качеству - образцы продукции;

задачи, в которых требуется дать оценку полезности (качества) объектов по шкале интервалов. Другими словами, необходимо построить функцию полезности. Очевидно, что такая постановка задачи может быть как для дискретных, так и для непрерывных МКЗ;

задачи, в которых требуется выделить подмножество эффективных (конкурирующих) объектов. Такие подмножества называют оптимальными по Парето, но об этом более подробно поговорим чуть позже.

18.2. Формирование множества критериев

Количество критериев должно охватывать все особенности задачи. Число критериев считается полным и достаточным, если прибавление нового критерия не изменит результата решения, а отбрасывание критерия этот результат меняет. Все критерии не должны сильно коррелировать друг с другом. Степень корреляции между ? и ? критериями можно определить по следующей формуле:

где

где Х_i - случайная альтернатива из множества, i=1, …, N; f_?(Х_i), f_?(Х_i) - критерии; N - число случайных испытаний.

Если K приближается к 1, то это свидетельствует о сильной корреляции критериев. Тогда необходимо рассмотреть вопрос об исключении одного из критериев.

Каждому критерию может быть поставлена в соответствие своя координатная ось и шкала. Последняя может быть непрерывной или дискретной, количественной или качественной (рис. 4).

Рис. 4. Выбор альтернативы с учетом двух критериев: а -- в случае непрерывной области альтернатив; б -- в случае дискретных альтернатив

Каждую ось будем обозначать буквой f_k, k = 1, 2, …, r. f₁ ? f₂ ? ... ? f_r - декартово произведение, которое формирует пространство критериев, где имеет место множество векторных оценок. Между пространством параметров и пространством критериев существует соответствие (рис. 5).



Рис. 5. Пространства параметров и критериев:

D - допустимая область, D_Ф - аналог допустимой области в пространстве критериев

18.3 Методология решения многокритериальных задач

При решении многокритериальных задач обычно задаются параметрические ограничения вида x_{i min} ? x_i ? x_{i mах}, при i=1, 2, …, n, которые формируют в пространстве параметров n-мерный параллелепипед (рис. 4, а). Далее предполагается, что заданы функциональные ограничения вида p_j (x) ? 0, при j=1, 2, …, m, которые вырезают в параллелепипеде некоторую часть D, состоящую из точек Х, удовлетворяющих одновременно параметрическим и функциональным ограничениям. В лекции 5 эту часть пространства мы называли допустимой областью (ДО). Множество D может оказаться весьма сложным, например, состоящим из нескольких отдельных частей (рис. 6, б, закрашенные участки).

Наконец, предполагается, что заданы соответствующие критерии f_k(Х_i), k =1, 2, …, r. Для определенности здесь будем считать, что критерии f₁, …, f_r желательно уменьшить.

Предположим, что ЛПР сумел указать разумные критериальные ограничения вида , при k =1, 2, …, r. При этом - значение для одной из линий равного уровня n-го критерия.

Очевидно, - это наихудшее значение критерия, на которое ЛПР может согласиться. Обозначим через G множество точек Х, которые удовлетворяют параметрическим, функциональным и критериальным ограничениям. Понятно, что (рис. 6, в, закрашенные области).

а)

б)

в)

Рис. 6. Формирование параметрическими (а), функциональными (б) и критериальными (в) ограничениями области поиска экстремума

Наилучшее решение целесообразнее искать среди точек множества G, а не среди точек множества D, поскольку, если точка , то значения всех критериев в этой точке приемлемы. Понятно, что завышенные требования ЛПР могут привести к G=0, т.е. область поиска решений окажется пустой.

При решении многокритериальных задач выбора основная трудность состоит в неоднозначности выбора наилучшего решения. Для ее преодоления используют две группы методов.

В методах первой группы стремятся сократить число критериев, для чего вводят дополнительные предположения, относящиеся к процедуре сопоставления критериев и построению моделей оптимизации. В методах первой группы стремятся сократить число альтернатив в исходном множестве, исключив заведомо плохие альтернативы.

К методам первой группы относятся метод свертки, метод главного критерия, метод пороговых критериев и метод расстояния.

Методы второй группы основаны на свертке в множестве альтернатив. С их помощью пытаются уменьшить число возможных вариантов решений, исключив заведомо плохие. Один из подходов, обладающий большой общностью, называется методом, основанным на принципе Парето. Для уменьшение числа альтернатив исходного множества выделяют множество Парето, являющееся подмножеством исходного.

После того, как построено множество Парето, для определения наилучшего решения (из оставшихся) применяются методы первой группы либо графические методы, например, метод диаграмм. Схема поиска наилучшего решения представлена на рис. 7.



Рис. 7. Схема поиска наилучшего решения

Подчас необходимые для определения предпочтений знания в области ТПР, умения и навыки у ЛПР отсутствуют, а требуемые для совершения этой работы активные ресурсы - время, деньги, специальное математическое обеспечение и т. п. - отсутствуют в нужных количествах. Да ведь и не все проблемы, возникающие перед ЛПР, на практике оказываются столь важными, чтобы обязательно и как можно более точно моделировать его предпочтения. Как тут быть? Во всех перечисленных случаях для отыскания, наилучшей альтернативы ТПР рекомендует ЛПР следовать принципу Родена. Когда у этого великого скульптора спросили, как ему удается создавать столь великие шедевры, Роден ответил: «Я просто беру глыбу мрамора и отсекаю от нее все лишнее!».

Прекрасная идея: последовательно отсекайте от множества альтернатив все элементы, которые «не нужны», которые являются «лишними», а то, что останется (не лишнее) - это и есть то, что вам нужно - наилучшая альтернатива (или несколько эквивалентных по предпочтительности наилучших альтернатив). Концептуальную идею, изложенную в вербальной форме Роденом, реализовал в формальном виде и превратил в одну из наиболее эффективных функций выбора видный социолог и итальянский экономист Вильфредо Парето в 1897 году.

Он рассматривал распределение богатства и доходов в Англии XIX века. Он выяснил, что большая часть доходов и материальных ценностей принадлежит меньшинству людей в исследованных группах. Возможно, что для Парето не было в этом ничего удивительного. Однако он также установил два очень примечательных, по его мнению, факта. Первым был тот, что существует неизменное математическое соотношение между численностью группы людей (в процентах от общей численности рассматриваемого населения) и долей богатства или дохода, контролируемой этой группой. Другими словами, если известно, что 20% населения владеют 80% материальных ценностей, то можно с уверенностью сказать, что 10% населения имеют приблизительно 65% материальных ценностей, а 5% населения -- 50%. Для Парето главным здесь были не цифры процентного соотношения, а тот факт, что распределение богатства среди населения предсказуемо несбалансированно.

Другой находкой Парето, восхитившей его, было то, что данная схема дисбаланса оставалась неизменной для статистических данных, относящихся к различным периодам времени и различным странам. Будь то данные по Англии за любой период ее истории или доступные Парето данные по другим странам за разные периоды времени, выяснялось, что схема снова и снова повторяется, причем с математической точностью.

Его открытие называли по-разному, в том числе принципом Парето, законом Парето, правилом 80/20, принципом наименьшего усилия, принципом Дисбаланса.

Принцип 80/20 гласит, что небольшая доля причин, вкладываемых средств или прилагаемых усилий, отвечает за большую долю результатов, получаемой продукции или заработанного вознаграждения. Например, на получение 80% результатов, достигаемых в работе, у вас уходит 20% всего затраченного времени. Выходит, что на практике 4/5 приложенных вами усилий (немалая доля) не имеют к получаемому результату почти никакого отношения. Это, кстати, расходится с тем, чего люди обычно ожидают.

Введем на множестве D отношение предпочтения (обозначим его символом ). Будем говорить, что вектор предпочтительнее вектора , и писать , если среди равенств и неравенств имеется хотя бы одно строгое неравенство (рис. 6).

Аналогично на множестве D_Ф введем отношение доминирования: будем говорить, что векторный критерий оптимальности доминирует векторный критерий оптимальности , и писать , если .

Другими словами, объект доминирует объект , если по всем критериям предпочтительнее или эквивалентен , и хотя бы по одному критерию строго предпочтительнее. Объект называют доминирующим, а - доминируемым.

Если исключить из исходного множества доминируемые объекты, то останутся конкурирующие (эффективные).

Введенные отношение предпочтения и отношение доминирования являются транзитивными, т.е.

если и , то ;

если и , то

Выделим из множества D_Ф подмножество точек, для которых нет точек, их доминирующих. Множество , соответствующее , называется множеством Парето (переговорным множеством, областью компромисса) -- рис. 7. Поскольку множество D_Ф на рисунке 7 является выпуклым, то множество есть часть границы множества D_Ф -- дуга AB, в которой точка A соответствует f_1min, а точка B f_2min. Среди точек

,

нет более предпочтительных, поскольку

, но .

Таким образом, если , то .

Другими словами множество Парето можно определить как множество, в котором значение любого из скалярных (частных) критериев оптимальности можно улучшить только за счет ухудшения других частных критериев - любое из решений, принадлежащее множеству Парето, не может быть улучшено одновременно по всем частным критериям.

Альтернатива принадлежит множеству Парето, если она не хуже других по всем критериям и хотя бы по одному критерию лучше.

Рис. 8. Множество Парето

Для пояснения изложенного рассмотрим простейший метод, позволяющий приближенно находить множество Парето для случая двух критериев. На рис. 8, а построена область возможных значений в плоскости двух критериев. Исключение неэффективных точек в этом случае очень наглядно. Исключению подлежат все точки, образы которых в плоскости (f₁, f₂) расположены одновременно правее и выше образа исходной точки. В случае многих критериев геометрическая интерпретация аналогична.

После исключения неэффективных точек осталось всего 9 приближенно эффективных точек. Соединив их, получим приближенную компромиссную кривую E, которая вместе с точной компромиссной кривой D^* построена на рис. 9, б. В качестве наилучшей среди исходной совокупности точек следует выбрать одну из этих 9 точек.

а)

б)

Рис. 9. Построение области Парето

Например, Андрей лучше всех решает задачи, а по остальным критериям не выделяется. Зато Вера, Галя, Ира, Катя, Лариса имеют высокие значения остальных критериев, так что они в среднем превосходят Андрея, причем Вера лучше всех по успеваемости, а по остальным критериям не хуже других студенток. Тогда Андрей обзятельно попадает в множество Парето, т.к. он уникальный (единственный) по первому критерию, а от группы студенток в множество Парето попадает один представитель - Вера, хотя остальные студентки превосходят Андрея по нескольким критериям (число критериев здесь не имеет значения).

Таким образом, поиск оптимального решения (точки) может осуществляться в соответствии с рисунком 10.

Рис. 10. Выбор оптимальной точки

18.4 Технологии отыскания эффективных решений

Суждения об относительной важности частных критериев ЛПР может выразить как в качественной, так и в количественной шкале. Если частные критерии измеряются в различных, а тем более разных по классам шкалах (количественных и качественных), их оценки не могут быть пересчитаны в некоторую объективную шкалу оценивания (например, в универсальный денежный эквивалент), то трудно представить, как соизмерить их относительную важность. А сделать это иногда требуется как можно быстрее и как можно адекватнее, чтобы можно было сразу представить себе ценность какой-то конкретной альтернативы. В подобных ситуациях, когда информацию об относительной важности требуется получить и использовать как можно быстрее и при этом обеспечить высокую адекватность и надежность суждений, более предпочтительным представляется учет относительной важности частных критериев в качественной шкале (так называемая «качественная информация об относительной важности»). К качественной информации об относительной важности частных критериев будем относить следующие вербальные суждения:

«критерий с номером i важнее критерия с номером j»;

«критерии с номерами s и t равноценны по важности».

Напрямую использовать информацию о превосходстве или равноценности для дальнейшего сокращения размера множества эффективных альтернатив и поиска наилучшего решения среди них можно только для некоторых частных случаев. Во-первых, это случай, когда шкалы всех частных критериев, относительно которых получена информация.

Второй частной ситуацией, когда возможно прямое использование качественной информации о равноценности или превосходстве в важности одних частных критериев над другими, является такая, в рамках которой фигурируют сообщения о равноценности всех критериев между собой, об абсолютно строгом (лексикографическом) упорядочении критериев по важности, а также о симметрически-лексикографическом упорядочении частных критериев по важности.

Самая сложная в получении, но и самая действенная - это информация об относительной важности критериев в количественной форме. Это информация о величинах замещений значений критериев между собой, о значениях коэффициентов важности частных критериев, количественная информация о допустимой степени взаимной компенсации значений тех или иных критериев, а также о виде функции агрегирования частных критериев в обобщенные критерии. В некоторых случаях такая информация поступает от ЛПР сразу. Но это - скорее исключение из правил. Значительно чаще количественную информацию приходится получать по частям.

18.5 Методы принятия решения при нескольких критериях

При необходимости ПР при многих критериях на практике обычно используют следующие подходы.

1. Свертка векторного критерия

Этот метод также называют скаляризацией векторного критерия или введением суперкритерия. Суть его заключается в следующем.

Выбираются коэффициенты ?_k ? 0 так, что функция

обобщила в себе" все требования частных критериев. При этом обычно

и каждый ?_k характеризует степень важности критерия f_k(X).

На практике обычно ЛПР выбирает какие-то ?₁, …, ?_r, затем отыскивает наилучшую точку Х' - например, минимум S(X') при . Если при этом оказывается, что некоторые из значений ЛПР не удовлетворяют, тогда он корректирует значения ?₁, …, ?_r и решает задачу заново и т.д.

Рассмотренный подход также называют аддитивной сверткой. Он имеет существенный недостаток - трудно находить коэффициенты ?_k из-за разных размерностей критериев.

Этого недостатка лишена свертка вида:

 или ,

где - идеальное (реально недостижимое) значение k-го критерия, которое указывается ЛПР; - наименее предпочтительное для ЛПР значение k -го критерия; ?_k , ?_k - весовые коэффициенты с тем же смыслом, что и ?_k. В двух последних свертках каждый k-й критерий выступает своим нормализованным значением , которое изменяется в пределах от 0 до 1. Данный подход снимает проблемы, обусловленные неодинаковыми размерностями входящих в свертку критериев.

Однако существуют и другие вопросы. В частности, можно показать, что выбор вида свертки влияет на конечный результат.

Для иллюстрации данного утверждения рассмотрим случай двух критериев Ф₁ и Ф₂ и предположим, что они оба получили одинаковые "веса": ?₁ = ?₂ =0,5 и ?₁ = ?₂ =0,5 . Пусть допустимая область в пространстве критериев имеет вид, представленный на рис. 11 а.

а) б)

Рис. 11 . Иллюстрация влияния вида свертки на конечный результат: а - допустимая область; б - линии равного уровня для критерия S₁ (прямые) и S₂ (окружности)

Для интегрального критерия типа S₁ линии равного уровня представляют собой прямые, задаваемые уравнениями:

На рис. 11 б они показаны в виде линий АВ и A'B'. Для интегрального критерия типа S₂ линии равного уровня - окружности с центром в точке , которые описываются уравнением вида:

Из рис. 11 б видно, что первый тип рассматриваемой свертки предполагает выбор в качестве результата точки А или В; второй - точку С. Очевидно, что все три результата существенно отличаются друг от друга.

2. Оптимизация главного из нескольких критериев

При таком подходе один из критериев, наиболее важный с точки зрения ЛПР, оставляют в качестве единственного критерия, а все остальные заменяют ограничениями.

Пусть для определенности главным критерием считается f₁(X). Тогда следует выбрать ограничения и рассмотреть задачу об отыскании минимума f₁(X) при дополнительных ограничениях

При таком подходе возникает проблема выбора критериальных ограничений , что может потребовать выполнения специальных предварительных расчетов.

3. Последовательная оптимизация всех критериев

Сначала определяется минимальное значение f₁(X) при . Обозначим его через . Выбираем "уступку" по этому критерию h₁ и назначаем критериальное ограничение . Затем находится минимальное значение f₂(Х) при и дополнительном ограничении . Получив значение и выбрав "уступку" h₂, назначаем второе критериальное ограничение . После этого определяется минимальное значение f₃(Х) при , и и т.д.

На последнем шаге требуется найти минимальное значение f_r(X) при , . Если реализуется в точке Х^*, то эта точка считается наилучшей.

Очевидно, что точка Х^* зависит и от порядка нумерации критериев, и от выбора h₁, …, h_r-1. Кроме того, всегда остается сомнение в том, что выбрав какую-либо из уступок несколько большей, мы смогли бы существенно улучшить значения других критериев.

Все три метода нуждаются в дополнительной информации: в первом - это коэффициенты ?₁, …, ?_r; во втором - номер главного критерия и значения ограничений ; в третьем - порядок выбора критериев и величины уступок h₁, …, h_r-1.

Литература:

1. Попов Г.В. Выбор решений и безопасность: Учеб. пособие / Иван. гос. энерг. ун-т. - Иваново. 2003. - 92 с.

2. Карпенко А.П. Методы оптимизации (базовый курс). Электронное издание. 2007 URL: http://bigor.bmstu.ru/?cnt/?doc=BaseCourse

3. Романов В.Н. Системный анализ для инженеров / В.Н. Романов. - СПб: СЗГЗТУ, 2006. - 186 с.

Заключение

Источники опасностей, воздействующие на человека, природную среду и материальные ценности имеют естественное или антропогенное происхождение. Мир опасностей в начале XXI века достиг своего наивысшего развития. Ухудшение здоровья и гибель людей требуют от государства и общества приоритетного отношения к проблемам безопасности своего населения. Для этого должен быть задействован весь научно-технический потенциал, использованы имеющиеся у государства стратегические резервы. Иначе к 2050 г. в России численность населения может сократиться почти вдвое; ей грозит утрата значительных территорий и природных богатств.

Эффективность принимаемых решений на всех уровнях руководства страны, а также каждым человеком в обыденной жизни имеет первостепенное значение. Суммируясь, негативные решения стремительно приближают страну к полному краху, в то время как решения, взвешенные и исключительно ответственные способны вывести Россию из того бедственного состояния, в котором она оказалась.

Если после ознакомления с материалом учебного пособия читатель проникнется ощущением ответственности выбора при принятии решений для себя самого, своего окружения, организации, где он учится или работает, своей страны, то автор будет считать свою задачу выполненной.

Библиографический список

1) Попов Г.В. Выбор решений и безопасность: Учеб. пособие / Иван. гос. энерг. ун-т. - Иваново. 2003. - 92 с.

2) Ильина Н.В., Лапшин Д.Д., Федянин В.И. Системный анализ и моделирование процессов в техносфере: Учеб. пособие. Ч. 1. Воронеж: ГОУВПО «Воронежский государственный технический университет, 2008. 206 с.

3) Ильина Н.В., Лапшин Д.Д., Федянин В.И. Системный анализ и моделирование процессов в техносфере: Учеб. пособие. Ч. 2. Воронеж: ГОУВПО «Воронежский государственный технический университет, 2008. 128 с.

4) Романов В.Н. Системный анализ для инженеров / В.Н. Романов. - СПб: СЗГЗТУ, 2006. - 186 с.

5) Даниловцева Е.Р. Теория игр. Основные понятия: Текст лекций / Е.Р. Даниловцева, В.Г. Фарафонов, Г.Н. Дьякова. - СПб: СПбГУАП, 2003. - 36 с. (электронный курс)

6) Белов В.В., Воробьев Е.М., Шаталов В.Е. Теория графов. - М.: Высшая школа, 1976. - 392 с.

7) Балдин К.В. Теоретические основы принятия управленческих решений: Учеб. / К.В. Балдин, С.Н. Воробьев, В.Б. Уткин. - М.: Издательство Московского психолого-социального института; Воронеж: Издательство НПО «МОДЭК», 2005. - 504 с.

8) Александров Е.А. Основы теории эвристических решений. М.: Советское радио, 1975. - 254с.

9) Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.:, 1990. - 160с.

10) Белов П.Г. Теоретические основы системной инженерной безопасности. - М.: МИБ СТС, 1996.- 424с.

11) Воропай Н.И. Теория систем для электроэнергетиков. - Новосибирск: Наука, 2000. - 272с.

12) Киселев В.Ю. Экономико-математические методы и модели. Иваново: ИГЭУ, 1998. - 384с.

13) Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, 1996. - 208с.

14) Мушик Э., Мюллер П. Методы принятия технических решений. - М.: Мир, 1990. - 206с.

15) Руа Б. Классификация и выбор при наличии нескольких критериев (метод Электра). - В кн.: Вопросы анализа и процедуры принятия решений. М.: Мир, 1976, С. 80-107.

16) Химмельблау Д. Прикладное нелинейное программирование. - М.: Мир, 1975. - 534с.

17) Эддоус М., Стэнсфилд Р. Методы принятия решений. М.: ЮНИТИ, 1997. - 590с.

18) Экология и безопасность жизнедеятельности / Д.А. Кривошеин, Л.А. Муравей, Н.Н. Роева и др. М.: ЮНИТИ-ДАНА, 2000.- 447с.

19) Кох П., Мюллер И. Библиотека программ систематической эвристики для ученых и инженеров. / Пер. с нем.-Йошкар -Ола: Марийское кн. изд-во, 1974.

20) Ушаков К. Матрица экранирования, или метод группового выбора лучшей идеи / К. Ушаков, М. Драмбян // Журнал «Директор школы», 2002. - №2. - С. 1-3.

21) Орлов А.И. Современная прикладная статистика. - Журнал «Заводская лаборатория». 1998. Т.64. No.3. С. 52-60.