Размещено на http://www.allbest.ru/

Логистические методы прогнозирования в инновационном менеджменте

Введение

При планировании и управлении логистическими операциями часто используются различные методы и модели прогнозирования. От точности и достоверности прогнозов потребительского спроса, расходования материальных ресурсов, уровня запасов и т.п. напрямую зависит эффективность реализации практически всех логистических концепций. Логистические менеджеры в своей практической деятельности используют различные методы прогнозирования в зависимости от требуемой точности (достоверности), объема и вида исходной информации и других факторов, причем в большинстве случаев для этой цели применяются стандартные или индивидуальные компьютерные программы. Основной сферой приложения этих методов в логистике является прогнозирование спроса и объема продаж готовой продукции. Для целей внутрипроизводственной логистики (операционного менеджмента) большое значение имеет прогнозирование потребности в материальных ресурсах, что является актуальным для управления закупками и послепродажного сервиса (снабжения запасными частями).

Прогнозирование является неотъемлемой частью различных видов логистического планирования: стратегического, тактического, оперативного. Являясь средством научного обоснования плана, прогноз должен содержать необходимую информацию для планирования, включать вероятную оценку характера развития процесса логистического менеджмента и возможного пути реализации целей, поставленных перед логистической системой. С наиболее общих позиций, прогноз - это вероятностное суждение о состоянии логистического процесса, системы или отдельных элементов в определенный момент в будущем и (или) альтернативных путях достижения этого состояния. Экономический прогноз позволяет установить возможные направления и различные варианты развития логистической системы, а также помогает в выборе конкретных целей ее функционирования. Поэтому основное назначение прогноза в логистике состоит в раскрытии тенденции изменения микро- и макрологистической среды и получении вероятностных количественных и качественных оценок динамики логистических операций, необходимых персоналу менеджмента фирмы.

Инновационный менеджмент тесно связан с предпринимательством и коммерческим риском инвестиций. Функции и методы инновационного менеджмента базируются на объективных экономических законах товарного производства. В этой связи выделяется развитие малых форм инновационного бизнеса в научно-технической деятельности.

Актуальность темы обусловлена тем, что очень важно на современном этапе учесть все факторы и уменьшить риск инновационного проекта. Для этого применяются всевозможные методы прогнозирования, а именно методы экспертных оценок и методы моделирования.

Цель работы: описать прогнозирование в инновационной деятельности, методы прогнозирования.

Задачи: определить виды прогнозов, описать процесс прогнозирования инноваций, его обеспечение, учесть социальные и экологические последствия инноваций.

1. Методы прогнозирования, используемые в инновационном менеджменте

Одним из факторов, повышающих научную обоснованность управления инновационной деятельностью, является использование результатов прогнозирования. С функциональной точки зрения прогнозы можно классифицировать следующим образом:

* поисковые прогнозы, имеющие целью определение возможных состояний объекта прогнозирования в будущем;

* нормативные прогнозы, определяющие пути и сроки достижения возможных состояний объекта прогнозирования в будущем, принимаемых в качестве целей.

Обычная последовательность действий при прогнозировании включает следующие этапы:

* постановка задачи прогноза;

* анализ объекта прогнозирования;

* выбор метода прогнозирования;

* процесс разработки прогнозов;

* анализ разработки результатов.

С точки зрения анализа средств прогнозирования наиболее существенными этапами являются выбор метода прогнозирования и организация процесса разработки прогноза.

Методы прогнозирования можно подразделять на классы по целому ряду признаков, относящихся к особенностям цели прогнозирования, исследуемого процесса и используемого инструментария. Если в основу классификации заложить различия в источниках получения исходной информации, то методы прогнозирования можно разбить на два класса - фактографические методы прогнозирования и экспертные методы прогнозирования.

Выбор метода прогнозирования во многом определяет достоверность получаемых в результате прогнозирования данных и, следовательно, является весьма важным этапом. Процедура выбора метода прогнозирования предусматривает проведение нескольких этапов исследований:

* анализ задания на прогноз;

* анализ объекта прогнозирования;

* определение вида прогноза и периода упреждения;

* анализ исходной информации об объекте прогноза;

* выбор метода.

Методология прогнозирования базируется на различных по уровню, масштабам и научной обоснованности методах, приемах и методиках прогнозирования.

Широкое распространение в управлении инновационной деятельностью получили методы прогнозирования, связанные со сбором, систематизацией и обработкой различного рода экспертных оценок. Применение экспертных методов прогноза в целом ряде случаев является единственно возможным, если отсутствует количественная ретроспективная информация (применить фактографические методы в этом случае нельзя).

Методы экспертных оценок используются для прогнозирования научно-технических событий, являющихся источниками инноваций, для выявления мероприятий, необходимых для обеспечения целенаправленного научно-технического и экономического развития объекта, прогнозирования сроков и затрат на решение возникающих проблем. Экспертные методы позволяют прогнозировать появление качественных скачков в различных областях науки, техники, экономики, которые обусловливают изменение сложившихся тенденций развития. Недостатки, присущие всем экспертным методам, заключаются в преобладании субъективного подхода к оценке будущего. Часто наиболее точная оценка будущего смещается под воздействием психологических факторов, например таких, как влияние мнения большинства экспертов или мнения наиболее авторитетных ученых. Экспертные методы эффективны при прогнозировании развития сложных объектов, когда фактографические методы, дающие хорошие результаты для достаточно простых объектов с малым числом существенных признаков и детерминированными связями между ними, не оправдывают себя, поскольку найти функцию, адекватно аппроксимирующую зависимость между большим числом переменных в условиях неопределенности исходных данных и ограничивающих условий, практически невозможно.

Из группы фактографических методов широкое применение находят методы экстраполяции, суть которых заключается в том, что сложившиеся тенденции развития объекта принимаются такими и в будущем. Прогнозирование ведется для отдельных количественных характеристик объекта на основе функций, выражающих их зависимость от времени; параметры функций получают выравниванием статистических временных рядов. Для повышения достоверности прогнозов применяют модификации метода экстраполяции, например, методы экспоненциального выравнивания и методы огибающих кривых.

Возможности применения методов экстраполяции весьма многообразны, хотя и связаны с обязательным наличием количественной информации об объекте, причем отношение периода основания прогноза к периоду упреждения должно быть не менее трех. Возможные ошибки прогноза, связанные с применением методов экстраполяции, обусловлены невозможностью учета скачков и радикальных сдвигов в развитии объекта. Регрессионные и корреляционные модели, относящиеся к группе статистических методов, устанавливают количественную зависимость между переменными в виде математических формул, полученных в результате обработки статистической информации. Поскольку на практике изменение многих прогнозируемых показателей зависит от нескольких факторов, то такие зависимости выражают через многофакторные регрессионные модели. Теория и практика прогнозирования показывают, что наибольший эффект при разработке прогнозов достигается при применении комплекса методов, когда один метод дополняется другим. Комплексные методы прогнозирования применяются для предсказания развития сложных объектов, они позволяют не только произвести количественную оценку отдельных параметров объекта, но и разработать его структуру, дать рекомендации по ресурсному обеспечению прогнозируемого. Такие методы могут быть применены и для разработки научных проблем, т.е. выявления путей их решения, представляющих собой комплекс подпроблем и тем научных исследований.

В основу методологии выявления путей решения проблемы может быть положено построение информационно-логических моделей с использованием экспертных оценок, так как процесс структуризации основывается главным образом на качественной информации об объекте. Целью прогнозирования является определение возможных путей решения проблемы (развития объекта) и выбор наиболее эффективных вариантов достижения цели. Целью планирования является обеспечение достижения цели или определенного состояния развития на основе использования результатов прогнозирования. Разработка прогноза, включая и постановку цели, является неотъемлемой предпосылкой разработки плана. В этом смысле план можно рассматривать как средство достижения поставленной цели, содержащейся в прогнозе. Прогнозы всегда имеют характер рекомендательный для принятия решений.

Прогноз - это научное предвидение направлений и основных тенденций развития тех или иных явлений, которые в данных конкретных условиях не поддаются непосредственному регулированию с помощью плана. На стадии прогнозирования инновационной деятельности необходимо разрабатывать различные варианты как ее деятельности, так и последствий. Речь идет не о произвольном толковании возможностей развития науки, а о различных вариантах удовлетворения общественных потребностей с учетом первоначальных затрат и получаемого эффекта.

Взаимосвязь прогнозирования и планирования обусловливается еще и тем, что прогнозирование призвано совершенствовать планирование на основе использования объективных законов, изучения тенденций развития, предвидения последствий тех или иных принимаемых решений, определения возможных состояний прогнозируемого объекта в будущем. Прогнозирование не должно рассматриваться как самоцель, изолированно от планирования. Оно является важной предплановой стадией, характеризующей возможные результаты развития. Кроме прогнозов, разработка планов требует большого количества дополнительной различной информации, так как план всегда конкретнее, чем прогноз, на котором он базируется. Прогноз не может заменить плана, у них различные роли.

Прогноз характеризует вероятностное развитие, он не может быть адресным и директивным. Для плана, наоборот, характерны конкретная адресная направленность всех заданий и их директивность.

Существуют различные сочетания плана и прогноза:

* прогноз предшествует разработке плана;

* прогнозируются последствия принятых в плане решений;

* прогнозируется ход выполнения плана.

Непрерывность составления прогнозов обеспечивает своевременный учет качественных изменений в развитии, предотвращении нежелательных последствий принятых решений.

Таким образом, применение прогнозирования в процессе управления инновационной деятельностью является обязательным условием хорошей работы организаций, осуществляющих эту деятельность.

2. Экспертные методы прогнозирования

Экспертом принято называть высококвалифицированного специалиста в области решаемой проблемы. Для принятия решений мнения экспертов в той или иной форме использовались с незапамятных времен, однако внимание к ним стало существенно возрастать по мере усложнения процесса разработки решений (в частности, производственных технологий и т.д.). 50-60 годы XX в. считаются официальным временем становления и развития методов экспертного оценивания (прогнозирования) - научных методов анализа сложных проблем, в связи с публикациями первых работ, посвященных описанию и исследованию этих технологий.

Основными направлениями применения методов экспертного оценивания являются[5]:

* определение целей;

* экспертный прогноз (в случае, когда нельзя применить традиционные, фактофафические методы прогнозирования);

* сценарии ожидаемого развития ситуации;

* генерирование альтернативных вариантов;

* определение рейтингов;

* оценочные системы;

* принятие коллективных решений.

Можно указать целый ряд причин, определяющих выбор экспертных оценок в качестве метода прогнозирования, например: наличие неопределенности нестохастического вида (когда влияющие факторы неизвестны и, следовательно, не могут быть описаны статистическими методами), отсутствие фактофафической информации и надежной теоретической базы, дефицит времени на сбор и обработку необходимых статистических данных.

Целью экспертизы может быть получение как количественных, так и качественных экспертных оценок. Однако далее мы будем говорить об экспертных оценках в основном как о количественных оценках характеристик объектов экспертизы, уделяя внимание случаям, когда имеющие субъективный характер экспертные оценки для получения обобщенного мнения экспертов обрабатываются с использованием количественных методов. Полученное в результате такой обработки обобщенное мнение экспертов, разумеется, сохраняет субъективный характер, но в гораздо меньшей степени, чем отдельно взятая оценка какого-либо эксперта («ум хорошо, а два - лучше»).

3. Шкалы измерений в экспертном оценивании

При проведении процедуры оценивания экспертам необходимо измерить свойства (характеристики, показатели, параметры) объектов, т.е. поставить им в соответствие числа или другие символы по некоторым заранее определенным правилам. Важнейший вопрос, который нужно решить при измерении, - это каким образом присваивать числа изучаемым характеристикам?

На практике используются 4 шкалы, в которых могут быть измерены (оценены) характеристики объектов экспертизы:

* номинальная шкала (шкала наименований);

* порядковая шкала (ранговая шкала, ординальная шкала);

* шкала интервалов;

* шкала отношений (пропорциональная шкала).

Тип шкалы определяется допустимым преобразованием, т.е. при котором отношения между характеристиками объектов сохраняются неизменными. Рассмотрим перечисленные шкалы более подробно, в порядке повышения информативности измерений (т.е. в порядке повышения сложности шкалы).

Номинальная шкала (шкала наименований)

С точки зрения допустимых преобразований простейшей из шкал является номинальная, по-другому называемая шкалой наименований. Эта шкала используется в целях идентификации и классификации объектов. Значения показателей, измеренных в такой шкале для разных объектов, имеет смысл сравнивать только для установления тождества или различия этих объектов. Установить, например, отношения «больше» или «лучше» в шкале наименований не представляется возможным, поскольку числа на этой шкале играют роль ярлыков и к ним неприменимы математические правила.

Порядковая шкала (ранговая или ординальная шкала)

Более совершенной, чем номинальная, является часто встречающаяся в прикладных задачах порядковая шкала (эта шкала называется также ранговой или ординальной шкалой), где допускается преобразование в виде произвольной монотонно возрастающей функции.

Здесь примером измерений может служить оценка внешнего вида изделий, предполагающая назначение сравниваемым объектам определенного количества баллов за внешний вид.

Так, пусть два эксперта оценивают два образца следующим образом:

Показатель	Эксперт 1	Эксперт 2
Дыня Астраханская	2	3
Дыня Краснодарская	5	4

По результатам сравнения мнений экспертов можно определенно сказать, что внешний вид второго образца лучше, поскольку в обоих случаях второй образец имеет большее количество баллов, чем первый. Однако, несмотря на то, что оценки внешнего вида имеют количественное выражение, нельзя сказать, на сколько или во сколько раз второй образец лучше, чем первый.

Показатели, измеряемые в порядковой шкале, принято называть качественными.

Типичными примерами использования порядковых шкал являются ранги предпочтений торговых марок товаров, ранги качества товаров, распределения мест между участниками соревнований, оценки уровня интеллекта людей.

Интервальная шкала

Шкала интервалов, более совершенная по сравнению со шкалой отношений, допускает преобразование в форме умножения на положительную константу и прибавление произвольной константы: при любом линейном преобразовании вида у = ах+b (где х - изначальная оценка на шкале, параметр а > 0 - масштаб, параметр b0 - начало отсчета) свойства шкалы сохраняются. Количественные различия между оценками в интервальной шкале обозначают точно такие же различия между соответствующими характеристиками объектов.

Типичными примерами использования шкалы интервалов являются измерения времени и температуры (по шкале Цельсия или Фаренгейта), а также измерения большинства экономических параметров (таких, как производительность труда, себестоимость, рентабельность, ликвидность и т.д.). Показатели, измеренные в шкале не менее совершенной, чем шкала интервалов, называются количественными.

Другими словами, различия между характеристиками объектов в интервальной шкале можно измерять количественно (можно вычислить, насколько объекты различаются между собой по сравниваемой характеристике). Однако поскольку точка нуля в этой шкале не фиксирована, бессмысленно вычислять пропорции между оценками (нет смысла вычислять, во сколько раз различаются характеристики объектов).

Показатели, измеренные в шкале не менее совершенной, чем шкала интервалов, называются количественными.

Шкала отношений (пропорциональная шкала)

В случае, когда на шкале интервалов можно указать абсолютный нуль (фиксированное начало координат или естественное начало), речь идет уже о шкале отношений, называемой также пропорциональной шкалой, и о более высоком уровне измерений. Таким образом, шкала отношений допускает преобразование в форме умножения на положительную константу. Примерами использования шкалы отношений могут служить измерения массы и стоимости изделий.

Понятно, что выбор типа шкалы для измерения определенной характеристики объектов зависит от содержания характеристики и не может быть осуществлен чисто формальным путем, без анализа смысла характеристики. Одна и та же характеристика в разных задачах может рассматриваться как измеренная в различных шкалах. Если нас интересует выбор объекта (из множества) с наибольшим значением данной характеристики безотносительно к тому, чему будет равно это значение, то можно считать ее измеренной в порядковой шкале. Если же нас интересует выбор объекта со значением характеристики, наиболее близким к некоторой заданной величине, то эту характеристику придется рассматривать как количественную, измеренную в шкале интервалов[3].

4. Методы измерений в экспертном оценивании

Процедура экспертного оценивания - это установление отношений между характеристиками объектов и числами, составляющими определенную числовую систему. Тип шкалы, применяемой для измерения характеристик сравниваемых объектов, определяет совокупность возможных способов сравнения этих характеристик.

Таблица 1. Допустимые методы измерений в шкалах различных типов (допустимые сочетания отмечены знаком «+»)

Метод измерений	Шкала
	Номинальная	Порядковая	Интервальная
Ранжирование		+	+
Парное сравнение		+	+
Непосредственная оценка			+
Последовательное сравнение			+

При экспертном оценивании используют следующие основные методы измерения, регламентирующие способы сравнения экспертных оценок:

* ранжирование;

* парное сравнение;

* непосредственная оценка;

* последовательное сравнение.

Ранжирование

Ранжирование - это процедура упорядочения объектов, выполняемая экспертом в случае, когда оцениваемые показатели объектов не поддаются непосредственному измерению. При использовании этого метода характеристики всех объектов сравниваются друг с другом.

В результате применения ранжирования эксперт располагает объекты в порядке возрастания (или убывания) значения оцениваемой характеристики. При этом в соответствие каждому объекту ставится определенное натуральное число, называемое рангом. Он характеризует порядковое место оцениваемого объекта в рассматриваемой группе объектов. Обычно наиболее предпочтительному объекту присваивают ранг, равный 1, второму по предпочтению объекту - 2 и т.д. Эквивалентные объекты получают равные ранги (связные ранги), каждый из которых равен среднеарифметическому значению порядковых мест этих объектов.

Пример.

№ объекта	1	2	3	4	5
Ранг объекта	4	2,5	5	1	2,5

В приведенном примере наиболее предпочтительным объектом является 4-й (1-й ранг), второе и третье места по предпочтению делят между собой 2 и 5-й объекты (их ранги равны 2,5: (2 + 3)/2 = 2,5), на четвертом месте по предпочтению - 1-й объект (4-й ранг), и, наконец, наименее предпочтительный объект - 3-й (5-й ранг).

Метод ранжирования неприменим при большом числе объектов (больше 15-20).

Для того чтобы на основе ранжировок нескольких экспертов была получена обобщенная ранжировка, необходимо, чтобы полученные от экспертов ранжировки были стандартизированными, т.е. для N рангов должно выполняться равенство:

(1)

Метод стандартизированного ранга

Любую ранжировку можно свести к стандартизированной при помощи несложных алгоритмов, одним из таких алгоритмов является метод стандартизированного ранга. Приведем алгоритм этого метода, предварительно условно обозначив:

и - ранги объектов до проведения процедуры стандартизации и после нее соответственно (n = , где N - количество проранжированных объектов);

S - счетчик итераций (начальное значение s равно 0);

Р - количество элементов во множестве нестандартизированных рангов (начальное значение Р равно N).

Шаг 1. Присвоение очередного значения счетчику итераций: s: =s +1.

Шаг 2. Формирование L - подмножества, которые составляют максимальные ранги из множества нестандартизированных, и подсчет К - количества элементов подмножества L.

Шаг 3. Стандартизация всех рангов, составляющих подмножество L:

(2)

Шаг 4. Определение Р - количества элементов во множестве нестандартизированных рангов: Р:= Р - К.

Шаг 5. Если Р= 0, то все ранги стандартизированы - конец расчетов по алгоритму; если Р О, то осуществляется переход к шагу 1.

Пример. Исходная информация для расчетов по методу стандартизированного ранга [3]:

№ объекта, n	1	2	3	4	5	6	7	8	9	10
Ранг объекта, rn	2	12	2	12	8	8	0	8	0	6

Результаты расчетов на 1-й итерации алгоритма:

= = 10 - (2-1)/2=9,5 Р =10-2=8.

Результаты расчетов на 2-й итерации алгоритма:

= ==8 - (3-1)/2 = 7; Р =8-3 = 5.

Результаты расчетов на 3-й итерации алгоритма:

=5 - (1-1)/2=5; Р =5-1 = 4.

Результаты расчетов на 4-й итерации алгоритма:

= = 4 - (2-1)/2 = 3,5; Р =4-2=2.

Результаты расчетов на 5-й итерации алгоритма:

= =2 - (2-1)/2=1,5; Р =2-2=0.

Результаты стандартизации рангов:

№ объекта, n	1	2	3	4	5	6	7	8	9	10
Ранг объекта,	3,5	9,5	3,5	9,5	7	7	1,5	7	1,5	5

Парное сравнение

Парное сравнение - это метод измерения, при котором характеристики объектов сравниваются экспертами попарно для установления более предпочтительного объекта в каждой паре. Таким образом, данный метод, в отличие от ранжирования, имеющего ограничения по количеству оцениваемых объектов, может применяться для сколь угодно большого числа пар объектов. Сравнение только двух объектов (вместо всех сразу, как при ранжировании) - более простая задача для экспертов. Этот метод может быть применен также в том случае, когда различия между объектами слишком малы, чтобы было возможно их прямое ранжирование. При использовании метода парных сравнений результаты оценивания записывают в таблицу, называемую матрицей парных сравнений.

Таблица 2. Пример матрицы парных сравнений

Объект	А1	А2	А3
А1	0,5	0	0
А2	1	0,5	0,5
А3	1	0,5	0,5

Элементы матрицы парных сравнений могут принимать три различных значения: если i-й объект предпочтительнее j-го, то значение элемента равно 1, а значение элемента - 0; если же объекты эквивалентны, то = = 0,5.

Примечание. В литературе матрицу сравнений иногда предлагается заполнять следующими способами:

* если i-й объект предпочтительнее j-го, то = 2, = 0; если же объекты эквивалентны, то = = 1;

* если i-й объект предпочтительнее j-го, то = 1, = -1; если же объекты эквивалентны, то = = 0.

Понятно, что любую ранжировку очень легко превратить в матрицу парных сравнений:

(3)

Существует и обратная возможность перехода от матрицы парных сравнений к ранжированию. Например, это осуществляется при помощи следующего алгоритма. Пусть m экспертов проводят попарное сравнение характеристик n объектов и присваивают значения соответствующим элементам матрицы парных сравнений (так, как это было предложено в примере заполнения матрицы парных сравнений в табл. 2). Каждый эксперт формирует свою матрицу парных сравнений. Если при оценке i-го и j-го объектов экспертов высказались в пользу предпочтения i-го объекта над j-м, , экспертов высказались наоборот, а экспертов считают эти объекты эквивалентными, то оценка математической величины равна Х_ij:

(4)

Поскольку m=m_i+m_n+m_j, то:

(5)

Совокупность величин Х_ij образует неотрицательную матрицу, на основе которой можно построить ранжирование всех объектов Х= (Х_ij). Матрица называется неразложимой, если при помощи перестановки строк и одноименных столбцов ее нельзя привести к треугольному виду:

(6)

где А_ij - неразложимые подматрицы X.

При i = n матрица X неразложима.

Если матрица X неразложима, то по результатам парного сравнения объектов в интервальной шкале возможно измерение предпочтительности объектов и ранжирование, а в плане порядков - ранжирование.

Если матрица X разложима, то возможно только ранжирование объектов. Эти действия осуществляются следующим образом. Вычисляется вектор коэффициентов относительной важности объектов порядка t (t=1,2,3…):

(7)

Где

Для t=1 полагают, что

Расчет K^t прекращают при стабилизации значений его компонент. Ранжировка объектов определяется цепочкой неравенств К1> К2> К3>К4>…>К_n. Решение рассмотренной задачи возможно и при наличии только одного эксперта (m = 1).

Непосредственная оценка

Непосредственная оценка - это метод измерения, который представляет собой процедуру приписывания объектам числовых значений в шкале интервалов (при наличии полной информации о свойствах объектов). При непосредственной оценке эксперт ставит в соответствие каждому объекту число на непрерывной числовой оси (точечная оценка) или же каждый объект помещается экспертом в определенный оценочный интервал, получая при этом соответствующее количество баллов (в таком случае диапазон изменения оцениваемой характеристики предварительно разбивается на несколько интервалов, каждому из которых присваивается определенный балл).

Естественно, что от непосредственных оценок легко перейти к ранжировке, если упорядочить эти оценки, например по убыванию, а затем приписать каждой оценке соответствующее натуральное число (ранг), начиная с присвоения ранга, равного 1, максимальной оценке.

Последовательное сравнение

Последовательное сравнение - это комплексная процедура, включающая как ранжирование, так и последующую непосредственную оценку, проводящуюся в несколько этапов, цель каждого из которых - коррекция непосредственных оценок с учетом полученной ранжировки.

Рассмотрев базовые типы шкал и соответствующие методы измерений, следует отметить, что проблемы, для решения которых приходится применять методы экспертного оценивания, принято разделять на два класса.

Проблемы одного из этих классов характеризуются тем, что в их отношении в целом имеется достаточная информация, но она может носить качественный характер или имеется многокритериальность, что вызывает необходимость привлечения экспертов. При этом считают, что групповое мнение экспертов будет близко к истинному значению оцениваемых параметров. Здесь эксперты используют порядковую и интервальную шкалы. Для обработки оценок экспертов в этом случае можно широко использовать методы математической статистики. Проблемы, составляющие другой класс, не характеризуются достаточным информационным потенциалом. Здесь эксперты используют номинальную и порядковую шкалы. Обработка мнений экспертов для получения обобщенных оценок в данном случае не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важнейшую роль здесь приобретают процедуры качественной обработки оценок экспертов.

Часто эксперты не только оценивают характеристики объектов, но и формируют их множество. Например, эксперты сначала составляют перечень возможных событий, а затем оценивают вероятности их наступления, или вероятные интервалы времени их наступления.

5. Организация и проведение экспертизы

Процедура организации и проведения экспертизы включает несколько этапов.

Этап I. Создание группы управления, назначение ее руководителя и разработка руководящего документа экспертизы.

В руководящем документе экспертизы определяются цели и задачи экспертизы, обосновывается ее необходимость, определяются основные этапы и порядок осуществления экспертизы, сроки выполнения отдельных работ, указываются состав, задачи, обязанности и права группы управления; определяются источники финансового и материального обеспечения работ.

Задача группы управления состоит в решении всех вопросов, оговоренных руководящим документом.

Этап II. Подбор и формирование экспертной группы.

Основным требованием к процедуре экспертизы является надежность результатов, достигаемая в том числе и за счет качественной и количественной оптимизации состава группы экспертов.

На этом этапе устанавливают долевой состав экспертов, количество экспертов в группе, предварительный список экспертов. Затем с помощью процедуры отбора, предлагаемой группой управления, формируют группу экспертов.

Существуют два альтернативных подхода к отбору экспертов - алгебраический и статистический. Эти подходы отражают принципиальную разницу между двумя типами задач, решаемых с помощью экспертизы. Алгебраический подход применим лишь в том случае, если мнения всех экспертов рассматриваются как равноправные, а статистический - если значимость мнения эксперта зависит от его компетентности. Мнения экспертов могут быть равноправными лишь в том случае, если задачей экспертизы является не выявление некоторой объективной истины, не оценка объекта (свойства), независимо от сознания, интересов экспертов, а напротив, согласование интересов экспертов, выработка компромиссного коллективного решения, учет субъективности в суждениях эксперта. Эти различия в характере решаемых задач сказываются на процедуре формирования экспертной группы: в одном случае требуется отбор наиболее компетентных лиц, в другом - наиболее «представительных», отражающих мнения, интересы определенных социальных групп или институтов[4].

Общее требование, налагаемое на работу по подбору экспертов, - обеспечение эффективного решения проблемы. Это требование означает обеспечение высокой достоверности экспертного оценивания при заданном уровне затрат на него. Достоверность экспертного оценивания тем выше, чем большее количество экспертов мы привлекаем, чем выше их индивидуальные характеристики, чем шире представлены в экспертной группе специалисты различных областей.

Существует довольно много подходов к количественной оценке характеристик экспертов, эти подходы можно объединить в 4 группы:

* методы самооценки;

* методы оценки группой каждого специалиста;

* оценки на основе результатов прошлой деятельности экспертов;

* методы определения компетентности кандидатов.

Этап III. Разработка способа организации и методики проведения, как опроса экспертов, так и обработки данных экспертного опроса. На этом этапе устанавливают форму проведения опроса экспертов - анкетирование, интервьюирование, дискуссия, деловая игра, совещание, метод коллективной генерации идей («мозговой штурм») и т.д.; определяют место и время опроса, способ предъявления вопросов экспертам (очный, заочный, устный, письменный; вопросы - открытые (т.е. свободные по форме), закрытые (т.е. с набором возможных альтернатив), прямые, косвенные и т.п., порядок фиксации и сбора результатов опроса, информационное обеспечение работы экспертов.

Рассмотрим некоторые формы проведения опроса экспертов.

Метод комиссий состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, а также обратная связь - под воздействием полученной информации эксперт может изменить первоначальную точку зрения. Недостатки метода комиссий: отсутствие анонимности, из-за чего дискуссия нередко приобретает характер полемики наиболее авторитетных экспертов; различная активность экспертов часто не совпадает с их компетентностью, публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанных мнений.

Экспертиза по методу суда характеризуется аналогией с судебным процессом.

Состав экспертов делится на две группы. Одна выступает в качестве защиты рассматриваемой альтернативы, другая группа объявляется противниками и пытается выявить ее отрицательные черты. Существует и третья группа, которая регулирует ход экспертизы и выносит окончательное решение.

Основная направленность «мозговой атаки» (по-другому этот метод называют также методом «мозгового штурма» или методом коллективной генерации идей) - выявление новых идей. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Данный метод характеризуется открытым высказыванием мнений специалистов по решению конкретной задачи. При этом должны соблюдаться два условия: 1) запрещается критика чужих суждений; 2) предлагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выявляются рациональные моменты в каждом из высказываний и на основе их обобщения формируется решение. Достоинство данного метода - возможность принятия решения за сравнительно короткий срок.

Дельфийский метод является одним из основных при проведении экспертиз и имеет множество модификаций (можно сказать, что это целая группа методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок). Метод проводится в несколько туров. На первом туре экспертам сообщается цель экспертизы и формулируются вопросы непосредственно по предмету экспертизы. Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние точки зрения. Последующие туры не отличаются от второго. Характерной особенностью метода является уменьшающийся от тура к туру разброс оценок экспертов, их возрастающая согласованность (однако иногда может наблюдаться поляризация различных точек зрения). Дельфийский метод предусматривает создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы - с другой. Метод прогнозного графа - это метод прогнозирования развития сложных систем, включающий несколько этапов (центральное место в нем занимает формирование прогнозного графа). На первом этапе составляется предварительный список промежуточных целей, достижение которых необходимо для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных промежуточных и конечной целей. На втором этапе анализу подвергаются промежуточные цели, сформированные экспертами на первом этапе (эксперты второго тура имеют право корректировать цели, сформулированные в первом туре). Последующие этапы экспертизы аналогичны второму. Процедура заканчивается при достижении того уровня целей, при котором не требуется проведения дополнительных исследований и разработок. Цель метода сценариев - с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между действующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием тех или иных воздействий. Перечень возможных вариантов развития событий позволяет обнаружить критические ситуации для принятия решений, потенциальные последствия предлагаемых альтернатив и выбор на этой основе наиболее эффективной.

Этап IV. Проведение экспертного опроса.

Этап V. Обработка и анализ результатов экспертного опроса.

Цель обработки данных экспертного опроса - получение обобщенной экспертной оценки на базе индивидуальных оценок экспертов.

Задача получения обобщенной экспертной оценки может быть решена следующими методами:

1) статистическими;

2) алгебраическими;

3) методами шкалирования;

4) при помощи эвристических процедур.

Статистические методы основаны на предположении о случайности отклонения оценок экспертов от истинных значений оцениваемых параметров. Задача получения результирующих оценок ставится как задача восстановления истинного параметра на основе имеющихся оценок с наименьшей погрешностью.

Суть алгебраических методов заключается в задании расстояния на множестве оценок экспертов и определении такой результирующей оценки, сумма расстояний от которой до оценок экспертов будет минимальной.

При использовании методов шкалирования по экспертной информации о степени различия объектов определяется минимальный набор критериев и оценок по ним, устанавливающих указанные экспертом отличия.

Метод индексной группировки экспертных оценок

Примером эвристического метода обработки мнений экспертов является метод индексной группировки экспертных оценок, алгоритм которого рассмотрим подробно.

Пусть а_ij - экспертная оценка (n =, где N - количество экспертных оценок). Шаг 1. Установление средней оценки ():

(8)

Где ,

Шаг 2. Расчет отклонений экспертных оценок от установленной средней величины (d_n), формирование множеств Р и М (Р - множество экспертных оценок, образовавших положительные отклонения от среднего; М - множество экспертных оценок, образовавших отрицательные отклонения от среднего) и подсчет количества элементов этих множеств (m - количество элементов множества М; р - количество элементов множества Р):

 (9)

Если , то

Если , то

Шаг 3. Определение сумм отрицательных (S^-) и положительных (S⁺) отклонений:

; (10)

Шаг 4. Установление значений индексов k₁ и k₂:

Если , то ; k₂=1

Если , то k₁=1;

Шаг 5. Расчет обобщенной экспертной оценки (А*):

(11)

Пример. Имеется 7 экспертных оценок: 5,6,8,9,9, Ш, И * Необходимо получить обобщенную экспертную оценку по методу индексной группировки экспертных оценок.

Шаг 1: = (5 + 11)/2=8.

Шаг 2: 5-8 = -3;

6-8 = -2;

8-8 = 0;

9-8 = 1;

9-8 = 1;

10-8 = 2;

11-8 = 3.

Шаг 3: = 7,= -5.

Шаг 4: поскольку > | |, то = 7 / 5 = 1,4, = 1.

Шаг 5:

После получения обобщенной экспертной оценки необходимо оценить качество экспертизы. Качество экспертизы определяется той надежностью, с которой можно пользоваться обобщенными (фупповыми) оценками, а они в свою очередь могут считаться надежными только при условии хорошей согласованности мнений экспертов, которая может быть оценена с помощью количественных методов (поскольку экспертные оценки могут рассматриваться как случайные переменные, распределение которых отражает суждения специалистов о вероятности того или иного исхода события, то для анализа разброса и согласованности этих оценок могут применяться обычные статистические методы).

VI этап. Формулирование решения проблемы на основе экспертных оценок, оформление отчета и его утверждение.

Итак, на этапах II, III и V с целью повышения достоверности экспертных суждений следует уделить особое внимание грамотному использованию математических методов.

6. Получение обобщенной экспертной оценки на основе индивидуальных оценок экспертов

Рассмотрим некоторые алгоритмы получения результирующих (обобщенных оценок):

* метод сумм рангов;

* расчет среднего арифметического значения;

* метод «большинства голосов»;

* метод нормированных рангов;

* расчет медианы;

* расчет моды;

* получение групповой оценки в интервальной шкале.

1. Рассматриваются четыре объекта, оцененные в порядковой шкале тремя экспертами (табл. 3, графы 1-4). Необходимо найти обобщенную ранжировку следующими способами:

* методом сумм рангов;

* расчетом среднего арифметического значения;

* методом «большинства голосов»;

* методом нормированных рангов.

Таблица 3. Получение обобщенной экспертной оценки на основе индивидуальных оценок экспертов

Объекты	Эксперты	Si	Распределение голосов	Mi	Распределение голосов	«Большинство голосов»	ri	Распределение голосов
1	2	3	4	5	6	7	8	9	10	11
1	2	1	1	4	1	1,3	1	1	0,1	1
2	3	4	3	10	3,5	3,3	3,5	3	0,3	3,5
3	1	3	2	6	2	2	2	2	0,2	2
4	4	2	4	10	3,5	3,3	3,5	4	0,3	3,5

В графе 5 отражены результаты расчетов по формуле для метода сумм рангов:

(12)

Где r_ij - ранг, назначенный j-ым экспертом i-ому объекту (фактору)

n - число экспертов.

S₁ = 2+l + l=4;

S₂ = 3 + 4 + 3 = 10;

S₃=1 + 3 + 2 = 6;

S₄ = 4 + 2 + 4=10.

Соответствующее распределение голосов экспертов отражено в графе 6.

В графе 7 отражены результаты расчетов (Л/^) по формуле среднего арифметического:

где r_ij - ранг, назначенный j-м экспертом i-ому объекту (фактору);

n - число экспертов.

M₁ = (2+1 + 1)/3=1,3;

M₂ = (3+4+3)/3 = 3,3;

Мз = (1 + 3 + 2)/3 = 2;

M₄ = (4 + 2 + 4)/3 = 3,3.

Соответствующее распределение голосов экспертов отражено в графе 8.

В графе 9 представлены результаты расчетов по методу «большинства голосов» (объект ставится на то место, которое отдано ему большинством голосов).

В графе 10 отражены результаты расчетов по формуле для метода нормированных рангов:

; (13)

Где r_ij - ранг, назначенный j-ым экспертом i-ому объекту (фактору)

n - число экспертов

m - количество объектов

W_ij - коэффициенты относительной значимости отдельных оценок объектов для каждого эксперта

R_i - нормированный ранг для i-ого объекта (фактора).

Соответствующее распределение голосов экспертов отражено в графе 11.

При использовании метода нормированных рангов каждый эксперт может иметь свою шкалу предпочтений.

Формула для расчета прогноза времени по моде:

(14)

где X_Мо - начальное значение интервала времени, набравшего наибольшее число голосов;

Нмо - величина рассматриваемого интервала времени;

N_Мо - число экспертов, отдавших свои голоса за рассматриваемый интервал времени;

N_Мо-1 - число экспертов, отдавших свои голоса за предыдущий интервал времени;

N_Мо+1 - число экспертов, отдавших свои голоса за последующий интервал времени.

Определим тот интервал времени, за который эксперты отдали большинство голосов. В данном случае это интервал времени (10; 15), за который проголосовали 29 человек. С помощью приведенной выше формулы определим, что прогноз времени свершения события составит 14 лет:

Формула для расчета прогноза времени по медиане:

(15)

Где X_Ме - начальное значение интервала времени, накопленная сумма числа голосов которого больше или равна половине количества опрошенных экспертов;

Н_Ме - величина рассматриваемого интервала времени;

N_Ме - число экспертов, отдавших свои голоса за рассматриваемый интервал времени;

N_Ме-1 - число экспертов, отдавших свои голоса за предыдущий интервал времени;

N_i - число экспертов, отдавших свои голоса за i-ый интервал времени.

Определим половину общего числа опрошенных экспертов (М)\ М= 101/2 = 50,5. Выберем интервал времени (15; 20) (накопленная сумма числа экспертов равна: 6-н 13 + 29 + 25 = 73, число 50,5 попадает в интервал (15; 20)), за который проголосовали 25 человек. С помощью приведенной выше формулы определим, что прогноз времени свершения события составит 19 лет:

Средняя оценка для каждого объекта, рассматриваемая как фупповая, рассчитывается по следующей формуле:

; i=1,…, n (16)

где i - номер объекта,

j - номер эксперта,

h - номер характеристики (показателя) сравнения объектов.

q_h - коэффициент весов показателей сравнения объектов;

k_j - коэффициент компетентности экспертов.

Величины q_h, могут быть получены экспертным путем:

(17)

где q_hj - коэффициент веса h-го показателя, устанавливаемый j-ым экспертом.

Коэффициенты компетентности экспертов вычисляются с помощью рекуррентной процедуры, основанной на корректировке коэффициентов компетентности в зависимости от степени согласованности оценок экспертов с групповой оценкой объектов:

(18)

При t = 1 k_j =, т.е. компетентность экспертов сначала принимается одинаковой. Процедура вычисления х осуществляется до тех пор, пока их значения не стабилизируются.

Пусть, например, пять экспертов (n = 5) оценили два объекта (m = 2) (табл. 4).

Таблица 4

Объект	Эксперт
	1	2	3	4	5
1	0,2	0,6	0,5	0,3	0,1
2	0,8	0,4	0,5	0,7	0,9

Проведем вычисление групповых оценок и коэффициентов компетентности. Средние оценки объектов первого приближения при t = 1 равны:

Вычислим величину :

Получаем коэффициенты компетентности:

Вычисляем групповые оценки объектов второго приближения, получаем вектор х² = (0,32; 0,68). Величина = 2,788, вектор коэффициентов компетентности имеет вид k² = (0,218; 0,1664; 0,1793; 0,1052; 0,2311), соответственно х³ = (0,31776; 0,68224) и = 2,79. Видим, что значения k, , х стабилизировались и дальнейшие вычисления бессмысленны.

6. Оценка согласованности мнений экспертов

Для оценки согласованности мнений экспертов могут использоваться дисперсионный и энтропийный коэффициенты конкордации, коэффициент вариации (оценка степени согласованности экспертов в отношении каждого объекта) и т.п.

W(N) - дисперсионный коэффициент конкордации относится к множественным оценкам согласованности и может быть рассчитан по следующей формуле:

(19)

Где

, - количество исследуемых факторов;

(20)

N - число экспертов

r _i - сумма рангов по i-му фактору ()

Z_ij - ранг, присвоенный i-му фактору j-ым экспертом;



Следовательно, формула для расчетов W(N) может быть представлена следующим образом:

(21)

Значение W(N) лежит в пределах: О < W(N) < 1.

Случай, когда W(N) = 1, означает, что мнения экспертов полностью совпадают.

Случай, когда W(N) = 0, означает полное несовпадение мнений экспертов.

Для случая, когда в оценках есть повторяющиеся (связные) ранги,

коэффициент конкордации принимает модифицированный вид:

(22)

Где

- количество элементов в соответствующей группе связных рангов;

m_j - количество групп связных рангов.

V_i - коэффициент вариации оценок рассчитывается по следующей формуле:

 (23)

Где - среднеквадратическое отклонение;

- дисперсия оценок D_j, где:

m_j - количество экспертов, оценивших j-й фактор;

m - количество экспертов, принявших участие в оценке; i= 1,…, m

n - количество факторов, предложенных для оценки; j = 1,…, n.

V_j определяется для каждого критерия и характеризует степень согласованности мнений экспертов об относительной важности j-го фактора. Чем меньше V_j, тем выше степень согласованности экспертов об относительной важности j-го фактора.

В качестве меры взаимосвязи между двумя ранжировками используются различные показатели, например, коэффициенты ранговой корреляции Спирмена и Кендала, в расчетных формулах которых используются следующие обозначения:

Z_ki - ранг, присвоенный i-му фактору k-ым экспертом;

i = 1, m - количество исследуемых факторов;

j = 1, N - число экспертов.

- коэффициент ранговой корреляции Спирмена - коэффициент, показывающий меру взаимосвязи между двумя ранжировками, предоставленными j-ым и k-ым экспертами, рассчитывается по следующей формуле:

(24)

Значение лежит в пределах: -1 < < 1.

Случай, когда =1, означает, что мнения экспертов полностью совпадают.

Случай, когда =-1, означает полное несовпадение мнений экспертов.

Для случая, когда в оценках есть повторяющиеся ранги, коэффициент Спирмена принимает модифицированный вид:

(25)

Где

- количество элементов в соответствующей группе связных рангов;

m_j - количество групп связных рангов.

Например, есть две ранжировки, предоставленные двумя экспертами по четырем признакам (табл. 4). Первая ранжировка имеет повторяющуюся группу (первый эксперт считает, что третье и четвертое свойства равнозначны).

Таблица 4. Расчет коэффициента Спирмена для повторяющихся рангов

Объект	Эксперт
	1	2	3	4
1	1	2	3,5	3,5
2	4	3	2	1

Найдем = 1 - (6 /60)*18,5 = -0,85. Далее, используя формулу модифицированного коэффициента, получим окончательный ответ:

Рассчитанный коэффициент показывает, что у экспертов наблюдается почти полное несовпадение мнений.

- коэффициент ранговой корреляции Кендала - коэффициент, показывающий меру взаимосвязи между двумя ранжировками, предоставленными j-ым и k-ым экспертами, рассчитывается по следующей формуле:

(26)

где I(Z_j, Z_k) - матрица инверсий, отражающая совпадение мнений j-го и k-го экспертов по поводу предпочтения двух признаков: (0 - совпадение мнений; 1 - несовпадение мнений).

Матрица инверсий строится на основе матрицы предпочтений:

А^L =(), представляющей собой результат сравнения L-м экспертом i-го и j-го признаков:

(27)

Значение лежит в пределах: -1 < < 1.

Случай, когда =1, означает, что мнения экспертов полностью совпадают.

Случай, когда = -1, означает полное несовпадение мнений экспертов.

Пример. Есть две ранжировки, предоставленные двумя экспертами по пяти признакам:

Признак	1	2	3	4	5
Эксперт 1

Подобные документы

• Методы прогнозирования трудовых ресурсов

  Понятие и содержание процесса прогнозирования трудовых ресурсов на современном предприятии, его значение в деятельности и используемые методики. Практический пример прогнозирования, его главные этапы и специфика, инструментарий и выполняемые функции.
  
  курсовая работа [116,9 K], добавлен 24.12.2011
  

• Функции и методы прогнозирования

  Понятие, функции и методы прогнозирования – научно-обоснованного суждения о возможных состояниях объекта в будущем, об альтернативных путях и сроках их достижения. Классификация методов прогнозирования: социосинергетика, "коллективная генерация идей".
  
  курсовая работа [51,1 K], добавлен 10.03.2011
  

• Теоретические основы прогнозирования спроса на товары

  Сущность экономического прогнозирования, характеристика основных форм предвидения. Предвидение внутренних и внешних условий деятельности. Виды прогнозов и технология прогнозирования. Методы прогнозирования: экспертные, статистические, комбинированные.
  
  курсовая работа [479,1 K], добавлен 22.12.2009
  

• Прогнозирование в менеджменте

  Понятие и сущность прогнозирования, основные формы и методы реализации данного процесса в современных организациях. Выбор прогнозирования производства конкурентоспособной продукции. Исследование и оценка эффективности прогнозов и пути ее повышения.
  
  курсовая работа [70,0 K], добавлен 25.08.2013
  

• Методологические основы прогнозирования

  Фактографические методы прогнозирования. Виды опросов: о намерениях фирм-покупателей инвестиционных товаров и планах будущих вложений со стороны производителей. Практическое использование методов экспертных оценок. Способ построения прогнозного сценария.
  
  курсовая работа [145,0 K], добавлен 28.01.2014
  

• Методы прогнозирования, их классификация, характеристика, область применения

  Изучение методов прогнозирования развития: экстраполяции, балансового, нормативного и программно-целевого метода. Исследование организации работы эксперта, формирования анкет и таблиц экспертных оценок. Анализ математико-статистические моделей прогноза.
  
  контрольная работа [70,7 K], добавлен 19.06.2011
  

• Применения методов прогнозирования

  Наиболее популярные методы прогнозирования в логистике. Прогноз текущего расхода деталей на складе. Определение рейтинга поставщика методом экспертных оценок. Задача выбора поставщика с учетом динамики показателей его работы. Динамика задержек поставок.
  
  курсовая работа [376,0 K], добавлен 17.12.2013
  

• Антикризисное управление и методы прогнозирования банкротства предприятия

  Стадии и процедура банкротства, финансовое оздоровление и конкурсное производство. Качественные и количественные методы прогнозирования, пятифакторная модель Альтмана. Антикризисное управление на предприятии: анализ, планирование, организация и контроль.
  
  курсовая работа [57,8 K], добавлен 06.03.2011
  

• Экспертные методы оценки управленческого решения

  Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.
  
  реферат [209,3 K], добавлен 10.05.2010
  

• Сущность и методы планирования и прогнозирования

  Понятия прогнозирования и планирования. Почему прогнозировать сложно. Различные виды неопределенностей. Критерии классификации планирования. Основные техники и виды планирования. Основные методы прогнозирования. Планирование как управленческое решение.
  
  презентация [672,9 K], добавлен 01.09.2016
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам