Методы экспертных оценок

Размещено на http://www.allbest.ru/

Реферат: «Методы экспертных оценок»

Введение

Экспертные технологии - неотъемлемая составная часть процесса подготовки и принятия важных управленческих решений.

Профессионально принятое решение основано на адекватном представлении управленческой ситуации, понимании структуры и комплексного (системного) характера ее составляющих, учете основных факторов и тенденций, влияющих на ее развитие, определении путей эффективного достижения поставленных целей.

Управленческие ситуации могут возникать простые и сложные, а решения, как в простых, так и в сложных случаях хотелось бы принимать эффективные, приводящие к достижению поставленных целей.

Следует отметить, что для нашего времени характерна возросшая технологическая сложность процесса управления. С одной стороны, это объясняется возросшей сложностью объектов управления, с другой стороны, необходимостью учитывать объективные тенденции развития управленческой ситуации, а также ожидаемые решения лиц, способных оказать влияние на ее развитие. Необходимо принимать во внимание резко возросший в последние годы уровень конкурентной борьбы за рынки сбыта, а также уровень интеллектуальной составляющей, как в сфере производства, так и в сфере управления. Новые возможности открываются с появлением компьютерных технологий поддержки процесса принятия управленческих решений.

Все это предъявляет дополнительные требования к интеллектуальной составляющей процесса управления. А, значит, делает более востребованными профессиональные знания и опыт специалистов - экспертов, как непосредственно обеспечивающих деятельность объекта управления, так и призванных обеспечить эффективное управление им.

Владение современными технологиями управления требует наличия у лица, принимающего решения (ЛПР), необходимых опыта, знаний, умения, навыков, иными словами, профессионализма в области управленческой деятельности. Отсутствие такого профессионализма нередко приводит к дорогостоящим ошибкам и потерям.

Простые ситуации, в которых ЛПР обладает достаточным опытом принятия решения и достаточной информацией, в реальной практике управления, как правило, не вызывают затруднений.

Однако более сложные управленческие ситуации, развитие которых важно для ЛПР, требуют дополнительного внимания. ЛПР может не обладать всей совокупностью необходимой информации. Причем это скорее типичный случай, чем исключение в сложных управленческих ситуациях. Принятие же важного решения при отсутствии необходимой информации и четкого понимания тенденций развития ситуации содержит значительный элемент риска.

Снижение риска принятия ошибочного решения может быть в значительной степени достигнуто за счет использования экспертных технологий. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно- техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления. В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Целью является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.

Задачами:

1. Изучение основных стадий экспертного опроса.

2. Рассмотрение порядка подбора экспертов.

3. Изучение областей применения метода экспертных оценок.

4. Рассмотрение особенностей технологий экспертного оценивания.

1. Понятие. Виды. Основные стадии экспертного опроса

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений лицом, принимающим решения (ЛПР). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже мы увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Экспертные оценки часто используются при выборе - одного варианта технических устройств из нескольких, группы космонавтов из многих претендентов, набора проектов научно-исследовательских работ для финансирования из массы заявок, получателей экологических кредитов из многих желающих, выбор инвестиционных проектов для реализации среди представленных, и т.д.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - ниже). Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных.

Один из наиболее известных методов экспертных оценок - это метод "Дельфи". Название дано по ассоциации с Дельфийским храмом, куда согласно древнему обычаю было принято обращаться для получения поддержки при принятии решений. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось. Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. При разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения. Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо. Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

- построение исчерпывающего, но обозримого набора сценариев;

- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям. Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Еще один вариант экспертного оценивания - мозговой штурм. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.

Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря - ведение документации, решение организационных задач.

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены ЛПР.

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Так, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов современной эконометрики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.

6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии, возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

2. Подбор экспертов

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов. Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

3. Область применения метода экспертных оценок

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей».

Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка. Типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта.

Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов.

Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

4. Особенности технологии экспертного оценивания финансовых рынков

Одной из отличительных особенностей российского финансового рынка является динамичность его развития и разнообразие факторов, оказывающих реальное воздействие на быстро, а подчас и резко, изменяющуюся ситуацию. Тем более необходимым представляется точно и своевременно определять основные механизмы, изменяющие ситуацию, и на основании их понимания предвидеть основные тенденции ее вероятного изменения.

Сказанное выше во многом объясняет и затруднения, испытываемые при использовании лишь традиционных статистических методов для проведения надежного анализа ситуации, складывающейся на финансовом рынке.

Дополнительные возможности открываются при изучении и анализе финансового рынка с использованием технологий экспертного оценивания. Следует, тем не менее, отметить, что непосредственное применение лишь одного из наиболее распространенных методов экспертной оценки, скажем, Делфи, ПАТТЕРН, мозговой атаки и т.д., при анализе столь сложного объекта не всегда приводит к успеху.

Как правило, к успеху приводит комплексная технология экспертного оценивания, сочетающая различные методы экспертной оценки и позволяющая объяснить и предвидеть динамику развития ситуации.

Необходимость использования сочетания различных методов экспертного оценивания и составляет Проблему 1, возникающую при организации и проведении экспертиз финансовой информации. В успешной ее реализации полезной может оказаться специально формируемая аналитическая группа, профессионально владеющая технологией экспертного оценивания.

Проблема 2. Формирование группы экспертов

При формировании группы экспертов (экспертной комиссии) нередко приходится сталкиваться с ситуацией, когда имеются профессионалы-финансисты, прекрасно представляющие практику анализируемой сферы деятельности, но не обладающие достаточной практикой, а иногда и готовностью, к деятельности эксперта. Поэтому одной из основных задач специалистов, организующих и проводящих экспертизу, является умение сделать привлекательным для экспертов участие в работе экспертной комиссии.

При регулярном проведении экспертиз целесообразно формирование банка данных об экспертах, приглашаемых для участия в работе экспертных комиссий. Данные о каждом эксперте запрашиваются в виде специально разработанных анкет. При регулярно проводимых экспертизах целесообразно рассчитывать рейтинг экспертов, как на основании предварительной информации, так и по результатам работы эксперта в составе экспертной комиссии.

Проблема 3. Подготовка аналитической информации

При анализе финансового рынка нередки ситуации, когда объектом экспертного оценивания становятся вопросы, требующие углубленных специальных знаний и опыта экспертов. В то же время эксперты, включенные в экспертную комиссию, как правило, не обладают возможностями и временем для дополнительного углубленного знакомства с объектом экспертизы. В этом случае целесообразной представляется подготовка аналитического материала, позволяющего в концентрированном виде представить основную информацию, характеризующую объект оценки. Такой материал готовится аналитической группой, возможно с привлечением соответствующих специалистов.

Проблема 4. Определение основных факторов

Ключом к пониманию механизмов, влияющих на развитие оцениваемой ситуации, является понимание факторов, оказывающих существенное воздействие на развитие ситуации.

При наличии достаточных статистических данных этому этапу экспертизы должен предшествовать анализ статистической информации. Нередко задача выявления основных факторов, влияющих на развитие ситуации, может быть решена с использованием методов факторного анализа, корреляционного анализа, многомерного шкалирования и т.д.

В случаях более сложных, нередко характерных для анализа финансового рынка, а также в случаях, когда необходима качественная (неколичественная) оценка, основные факторы определяются с помощью методов экспертного оценивания.

Экспертам предлагаются специально разработанные анкеты, в которых они указывают наиболее важные, с их точки зрения, факторы, ранжируют их по важности и оценивают их сравнительную весомость. Использование специально разработанных методов обработки экспертной информации позволяет при проведении коллективной экспертизы, когда для участия в экспертизе привлекается несколько специалистов-профессионалов, рассчитать результирующие экспертные оценки и на их основании установить перечень основных факторов, влияющих на развитие оцениваемой ситуации.

Проблема 5. Определение сценариев развития

На оценки ожидаемых значений факторов, показателей и др. оцениваемых величин во многом влияют условия, при которых такие оценки производятся. Совокупность этих условий описывается наиболее вероятными сценариями развития ситуации. Их определение и описание - одна из основных составляющих успешной экспертной оценки. В сложных случаях определение наиболее вероятных сценариев развития ситуации может стать объектом самостоятельной экспертизы. При формировании альтернативных вариантов сценариев могут использоваться материалы, подготовленные аналитической группой.

Наиболее распространенным методом, используемым при формировании альтернативных вариантов сценариев и выбора среди них наиболее вероятных, является метод мозговой атаки в сочетании со специально проводимым анализом основных тенденций развития ситуации.

Определенные в результате экспертизы сценарии являются основной информацией, характеризующей условия, при которых производится экспертная оценка.

Так, например, при экспертной оценке ожидаемого валютного курса в качестве наиболее вероятных рассматривались следующие сценарии:

- сохранение валютного коридора, при этом верхняя и нижняя границы коридора должны определяться экспертами;

- фиксированный курс рубля;

- отсутствие жестких ограничений на валютный курс.

Проблема 6. Получение качественных и количественных экспертных оценок

После того как четко определены условия, при которых оценки должны производиться, эксперты приступают непосредственно к процедуре оценивания значений основных факторов, определяющих развитие той или иной анализируемой ситуации на финансовом рынке. В настоящее время процедуры экспертного оценивания достаточно хорошо отработаны и известны, поэтому мы не будем на них останавливаться детально. Ниже будет приведено описание процедуры построения экспертных кривых, которые находят достаточно широкое применение при экспертном прогнозировании, в т.ч. при прогнозировании развития анализируемых ситуаций на финансовых рынках.

Нередко из-за отсутствия точных количественных данных возникает необходимость использования качественных оценок. В этом случае мы рекомендуем пользоваться таким проверенным инструментарием, как шкалы Харрингтона, а при сравнительных оценках -ранжированиями, парными сравнениями и т.д. В настоящее время существуют достаточно разработанные методы расчета результирующих экспертных оценок при коллективной экспертизе.

Для различных сценариев развития ситуации экспертные оценки ожидаемых значений факторов, как правило, различаются.

Если целью экспертизы является оценка ожидаемых значений того или иного фактора или показателя, характеризующего финансовый рынок, то целесообразно указывать не только наиболее вероятное их значение, но также минимально и максимально возможные значения.

Проблема 7. Формирование экспертных кривых

Динамику изменения отдельных факторов и комплексных показателей во времени и не только во времени, получаемую в результате экспертного оценивания, удобно представлять в виде экспертных кривых. При формировании экспертных кривых сначала определяются характерные точки, в которых возможны значительные изменения тенденций развития анализируемого фактора. Например, в качестве характерных точек, в зависимости от оцениваемой ситуации, могут использоваться годы, кварталы, месяцы. В частности, при оценке показателей, зависящих от политической обстановки, в качестве характерной точки на координатной оси времени могут рассматриваться дата событий, которые могут оказать существенное влияние на политический климат в стране, а, следовательно, и на оцениваемый показатель.

После того, как характерные точки определены, эксперты указывают ожидаемые значения оцениваемого фактора или показателя в каждой характерной точке. В некоторых случаях эксперты указывают также ожидаемый вид экспертной кривой в интервалах между характерными точками.

Если в экспертизе участвуют несколько экспертов, определяется результирующая экспертная кривая.

Результатом работы экспертной комиссии при анализе ситуации на финансовом рынке может стать определение динамики изменения того или иного показателя во времени, представленной в виде экспертной кривой.

Естественно для различных сценариев развития ситуации экспертные кривые, как правило, различны.

Для оценки тенденций развития комплексных показателей, характеризующих финансовый рынок, нередко целесообразным оказывается формирование экспертных кривых, определяющих динамику изменения таких факторов как инфляция, валютный курс, объем внешней торговли, налоговые платежи.

Проблема 8. Формирование комплексной экспертной оценки.

На основании полученных данных, характеризующих динамику изменения основных факторов, оказывающих влияние на динамику изменения анализируемого комплексного показателя, аналитической группой рассчитывается комплексная экспертная оценка.

В зависимости от целей экспертизы такой комплексной экспертной оценкой может быть рассчитанное результирующее значение комплексного показателя, результирующая экспертная кривая, характеризующая динамику изменения комплексного показателя, и т.д.

Если целесообразно рассмотрение нескольких наиболее вероятных альтернативных сценариев развития ситуации, то комплексная оценка должна определяться для каждого из них.

Нередко проведение сложных экспертных оценок при анализе ситуации на финансовом рынке приводит к необходимости оценки комплексных показателей, имеющих вспомогательное значение и необходимых лишь для расчета комплексных показателей более высокого иерархического уровня, ожидаемая динамика изменения которых и является целью экспертизы.

Примером комплексной экспертной оценки может стать определение рейтинга банков, оценка финансовой устойчивости объекта инвестирования, оценка динамики изменения того или иного продукта банковской деятельности и т.д.

Проблема 9. Анализ результатов экспертизы

С целью повышения надежности результатов экспертизы целесообразно проведение дополнительного анализа полученных результатов и, прежде всего, это относится к результатам комплексной экспертной оценки. Целесообразно проведение дополнительного содержательного анализа результатов расчета ожидаемых значений комплексного показателя. Такой анализ полученной в результате обработки экспертных данных информации о динамике развития ситуации может привести к выявлению неучтенных на предыдущих этапах экспертизы факторов, к уточнению сравнительной весомости факторов и т.д.

В ряде случаев используются методы организации и проведения экспертиз, позволяющие оценивать степень противоречивости экспертных оценок. Это также позволяет, при необходимости, своевременно уточнять результаты экспертизы.

Проведение коллективной экспертизы способствует объективизации получаемых экспертных оценок. В то же время проведение коллективной экспертизы требует использования соответствующей технологии экспертного оценивания. Эксперты должны одинаково понимать цели экспертизы и задачи, стоящие перед ними в процессе проведения экспертизы. Как показывает опыт, эксперты обладают различными объемами информации, на основании которой они дают свои оценки. Существуют специально разработанные методы, предусматривающие обмен информацией между экспертами. Они различны в зависимости от объекта экспертизы. Начиная от традиционных процедур обмена информацией, предусмотренных в методах Делфи и мозговой атаки, и кончая менее традиционными, предусматривающими более полный обмен информацией между экспертами и определяющими его последовательность.

Целесообразна оценка степени согласованности оценок, даваемых экспертами, которая позволяет с одной стороны уточнить оценки, а с другой стороны - дать интерпретацию устойчивым различиям в оценках экспертов, принадлежащих различным "коалициям".

Заключение

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако уже сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

экспертный опрос управленческий делфи

Список литературы

1. Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.

2. Экспертное оценивание. / Википедия. [Электронный ресурс]: http://ru.wikipedia.org/wiki/Экспертное_оценивание.

3. Литвак Б.Г «Экспертные технологии в управлении» 2-е ИЗДАНИЕ Москва «Издательство Дело» 2004

4. Литвак Б.Г Разработка управленческого решения Учебник_2002 3-е изд -392с

5. Тавокин Е.П. Исследование социально-экономических и политических процессов. 2010

Размещено на Allbest.ru