Методы экспертных оценок

Размещено на http://www.allbest.ru/

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

I. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

1.1 Понятие экспертных оценок

1.2 Методы экспертных оценок

II. ИСПОЛЬЗОВАНИЕ ДАННЫХ ЭКСПЕРТНЫХ ОЦЕНОК

2.1 Анализ экспертной информации на базе расчета и анализа непараметрических показателей связи

2.2 Примеры использования данных экспертных оценок

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ВВЕДЕНИЕ

Динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Сущность экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно- техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления.

В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность. Целью курсовой работы является изучение использования данных экспертных оценок.

Задачи:

1. Провести теоретическое обоснование темы курсовой работы;

2. Проанализировать данные экспертных оценок.

В данной работе использовались работы российских авторов: Елисеева И.И., Шмойлова Р.А, Айвазян С.А., Егоров В.В.

Курсовая работа состоит из введения, двух глав, заключения и списка использованных источников.

I. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

1.1 Понятие экспертных оценок

Методы, основанные на опыте и интуиции, - эвристические методы, используют в решении наиболее сложных проблем, в особенности в условиях неопределенности, которая возникает из-за недостатка информации или неустойчивости развития.

Экспертными оценками называют эвристические оценки, основывающиеся на интуиции, воображении и опыте. Примерами традиционных эвристических процедур являются консилиумы, совещания, заседания, поскольку порядок их проведения регламентируется традициями. Постепенно в эту область начинают проникать математические методы планирования и обработки результатов эвристической деятельности./1/

Экспертные методы разделяются на два подкласса. Прямые экспертные оценки строятся по принципу получения и обработки независимого обобщенного мнения коллектива экспертов (или одного из них) при отсутствии воздействия на взгляд каждого из них суждения другого эксперта и всего коллектива. Экспертные оценки с обратной связью в том или ином виде реализуют принцип обратной связи посредством воздействия на оценку экспертной группы (одного эксперта) мнениями, полученными ранее от этой группы (или от одного из экспертов).

Экспертные методы используются в следующих случаях: при отсутствии достаточно представительной и достоверной статистической характеристики объекта: в случае большой неопределенности среды функционировании объектов тех отраслей промышленности, которые подвержены сильному влиянию новых открытий; при дефиците времени или в экстремальных ситуациях.

Экспертиза позволяет обойти трудности долгосрочного учета качественных изменений объекта прогнозирования, связанных как с внутренней логикой его развития, зависящей от взаимосвязей качественных признаков, так и с изменением внешних факторов. Как пример можно привести учет влияния развития науки и техники на макроэкономические показатели в целом по стране и по отраслям.

Область применения метода экспертных оценок разнообразна. Перечислим типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих в рамках определенного сценария, оценивая вероятность его реализации и влияния факторов на изучаемый показатель. Причинно-следственная структура неразрывно связана с личностью эксперта. Так, два разных эксперта, решая одну и ту же проблему, используя одну и ту же информацию, могут прийти к разным выводам.

Ценность полученных оценок зависит от опыта и интуиции лица, формулирующего оценку. Уменьшить риск субъективности индивидуального суждения можно, обратившись к группе экспертов, которые могут обсуждать и согласовывать свои оценки.

При решении проблем нестандартных, например связанных с прогнозированием в нестабильных условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные "средними" экспертами, обычно основаны на традиционных, привычных оценках. В ситуации неопределенности, неустойчивости они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможность появления новых тенденций.

Для групповых экспертных оценок часто используют открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием.

Основными принципами методов индивидуальных экспертных оценок являются максимальная возможность использования индивидуальных способностей эксперта и незначительная степень психологического давлении на него.

Методы коллективных экспертных оценок имеют преимущество перед методами индивидуальных экспертных опенок, так как при коллективном мышлении выше точность прогнозов, и кроме того, при обработке различных индивидуальных независимых оценок экспертов часто возникают продуктивные идеи. Так, исследования эффективности коллективных экспертных оценок, проведенные в университете Буффало, показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма результатов индивидуальных мышлении./2/

Метод экспертных оценок как способ получения прогнозов имеет ряд недостатков:

часть специалистов экспертной группы (или даже один наиболее активный член группы) могут оказать давление на остальных экспертов, и, если их (его) мнение ошибочно, может быть получен неправильный прогноз;

отрицательное влияние на решения членов экспертной группы в отдельных случаях может оказать не глубина доводов, а количество замечаний «за» и «против»;

* возможно также, что проблема достижения соглашения между членами экспертной группы будет иметь более важное значение, чем тщательно разработанный прогноз./2/

Несмотря на отмеченные недостатки, методы экспертных оценок остаются важнейшим и наиболее надежным способом прогнозирования. Но спектр экспертных методов, используемых в прогнозировании, достаточно широк. Применяются такие традиционные способы, как собственно индивидуальные оценки руководителей прогнозных разработок; групповые оценки коллектива разработчиков; групповые оценки, уточненные консультациями у специалистов; оценки, полученные в результате официальных запросов и подтвержденные ответами научно-исследовательских и других компетентных организаций.

1.2 Методы экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

К группе эвристических методов относят:

метод индивидуальных экспертных оценок;

метод коллективных экспертных оценок.

В состав индивидуальных экспертных оценок входят: метод опросов типа «интервью» и аналитический метод.

Метод опросов типа «интервью» предполагает непосредственный контакт эксперта со специалистом по схеме «вопрос-ответ», т.е. беседу, в ходе которой прогнозист ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта в соответствии с заранее разработанной программой опроса. Успех такой оценки в значительной степени зависит от психологической способности эксперта давать экспромтом заключения по различным, в том числе фундаментальным, вопросам. Недостатком этого способа является психологическое давление на эксперта» (правда, незначительное).

Аналитический метод, или метод аналитических экспертных оценок предполагает длительную и тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Этот способ позволяет эксперту использовать всю доступную информацию об объекте прогноза. Свои соображения эксперт оформляет в виде докладной записки. Психологическое давление на эксперта в этом случае минимально.

Метод морфологического анализа. Впервые идея морфологического анализа применительно к поисковому решению проблем была выдвинута майоркским логиком и мистиком монахом Луллием (1235--1315 гг.). Окончательно метод сформировался благодаря американцу Ф. Цвики в 1942 г. /2/

Метод ориентирован на целевой поиск, т.е. выявление новых решений на базе полученного множества вариантов реализации составных частей объекта прогнозировании с учетом его строения (морфологии).

Суть метода состоит в следующем. Проблема, требующая решения, изучается с возможно более обшей точки зрения для выявления всех возможных решении. Затем путем перебора всех возможностей в пределах полученной абстрактной структуры обнаруживается область всех возможных решений, это и является целью. В ходе исследовании среди всех выявленных новых решений могут оказаться представляющие особый интерес. Для применения метода необходимо:

· методологическое обеспечение, т.е. изучение специалистами структуры, содержания, правил и процедур морфологического исследования;

· информационное обеспечение, т.е. подготовка информационно - справочных материалов для формирования проблемы;

· математическое и программное обеспечение, включающее в себя разработку алгоритмов и программ для ЭВМ с целью автоматизации нетворческих процессов и облегчения творческих.

Метод позволяет получить большое число возможных решений по любой изучаемой проблеме при сравнительной легкости процедуры поиска.

Недостатком метода является трудоемкость перебора всех возможных вариантов решения проблемы. В настоящее время отсутствуют универсальные способы объективной оценки эффективности того или иного варианта решения проблемы. Тем не менее, метод применяется для решения прогностических задач в различных сферах социально-экономического развития. Только в пределах морфологического анализа возникает необходимость содержательной интерпретации соответствующих формальных прогнозов.

Метод функционально-стоимостного анализа

В условиях ограниченного финансирования решения любой социально-экономической проблемы оценка соотношения «желаемого и действительного» становится существенной. Прогнозирование как элемент управления не приносит сразу каких-то материальных результатов. В то же время затраты на каждый его этап должны быть строго регламентированы. Для получения наилучшего из возможных по критерию стоимости решения применяют метод функционально-стоимостного анализа.

Метод функционально-стоимостного анализа (ФСА) начал разрабатываться в конце 40-х гг. советским инженером Ю.М. Соболевым и американцем Л. Майлзом, а в настоящее время развивается М.Г. Карпуниным, Б.И. Майданчиком, Н.К. Моисеевым. /2/

Метод ФСА состоит в комплексном системном исследовании функций объектов. Как система, ФСА есть совокупность действий, создающих организационные средства, научно-методические принципы, технико-экономические приемы, направленные на обнаружение, предупреждение, сокращение или ликвидацию излишних затрат.

Результатом ФСА является снижение затрат на единицу полезного эффекта. Существует ряд модификаций ФСА в зависимости от исследуемого объекта: ФСА технических объектов, ФСА нетехнических объектов. Метод ФСА относится к стратегии целенаправленного поиска на основе частично формализованных процедур анализа и синтеза функций объектов, их упорядочения, оптимизации и, в конечном счете, получения наилучшего из возможных по критерию стоимости решения. ФСА построен на совокупности следующих принципов: плановый характер ФСА; системный подход; соответствие значимости функций и затрат на их осуществление.

Известны 7 основных этапов проведения ФСА: 1) подготовительный; 2) информационный; 3) аналитический; 4) творческий; 5) исследовательский; 6) рекомендательный; 7) внедрения.

Для применения метода требуется:

· организационное обеспечение, т.е. упорядочение работы коллектива ФСА, распределение функций, постановка задач исполнителям;

· методологическое обеспечение, заключающееся в создании и совершенствовании методик проведения исследования;

· экономические условия, т.е. планирование, финансирование и стимулирование работ но ФСА;

· информационное обеспечение, т.е. создание информационных фондов самого различного содержания.

Метод ФСА обеспечивает получение решений, так как является универсальным, использующим методы упорядоченного систематического анализа объектов.

Недостатком метода является сложность в его изучении и практическом освоении, а также то, что он требует не только экономического, гуманитарного или технического образования, но и практического опыта работы. Однако высокий экономический эффект метода практически всегда компенсирует затраты на его применение. Метод применим при решении всех прогностических задач, поскольку позволяет составить ответ на вопрос об эффективности прогнозирования.

Существует большое число модификаций методов коллективных экспертных оценок. Основной принцип этих методов - выявление коллективного мнения экспертов о перспективах развития объекта прогнозирования.

В настоящее время наиболее популярны:

метод круглого стола, или метод комиссий;

метод коллективной генерации идей, или метод «мозговогоштурма»;

метод Дельфи.

Коллективные экспертные оценки - это современные научные методы, которые могут широко использоваться в прогнозировании. Естественной областью их применения является прогноз научно-технического прогресса, определение его основных направлений и темпов. Эти методы могут также успешно использоваться для определения возможных изменений в параметрах экономико-математических моделей развития социально-экономической системы под влиянием НТП и мероприятий организационного и финансового характера. В условиях неопределенности и нестабильности развития социально-экономической системы методы экспертных оценок приобретают большое значение.

В соответствии с методом круглого стола специальная комиссия, входящая в состав этого «круглого стола», обсуждает соответствующие проблемы с целью согласования мнений и выработки единого мнения.

Этот метод имеет недостаток, заключающийся в том, что эксперты в своих суждениях изначально ориентированы и руководствуются в основном логикой компромисса, что увеличивает риск получения искаженных результатов прогноза. Кроме того, на суждения экспертов может влиять и авторитет отдельных участников «круглого стола»./2/

Метод «мозгового штурма»

Метод коллективной генерации идей, или метод «мозгового штурма» возник в 50-е гг. и получил широкое распространение в США, Японии. Метод «мозговой атаки» заключается в том, что выдвижение новых идей протекает лавинообразно. Это связано с тем, что высказываемая одним из членов группы экспертов идея порождает либо творческую, либо критическую реакцию. Однако, в силу сложившегося правила запрета на критику негативные реакции у эксперта порождают продуктивные результаты./2/

Большое количество прогностических задач может решаться как непосредственно методом «мозгового штурма», так и путем применения его в качестве вспомогательного. Опыт применения метода показывает, что с его помощью можно «сдвинуть с мертвой точки» почти любую проблему. Автором метода является американец А. Осборн, разработавший его основы в 1957 г. Целью «мозгового штурма» является активизация творческого процесса генерации идей путем реализации определенных правил организации, проведения и оценки его результатов.

Главная задача метода - обеспечение максимальной творческой активности, душенного подъема и концентрации внимания всех участников на заданной проблеме. В целях преодоления инерционности и стереотипности мышления, стимулирования энергичного коллективного поиска новых оригинальных концепций в основу метода положен принцип разделения во времени процессов: генерации идей и их оценки. Это представляется несправедливым по следующим причинам.

Метод «мозгового штурма» состоит из двух этапов: генерации идей и их оценки. Существуют следующие его разновидности: метод обратного «мозгового штурма», предложенный в 60-е гг. в США фирмой «Дженерал Электрик»; метод массового «мозгового штурма», разработанный в 70-е гг. также в США В. Филлипсом; метод двойного «мозгового штурма», предложенный в 70-е гг. в СССР; метод «конференции идей», примененный в 70-е гг. в ГДР В. Гильде.

Все разновидности метода базируются на использовании стратегии ненаправленного случайного поиска. Общим принципом построения и применения прямого «мозгового штурма» и его разновидностей является принцип разделения во времени процессов генерации идей и их критической оценки для устранения психологических препятствий творческому поиску, вызываемых критикой.

Метод обратного «мозгового штурма» сочетает в себе две «мозговые атаки» коллектива генераторов идей: первую - для свободного выявления недостатков исследуемого объекта и вторую - для поиска новых концепций и устранения выявленных недостатков. Такое разделение коллективного «мозгового штурма» повышает его целенаправленность и придает поиску более конкретный характер.

Метод массового «мозгового штурма» распараллеливает процесс генерации идей, а метод двойного «мозгового штурма» организует последовательность из двух «мозговых атак» и двух стадии оценки идей.

Метод «конференции идей» объединяет для повышения результативности коллективного поиска идей несколько принципов: высокий профессионализм участников, заблаговременную их подготовку, различные приемы психологической настройки специалистов в сочетании с правилами морфологического анализа по систематизации поиска и логикой эвристики.

Для применения метода «мозгового штурма» требуется:

· организационное обеспечение, заключающееся в выборе ведущего, формировании групп генераторов идей и экспертов, упорядочении их работы в соответствии с правилами и принципами метода;

· методологическое обеспечение, включающее в себя обучение специалистов принципам, правилам и содержанию этапов метода, выбор разновидностей метода практическое освоение всех необходимых процедур;

· психологическое и мотивационное обеспечение, состоящее из психологической настройки и стимулирования творческой работы специалистов, привлекаемых в группы генераторов идей и экспертов с учетом особенностей этих групп;

· информационное обеспечение, заключающееся в подготовке информационно-справочных и методических материалов для формулирования проблемы, постановке задач, а также в анализе выдвинутых идей.

Самостоятельно метод может применяться для прогнозирования развития СЭС, ее отдельных подсистем и параметров.

В качестве вспомогательного творческого элемента при прогнозировании метод может успешно применяться на всех этапах, особенно в условиях неопределенности и при возникновении «тупиковых» ситуаций, когда другие способы не позволяют получить удовлетворительный результат.

Метод «мозгового штурма» предполагает выполнение следующих положений:

не допускается критика высказанных идей, разрешается только их положительное обсуждение;

приветствуется оригинальность, необычность, а также многочисленность концепций, так как это увеличивает вероятность появления ценных идей;

ведущему разрешается изменять тематическую направленность и снимать проблему с обсуждения, а также решать вопрос о повторной сессии;

допускается оценку предложений производить позднее, в аналитической группе;

не допускается исключать ни одну идею без детального ее анализа;

приветствуется комбинация различных идей, их усовершенствование.

К достоинствам метода следует отнести его простоту, доступность для изучения и освоения, его привлекательность для специалистов-участников «мозгового штурма» в связи с возможностью учета и максимального использования их способностей и черт характера.

Метод обладает высокой производительностью как по общему количеству идей, так и по числу новых. При этом необходимо отметить и недостатки метода: с одной стороны - отсутствие гарантий получения качественных решений, с другой - получение неконкретных решений.

Самостоятельно метод может использоваться для решения многочисленных управленческих и аналитических задач.

Сущность метода «Дельфи». Самым распространенным из способов коллективных экспертных оценок является метод Дельфи, разработанный в 1964 г. американской научно-исследовательской корпорацией «РЭНД-Корпорейшн». Название его образно условное, оно напоминает о знаменитых с древних времен дельфийских оракулах./2/

Метод "Дельфи" - это усовершенствованный групповой подход к решению задач оценки. Он предполагает критику субъективных взглядов отдельных экспертов без непосредственных контактов между ними с сохранением анонимности мнений. Процесс продолжается до тех пор, пока продвижение в направлении согласования точек зрения не становится незначительным, тогда фиксируются расходящиеся точки зрения./1/

Отличительными особенностями метода Дельфи являются:

полностью заочный и анонимный опрос экспертов;

опрос экспертов в несколько туров;

задействование обратной связи, когда в каждом последующем туре используются результаты предыдущего, для чего перед каждым этапом (после первого) эксперты получают подробную информацию о результатах предыдущего;

использование статистических методов обработки результатов групповых ответов.

Прогнозирование методом «Дельфи» многотуровое, однако обычно проводится не более трех - четырех этапов.

В первом туре опроса допускаются любые ответы в анкете, чтобы дать неограниченную возможность экспертам сформулировать свои суждения о возможных значениях прогнозируемого технического объекта или события в будущем. Руководитель группы идентифицирует полученные в анкетах мнения: одинаковые объединяются, второстепенные исключаются, после чего перечень суждений включается в следующую, вторую анкету.

Во втором туре опроса члены экспертной группы оценивают не только оставленные в анкете суждения, но и реальность даты осуществления событий. Ответы специалистов должны быть строго мотивированны. Если эксперт считает, что сроки осуществления событий, указанные в анкете, нереальны, то возможны ответы - «раньше», «позже». После второго тура опроса руководитель группы подготавливает статистическую сводку мнений, а также рассчитывает медиану, т.е. дает групповую оценку.

В третьем туре опроса члены экспертной группы получают подготовленное руководителем описание суждений и составленную статистическую сводку. На основе полученных материалов эксперты должны дать обзор всех мнений и с учетом этого высказать новые суждения о возможных значениях объекта и времени реализации событий. Если и этом случае оценка специалистов не попадает в интервал, то они вновь должны обстоятельно аргументировать свое мнение.

Четвертый тур опроса является последним, заключительным и включает в себя те же процедуры, что и в предыдущем туре опроса.

Особое внимание при использовании экспертных оценок следует уделять вопросам точности и надежности получаемых прогнозов. Точность и надежность прогнозов на основе экспертных оценок достигаются:

1. тщательным подбором и проверкой компетентности членов экспертной группы, как правило, ведущих ученых и практиков в данной области знаний;

2. проведением экспериментальных проверок компетенции всей привлекаемой к экспертизе группы, т.е. организацией серий опытов, при которых экспериментатор знает ответ, а члены экспертной группы не знают. Если на основе нескольких итераций получают вполне удовлетворительный ответ, то прогнозы данной экспертной группы считаются вполне надежными;

3. возможной организацией проверки полученного прогноза другими методами (моделированием, прогнозированием на основе трендовых моделей и т.д.);

4. простым анкетированием и четким очертанием прогнозируемого явления (технического объекта);

5. сокращением по возможности числа прогнозируемых событий (объектов);

6. определением наиболее оптимальных промежутков времени между турами опросов.

II. ИСПОЛЬЗОВАНИЕ ДАННЫХ ЭКСПЕРТНЫХ ОЦЕНОК

2.1 Анализ экспертной информации на базе расчета и анализа непараметрических показателей связи

экспертный оценка непараметрический балансовый

При проведении анализа экспертных оценок в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

О достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как правило, получают оценки нескольких объектов. Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа.

Метод экспертных оценок как эвристический метод анализа основных макроэкономических показателей, формирующих единую международную систему расчетов, основан на интуитивно-логических предпосылках, содержательно-качественном анализе. Анализ экспертной информации проводится на базе расчета и анализа непараметрических показателей связи: ранговых коэффициентов корреляции Спирмена, Кендалла и конкордации.

Под ранговой корреляцией понимается статистическая связь между порядковыми переменными. В статистической практике эта связь анализируется на основании исходных статистических данных, представленных упорядочениями (ранжировками) и рассматриваемых объектов по разным свойствам.

Ранжирование - это процедура упорядочения объектов изучения, которая выполняется на основе предпочтения./3/

Ранг - это порядковый номер значений признака, расположенных в порядке возрастания или убывания их величин. Если проранжировать совокупность по двум признакам, то полное совпадение рангов означает максимально тесную прямую связь, а полная противоположность рангов - максимально тесную обратную связь. Ранжировать оба признака необходимо в одном и том же порядке: либо от меньших значений признака к большим, либо наоборот./3/

Для измерения степени тесноты связи между ранжировками X^(k) = (x₁^(k), x₂^(k),…, x_n^(k))^Т и X^(j) = (x₁^(j), x₂^(j),…, x_n^(j))^Т К. Спирмэн еще в 1904г. предложил показатель

(1)

где n - число наблюдений (число пар рангов);

x_i^(k) - ранг i-го объекта по k - му признаку;

x_i^(j) - ранг j-го объекта по k - му признаку;

(x_i^(k) - x_i^(j))² - квадрат разности рангов.

названный впоследствии ранговым коэффициентом корреляции Спирмэна. Прямым подсчетом нетрудно убедиться, что для совпадающих ранжировок (т.е. при x_i^(k) = x_i^(j) для всех i = l,2,...,n) ф_kj^(s) = 1 а для противоположных (т. е. при x_i^(k) = n - x_i^(j)+ 1, i = 1 , 2, . . . , n) - ф_kj^(s) = - 1.Можно показать, что во всех остальных случаях | ф_kj^(s) | < 1./4/

Формула (1) пригодна лишь в случае отсутствия объединенных рангов в обеих исследуемых ранжировках. Для ее распространения на общий случай определим для каждой (k-й) ранжировки X^(k) (k = 0,1,... ,р) величину/4/

(2)

где m^(k) -- число групп неразличимых рангов у переменной x^(k), а n_t^(k) - число элементов (рангов), входящих в t-ю группу неразличимых рангов (в частном случае отсутствия объединенных рангов имеем m^(k) = n, n₁^(k) = n₂^(k) =…= n_n^(k)=1 и соответственно T^(k) = 0; кроме того, группы неразличимых рангов, состоящие из единственного элемента, по существу, не участвуют в расчете величины T^(k))

Тогда ранговый коэффициент корреляции Спирмэна между ранжировками X^(k) и X^(j) следует вычислять по формуле

(3)

Если Т^(k) и Т^(j) являются небольшими относительно (1/6)*(n³ - n) величинами, то можно воспользоваться приближенным соотношением (а при Т^(k) = Т^(j) оно точное)

(4)

Правда, при этом же условии (относительная малость Т^(k) + Т^(j) по сравнению с (1/6)*(n³ - n) и приближенная формула (1) дает хорошую точность.

Другой широко используемой характеристикой тесноты статистической связи между двумя упорядочениями является ранговый коэффициент корреляции Кендалла, определяемый соотношением

(5)

где н(Х^(k) ,X^(j)) - минимальное число обменов соседних элементов последовательности X^(j), необходимое для приведения ее к упорядочению Х^(k). Очевидно, величина н(Х^(k) ,X^(j)) симметрична относительно своих аргументов, так что с равным правом можно говорить о минимальном числе «соседских обменов» элементов последовательности Х^(k), необходимом для приведения к виду X^(j)./4/

Из формулы (5) следует, что при совпадающих ранжировках Х^(k) и X^(j) ф^(K)_kj = 1 (так как н(Х^(k) ,X^(j)) = 0), а при противоположных (т.е. при x_i^(k) = n-x_i^(j)+l, i= 1,2,..., n, так что н(Х^(k) ,X^(j)) = (1/2)n(n-1)) - ф^(K)_kj = 1. Нетрудно показать, что во всех остальных случаях |ф^(K)_kj| < 1.

Вычисление ф^(K)_kj связано с необходимостью подсчета величины н(Х^(k),X^(j))и, следовательно, является более трудоемким, чем вычисление ф^(S)_kj. Однако, во-первых, коэффициент Кендалла обладает некоторыми преимуществами по сравнению с коэффициентом Спирмэна, главные из них: а)относительно большая продвинутость в исследовании его статистических свойств и, в частности, его выборочного распределения (см. ниже); б)возможность его использования и в частной («очищенной») корреляции рангов; в) большие удобства его пересчета при добавлении к n статистически обследованным объектам новых, т.е. при удлинении анализируемых ранжировок: для вычисления нового значения рангового коэффициента корреляции приходится переранжировать значительную часть объектов, что в случае ф^(S)_kj означает необходимость пересчета разностей x_i^(k) - x_i^(j); при вычислении же ф^(K)_kj значения рангов не играют никакой роли, важно лишь число необходимых «соседских обменов», которое при добавлении новых объектов подсчитывается рекуррентным способом (к старому значению н(Х^(k),X^(j))) может быть лишь дополнен некоторый «добавок»).

Во-вторых, можно воспользоваться рекомендациями, упрощающими подсчет числа н(Х^(k),X^(j)) как при ручном, так и при машинном счете.

Так, при ручном счете полезным оказывается известный факт тождественного совпадения величин н(Х^(k),X^(j)) и I(Х^(k),X^(j)), где число инверсий I(Х^(k),X^(j)) - это просто число расположенных в неодинаковом порядке пар элементов последовательностей Х^(k) и X^(j), являющееся естественной мерой нарушения порядка объектов в одной последовательности относительно другой. Для удобства подсчета I(Х^(k),X^(j)) перенумеруем объекты в порядке, определяемом рангами последовательности Х^(k). Тогда анализируемые ранжировки Х^(k), X^(j) соответствующим образом видоизменяются, т.е. преобразуются к виду соответственно Х^(k), X^(j), где X^(k) = (l,2,...,n)^T; X^(j) = (x₁^(j), x₂^(j),…, x_n^(j))^Т, а число инверсий I(Х^(k),X^(j)) = I(X^(k),X^(j)), а следовательно, и величина н(Х^(k),X^(j)) определяется по формуле

(6)

где

1, если x_q^(j) > x_i^(j) (т.е. нарушен порядок последовательности X^(k));

н_ql^(j,k) =0- в противоположном случае.

Легко подсчитать, что число инверсий I(Х^(k),X^(j)) может меняться от 0 (что соответствует случаю совпадающих ранжировок) до (1/2)n(n - 1) (что соответствует случаю противоположных ранжировок).

Формулы (5)-(6) пригодны для подсчета ф^(K)_kj лишь в случае отсутствия объединенных рангов в обеих исследуемых ранжировках. Соответствующее «подправленное» значение ф_kj^*(K) - при наличии объединенных рангов в анализируемых упорядочениях будет определяться соотношением

(5ґ)

в котором коэффициент ф^(K)_kj вычисляется по формуле (5)-(6), а «поправочные» величины U^(l) определяются соотношением

 (7)

(смысл величин m^(l) и n_t^(l), определен выше, см. (3)).

При решении основных задач А - С статистического анализа ранговых связей (возникает необходимость уметь измерить статистическую связь между несколькими (более чем двумя) переменными. С этой целью Кендаллом был предложен показатель W(m), названный коэффициентом конкордации (или согласованности), вычисляемый по формуле

(8)

где m - число анализируемых порядковых переменных (сравниваемых упорядочений); n - число статистически обследованных объектов или длина ранжировки (объем выборки); k_1, k₂,…,k_m - номера отобранных для анализа порядковых переменных (из исходной совокупности x⁽⁰⁾, x⁽¹⁾, x⁽²⁾, …, x^(p)) , так что, очевидно, m ? р + 1).

Свойства коэффициента конкордации:

a) 0? W ?1;

б) W = 1 тогда и только тогда, когда все m анализируемых упорядочений совпадают;

в) если m ? 3 и анализируемые ранжировки генерируются подобно случайному независимому m-кратному извлечению из множества всех n возможных упорядочений n объектов, то связи между ними нет и W = 0;

г) пусть ф^(S)(m) - среднее значение коэффициента Спирмэна, подсчитанное по значениям m(m- 1)/2 коэффициентов ф ^(S)k_ik_j. (i,j = 1, 2,..., m; i?j), характеризующих ранговую связь между всеми возможными парами переменных (x^(ki), x^(kj)) из анализируемого набора (x^(k1), x^(k2),…, x^(km) ); тогда

 (9)

в частности, из (9) следует для случая m = 2, что

(9ґ)

т.е. коэффициент конкордации, исчисленный для двух переменных, пропорционален парному ранговому коэффициенту корреляции Спирмэна.

То, что шкала измерения W(m) не включает в себя отрицательных значений, объясняется следующим обстоятельством. В отличие от случая парных связей при анализе m(m ? 3) порядковых переменных противоположные понятия согласованности и несогласованности утрачивают прежнюю симметричность (относительно нуля); упорядочения, произведенные в соответствии с переменными x^(k1), x^(k2),…, x^(km), могут полностью совпадать, но не могут полностью не совпадать.

Формула (8) получена в предположении отсутствия объединенных рангов в каждом из анализируемых упорядочений. Если же таковые имеются, то формула должна быть модифицирована:

(8ґ)

где поправочный формуле (2коэффициент Т^(kj) (соответствующий переменной x^(kj) подсчитывается по)).

Для того чтобы определить, как ведут себя выборочные значения W(m) коэффициента конкордации при повторении выборок заданного объема n (из одной и той же генеральной совокупности) при отсутствии какой-либо связи между анализируемыми m переменными.

Предположим, что каждому объекту конечной генеральной совокупности (состоящей из N элементов) приписан какой-то определенный ранг по каждой из m рассматриваемых переменных. Так, например, если m = 3 и объекту О_i приписана тройка (x_i⁽¹⁾ = N, x_i⁽²⁾ = 1, x_i⁽³⁾ = 2), то это означает, что по переменной x_i⁽¹⁾ он стоит на последнем (N-м) месте в упорядоченном ряду всех объектов генеральной совокупности, по переменной x⁽²⁾ - на первом и по переменной x⁽³⁾ - на втором.

Тогда по исходным данным {(x_i⁽¹⁾, x_i ⁽²⁾,…, x_i^(m))}_1=1,N помощью формулы (8) может быть вычислен теоретический (генеральный) коэффициент конкордации W(m), характеризующий степень тесноты ранговой связи между переменными x⁽¹⁾, x ⁽²⁾,…, x^(m). Однако исследователю известны значения (x⁽¹⁾, x⁽²⁾,…, x^(m)) лишь для части объектов генеральной совокупности, а именно для случайной выборки объектов объема n(n < N). После естественной перенумерации рангов, сохраняющей правило упорядочения объектов, но переводящей масштаб измерения рангов в шкалу (1,2,...,n) (для этого минимальный из оказавшихся в выборке рангов по каждой переменной объявляется рангом, равным 1, следующий по величине - рангом, равным 2, и т.д.), может быть вычислен (по той же формуле (8)) выборочный коэффициент конкордации W(m). Извлекая другую выборку объема n из той же самой генеральной совокупности, мы получим, вообще говоря, другое значение выборочного коэффициента W(m) и т.д.

Как сильно могут отклоняться от нуля выборочные значения коэффициента конкордации W(m) в ситуации, когда значение теоретического коэффициента конкордации W(m) свидетельствует о полном отсутствии ранговой связи между анализируемыми переменными х⁽¹⁾,х⁽²⁾,...,х^(m)? Для малых значений m и n(2 ? m ? 20, 3 ? n ? 7) ответ на этот вопрос может быть получен с помощью таблицы значений величины S. Обозначенная в ней величина S есть не что иное, как

 (10)

«Входами» в эту таблицу является тройка чисел (m, n, S), «выходом» - вероятность того, что величина S может быть такой, какой она является в нашей выборке, или большей в условиях отсутствия связи переменных в генеральной совокупности. Если окажется, что эта вероятность меньше принятой нами величины уровня значимости критерия а (например, б = 0,05), то гипотезу об отсутствии связи следует отвергнуть, т.е. признать статистическую значимость анализируемой связи. Таблица критических значений W(m) построена несколько иначе. В ней при уровне значимости б = 0,05 и в соответствии с «входами» (m, n) даны «критические» значения величины S, т. е. такие значения, при превышении которых следует отвергать гипотезу об отсутствии связей (признавать их статистическую значимость).

При n > 7 для проверки статистической значимости анализируемой связи следует воспользоваться фактом приближенной (n-1)-распределенности величины m(n - 1)*W(m), справедливым в условиях отсутствия связи в генеральной совокупности. Поэтому, если окажется, что /4/

m(n-1)W(m)> (n-1)

то гипотеза об отсутствии ранговой связи между переменными зг , i ,...,х должна быть отвергнута (с уровнем значимости критерия, равным а); в (11.58) величина (n-1) - это 100а%-ная точка -распределения с (n-1)-й степенью свободы.

Строгих рекомендаций по построению доверительных интервалов для истинного значения W в условиях наличия ранговых связей в исследуемой генеральной совокупности к настоящему времени не имеется./4/

Преимущество коэффициента корреляции рангов состоит в том, что ранжировать можно и по таким признакам, которые нельзя выразить численно: можно проранжировать кандидатов на занятии определенной должности по профессиональному уровню. По умению руководить коллективом, по личному обаянию и т.п. при экспертных оценках можно ранжировать оценки разных экспертов и найти их корреляции друг с другом, чтобы затем исключить из рассмотрения оценки эксперта, слабо коррелированные с оценками других экспертов. Коэффициент корреляции рангов применяется для оценки устойчивости тенденции динамики. /5/

Недостатком коэффициент корреляции рангов является то, что одинаковым разностям рангов могут соответствовать совершенно отличные разности значений признаков (в случае количественных признаков). /5/

2.2 Примеры использования данных экспертных оценок

В данной главе рассмотрим примеры для прояснения работоспособности ранговых коэффициентов корреляции Спирмена, Кендалла и конкордации.

Пример 1

По данным 10-ти предприятий сельскохозяйственной отрасли эксперту необходимо определить зависимость между балансовой прибылью и объемом реализованной продукции. В таблице 1 указаны исходные данные по предприятию.

Табл.1

№ предприятия	Объем реализованной продукции, млн. тг.	Балансовая прибыль предприятия, тыс. тг.	Ранжирование	Квадрат разности рангов
			х(1)	х(2)
1	1,5	75	2	1	1
2	4	200	5	8	9
3	5,2	120	7	5	4
4	8	210	10	10	0
5	6,3	170	8	7	1
6	3,8	110	4	4	0
7	1,2	85	1	3	4
8	4,5	130	6	6	0
9	7,5	205	9	9	0
10	2	80	3	2	1
У					20

Вычисления связи проводим по формуле ранговой корреляции Спирмэна:

ф12(S)	=	1	-	6*20___	=	0,879
				1000-10

Данный результат свидетельствует о положительной ранговой связи между исследуемыми переменными.

Далее рассмотрим пример, в котором среди значений рангов признаков х⁽¹⁾ и х⁽²⁾ встречается несколько одинаковых, образуются связные ранги, т.е. одинаковые средние номера.

Пример 2.

Десять однородных предприятий подотрасли были проранжированы вначале по степени прогрессивности их оргструктур (признак х⁽¹⁾), а затем -- по эффективности их функционирования в отчетном году (признак х⁽²⁾). В результате были получены следующие данные (см. Табл.2):

Табл.2

№ предприятия	Ранжирование	Квадрат разности рангов
	Сепень прогрессивности оргструктуры предприятия	Эффективность функционирования предприятия в отчетном году
1	1	1	0
2	2,2	2	0,04
3	2,2	4,3	4,41
4	4.3	4,3	0
5	4	4,3	0,09
6	6,5	4,3	4,84
7	6,5	8,5	4
8	8	8,5	0,25
9	9,5	8,5	1
10	9,5	10	0,25
У			14,88

Т⁽¹⁾=(1/12)*((2³-2)+(2³-2)+( 2³-2))=1,5

Т⁽²⁾= (1/12)*((4 ³-4)+(3³-3))=7,42

ф12(S)	=	(1/6)(1000-10)-14,8-1,5-7,42_________________	=	0,905
		v[(1/6)(1000-10)-2*1,5][(1/6)(1000-10)-2*7,42]
ф12(S)	=	1	-	6*14,88	= 0,91
				1000-10

Точная формула (3) дает ф₁₂^(S) = 0,905. Данный ответ подтверждает связь между проранжированными переменными.

Для вычисления рангового коэффициента корреляции Кендалла используем условие примера 1.

Анализ зависимость между балансовой прибылью и объемом реализованной продукции, при использовании формул (5) и (6) дает:

н₁₂=1; н₁₃= н₁₄= н₁₅= н₁₆= н₁₇= н₁₈= н₁₉= 0; н_1.10=1;

н₂₃=1; н₂₄= н₂₅=0; н₂₆=1; н₂₇=1; н₂₈=н₂₉= 0; н_2.10=1;