Разработка методики по оценке экономической эффективности ИТ-проектов с использованием метода анализа иерархий

Трудность формирования ССП состоит в том, что реализация стратегии во многом зависит от способности организации перевести свою стратегию в систему показателей. Четыре образующих ССП дают возможность достичь баланса между долгосрочными и краткосрочными целями, между результатами и факторами их достижения. Организационной единицей для ССП является стратегическая зона хозяйствования (СЗХ), то есть рыночный сегмент, который выделяется по определенным критериям[11].

Согласно взгляду Д. Нортона и Р. Каплана, ССП обязана состоять примерно из 25 показателей. В таблице приведен образец ССП по направлениям деятельности организации.

Таблица 3 - Сбалансированная система показателей

Направления деятельности	Показатели
1. Клиенты	Лояльность клиентов, темп роста спроса, темп роста количества покупателей, частота покупок и т.д.
2. Внутренние процессы (бизнес-процессы)	Скорость и качество выполнения заказов, скорость и качество прохождения информации и т.д.
3. Персонал	Квалификация персонала, степень нормирования труда, система премирования и т.д.
4. Финансы	Рост продаж, рентабельность, фондоотдача и т.д.

За последнее десятилетие тысячи менеджеров по всему миру в той или иной форме принялись за ее реализацию.

Достоинствами является[10]:

- Помогает производить оценку и принимать во внимание нематериальные ресурсы

- Сохранены финансовые показатели и дополнены опережающими индикаторами

- помогает согласовать интересы сотрудников на различных уровнях внутри организации

Недостатки:

- Применяется для оценки управления компании, связанной со знаниями

- Нужна адаптация к определенным условиям. К примеру, отраслевые и культурные различия между Северной Америкой и Китаем не позволяют просто так перенести ССП, разработанную для нефтяной компании в Хьюстоне, в компанию по экспорту/импорту в Гонконге.

- Должна быть обдуманная система документации

2) BITS, Система показателей IT

Работает формированием методики BSC в сторону большей применимости для компаний, ключевые бизнес-процессы которых зависят от информационных технологий. Практически, единственным изменением в данной методике, по сравнению с BSC, является дополнительная формализация показателей эффективности рассматриваемого процесса. В качестве подобных показателей методика BITS советует использовать следующие четыре:

- помощь в развитии бизнеса компании;

- повышение уровня сервиса, как для внутренних, так и для внешних потребителей;

- повышение качества принятия решений;

- повышение производительности труда.

Диапазон использования методики BITS практически совпадает с таковым для BSC. Может быть, наиболее эффективным образом методика BITS может быть применена для анализа деятельности сервисной IT - службы предприятия.

3) PM, управление портфелем активов[6]

Под портфелем подразумевается набор проектов или программ и других работ, связанных вместе с целью эффективного управления данными работами для достижения стратегических целей.

Управление портфелем рассматривается равно как централизованное руководство одним или несколькими портфелями, реализующим последующие функции: идентификацию, категоризацию, оценку, отбор, расстановку по приоритетам, обеспечение сбалансированности портфеля, формирование обзоров и периодической отчетности, поручение и контроль, руководство проектами, программами и другими связанными работами (портфельными компонентами) для достижения ключевых индикаторов стратегического плана организации.

Значимость и положение методологии управления портфелями в соответствии со стандартом PMI Standards for Portfolio Management показан ниже, на рисунке 9.

Рисунок 9 - Место методологии управления портфелями

4) IE, Информационная экономика

Способ нацелен на объективную оценку проектов и учитывает направление ресурсов туда, где они приносят наибольшую выгоду. Идея заключается в том, чтобы убедить информационную службу и бизнес - менеджеров расставить ценности и представить более объективные заключения о стратегической ценности отдельных проектов для бизнеса для дальнейшего направления инвестиций по самым важным для бизнеса направлениям.

Главам отделов информационных технологий и бизнес - менеджерам в рамках использования данного метода необходимо составить список из десяти (или более в зависимости от специфики деятельности Компании) главных факторов, воздействующих на процесс принятия решения, и оценить относительную значимость и риск каждого из них для бизнеса. Таким образом, получившиеся важность и риски будут являться, соответственно, плюсами и минусами проектов. Для каждой отдельно взятой Компании факторы будут персонифицированными, к тому же они могут добавляться, удаляться или изменяться по мере смены приоритетов. В итоге получается полный относительный рейтинг каждого инвестиционного проекта в портфеле информационной службы. Способ информационная экономика - один из самых быстрых способов определения приоритетов и сопоставления инвестиций в информационные технологии с бизнес - стратегией Компании, что определяет его широкую распространенность.

5) TEI, совокупный экономический эффект

Метод предусматривает как затраты, так и результаты от применения ИТ, гибкость с учетом вероятных рисков. Схематически, метод допускается отразить на рисунке 10. [6]

Рисунок 10 - Отображение метода экономического эффекта

Исследование стоимости как правило осуществляется по методу ТСО. Анализ преимуществ обязан проводиться с точки зрения стоимости проекта и стратегических вложений, выходящих за рамки ИТ. Гибкость обуславливается с применением методологий расчетов фьючерсов и опционов (модель Блэка-Шоулза, модель справедливой цены опционов - Real Options Valuation и др.). Данный метод нацелен на поддержку принятия решений в отношении рисков ИТ, оценку их гибкости и потенциальных выгод от использования ИТ, которые часто не учитываются в анализе модели затраты - результаты. Следует давать три оценки: затраты на ИТ, получаемые результаты от их реализации, гибкость ИТ с учетом рисков[21].

Исследование расходов основано на методологии, схожей с методом ТСО. Получаемая прибыль (выгода) расценивается в виде коммерческой ценности ИТ -проекта и поддерживаемой им бизнес - стратегии. Гибкость ИТ рассчитывается по методике опционов (Real Options Valuation - реальные опционы, Black -Scholes model - модель назначения цены опциона) для оценки будущих возможностей[20].

Так, данный метод позволит оценить результативность инвестиций в ИТ с учетом риска доступности, стабильности ИТ - услуг, зрелости архитектурных решений, уровня корпоративной культуры, размеров инвестиций и срока выполнения ИТ - проекта. Метод TEI дает возможность анализировать и подбирать вариант ИТ, наиболее эффективный в конкретных условиях.

6) REJ, быстрое экономическое обоснование

Этот метод подразумевает проведение анализа, который включает 5 этапов[8]:

Рисунок 11 - Схема оценки метода REJ

Согласно взгляду экспертов, данный метод в большей степени подходит для управления единичными проектами, чем портфелем проектов. И при этом наблюдают, что, несмотря на наличие в его названии слова «быстрый», процесс анализа в 5 этапов может занять несколько месяцев. Помимо этого, необходимо учитывать изменение стоимости самих денег с течением времени. Тем не менее метод REJ позволяет количественно оценивать некоторые факторы, которые не поддаются оценке с помощью ROI. К примеру, обеспечение лучшего взаимодействия и коммуникаций, эффективность командной работы и пр.[12].

В итоге расчетов и их анализа приобретают наглядную картину финансовой состоятельности разработанных организационных, ресурсных, календарных планов внедрения/развития корпоративных ИТ. В случае мало высочайшей рентабельности необходимо скорректировать основные плановые характеристики ИТ - проекта, в т. ч. смету расходов средств бюджета.

2.1.3 Учетные методы оценки эффективности ИТ - проектов

Представим учетные методы оценки экономических проектов на рисунке 12.

Рисунок 12 - Классификация учетных методов оценки эффективности

Учетные методы оценки принадлежат к числу наиболее старых и широко используемых методов оценки инвестиций еще до того, как концепция дисконтирования денежных потоков приобрела всеобщее признание в качестве метода получения самой точной оценки. Так, методами оценки эффективности проекта, основанными на учетных оценках (без дисконтирования), являются период окупаемости (payback period, РР), коэффициент эффективности инвестиций (average rate of return, ARR) и показатель окупаемости инвестиций (Return on Investment, ROI)[11].

Показатель окупаемости инвестиций (ROI)

На практике для оценки привлекательности инновационного проекта используют показатель окупаемости инвестиций (ROI - Return on Investment), с помощью которого можно сравнить экономичность различных проектов. Данный показатель можно рассчитать путем деления чистой прибыли (Р) за период времени (обычно за год) на общий объем инвестиционных затрат по формуле (7) [15]:

ROI = P / IC , (7)

где P - чистая прибыль, IC - общий объем инвестиционных затрат.

Однако показатель окупаемости инвестиций имеет ряд существенных недостатков. Точнее, он не берет в расчет стоимость денег во времени и не предполагает дисконтирования, следовательно, не учитывает распределения доходов по годам, таким образом, он будет использоваться только для проектов в краткосрочном периоде. Помимо этого, невозможно проанализировать вероятные расхождения проектов в разных периодах[2].

Простой срок окупаемости инвестиций (РР)

Простым сроком окупаемости инвестиций (payback period) является период от начала реализации до окупаемости вложений, рассчитывается по формуле (8). Суть метода состоит в вычислении того периода, при котором денежные поступления сравниваются с суммой первоначальных инвестиций[17].

(8)

где РР - срок окупаемости инвестиций (лет), Ко - первоначальные инвестиции, CF - среднегодовая стоимость чистых денежных поступлений от реализации инвестиционного проекта.

Проекты, у которых срок окупаемости меньше, чем заявленный инвесторами, принимаются; с большим сроком окупаемости - отвергаются; при сравнении проектов необходимо принимать проект с наименьшим сроком окупаемости.

Данный показатель позволяет рассчитать за какое время будет получена чистая прибыль, которая по сумме будет равна величине первоначально авансированного капитала[24].

Показатели простой рентабельности инвестиций (ARR)

Показатель рентабельности инвестиций (Accounting Rate of Return) является обратным по содержанию сроку окупаемости инвестиций. Расчет простой нормы рентабельности показывает эффективность инвестиций в процентном отношении денежных поступлений к общему объему первоначальных капиталовложений[26].

, (9)

где ARR - норма рентабельности инвестиций; CF - среднегодовые денежные поступления; Ко - стоимость первоначальных инвестиций.

Общим недостатком их является то, что они не учитывают ряд факторов таких как, инфляция, распределение денежных потоков во времени и риски. Более того, данные методы основаны на бухгалтерских оценках прибыли, которые условны и зависят от выбранной политики компании. Поэтому для оценки эффективности инновационных проектов эти методы не всегда применимы. Однако они важны для отбраковки заведомо неэффективных проектов. Отличаются простотой в расчетах. Как указывается в некоторых источниках, учетные методы применяют для оценки проектов небольших фирм, которые не осуществляют крупные и долгосрочные инновационные проекты[30].

2.2 Метод анализа иерархий (МАИ)

В нынешнее время имеется множество информационных технологий, которые позволяют максимально облегчить жизнь и помочь в решении проблем, связанных с процессами принятия решений в различных предметных областях. В этот период, очень распространены системы поддержки принятия решений на основе Метода Анализа Иерархий (МАИ). Анализ вариантов решений с использованием МАИ исполняется как на основе объективной, так и субъективной исходной информации.

В истоке1970 года американский математик Томас Саати создал процедуру поддержки принятия решений, которую назвал "Analityc hierarchy process" (AHP). Творцы русского издания перевели это название как "Метод анализа иерархий" - (Книга "Принятие решений. Метод анализа иерархий".

Структура модели принятия решения в методе разбора иерархий предполагает собою схему (граф), что содержит:

1) набор альтернативных решений;

2) главный критерий рейтингования решений;

3) набор групп однотипных факторов, влияющих на рейтинг;

4) множество направленных связей, указывающих на влияния решений, критерия и факторов друг на друга.

Структура модели отображает итог анализа ситуации принятия решения.

Первая категория понятий сопряжена с описанием вероятных структур моделей принятия решения.

С целью вычисления приоритетов альтернативных решений к структуре нужно добавить информацию о силе влияний решений, критерия и факторов друг на друга.

Вторая категория понятий сопряжена с обрисовкой данных для моделей принятия решения.

В последствии формирования структуры собраны все данные, модель принятия решения готова, т.е. в ней могут быть получены рейтинги приоритетов решений и факторов. Понимание приоритетов применяются для поддержки принятия решения.

Третья категория понятий сопряжена с описанием результатов, получаемых в моделях принятия решения.

Четвертая категория понятий сопряжена с пояснением того, как организованы вычисления. Знание данных понятий нужны лишь для понимания математических обоснований метода. С целью применения метода знание этих понятий необязательно.

Метод исследования иерархий является наиболее обоснованным путем решения многокритериальных задач в сложной обстановке с иерархическими структурами, включающими как осязаемые, так и неосязаемые факторы, чем подход, основанный на линейной логике. Используя дедуктивную логику, исследователи проходят трудный путь построения тщательно осмысленных логических цепей только для того, чтобы в итоге, полагаясь на одну лишь интуицию, объединить различные умозаключения, полученные из этих дедуктивных посылок. Помимо этого, подход, базирующий на логических цепях, может не привести к наилучшему решению, так как в данном случае может быть потеряна возможность принятия компромиссов между факторами, лежащими в разных цепях логического мышления.

Иерархия является главным методом, с помощью которого исследователь может подразделить всю совокупность исследуемых данных на кластеры и подкластеры. Главной задачей МАИ представляется оценка высших уровней иерархии, исходя из взаимодействия различных уровней, а не из непосредственной зависимости от элементов на этих уровнях. Использование МАИ для определения влияния инновационных управляющих воздействий (автоматизированная обучающая среда; интерактивное сетевое взаимодействие; направляемая самостоятельная познавательная деятельность; выездная сессия; автоматизированный документооборот) на результат учебной деятельности и вклад влияния каждого управляющего воздействия на итоговый результат, дает возможность повысить качество подготовки специалистов. Главной задачей является анализ значимости рассматриваемых управляющих воздействий.

Процессы принятия решений в разных сферах деятельности во многом аналогичны. В следствии необходим универсальный метод поддержки принятия решений, соответствующий естественному ходу человеческого мышления.

Зачастую экономические, медицинские, политические, социальные, управленческие проблемы обладают несколькими вариантами решений. Нередко, выбирая одно решение из множества возможных, лицо, принимающее решение, руководствуется только интуитивными представлениями. Из-за данного принятие решения имеет неопределенный характер, что сказывается на качестве принимаемых решений.

Принятие решений базируется на величинах приоритетов.

Метод анализа иерархий - методологическая основа для решения задач выбора альтернатив посредством их многокритериального рейтингования.

Метод анализа иерархий увеличился в нынешнее время в обширный междисциплинарный раздел науки, который имеет строгие математические и психологические обоснования и многочисленные приложения.

Основа использования метода - помощь принятия решений посредством иерархической композиции задачи и рейтингования альтернативных решений.

Имея в виду данное обстоятельство, перечислим возможности метода.

1) Метод дает возможность выполнить анализ проблемы. При этом проблема принятия решения является в виде иерархически упорядоченных:

а) основной цели (главного критерия) рейтингования возможных решений;

б) нескольких групп (уровней) однотипных факторов, так или иначе влияющих на рейтинг;

в) группы возможных решений;

г) системы связей, указывающих на взаимное влияние факторов и решений.

Подразумевается, так же, что для всех перечисленных "узлов" проблемы указаны их взаимные влияния друг на друга (связи друг с другом).

2) Метод дает возможность провести сбор данных по проблеме.

В соответствие с итогами иерархической декомпозиции модель ситуации принятия решения обладает кластерной структурой. Набор вероятных решений и все факторы, которые влияют на приоритеты решений, разбиваются на сравнительно небольшие группы - кластеры. Созданная в методе анализа иерархий процедура парных сравнений дает возможность определить приоритеты объектов, входящих в каждый кластер. Для этого применяется метод собственного вектора. Таким образом, сложная проблема сбора данных разбивается на ряд более простых, решающихся для кластеров.

3) Метод дает возможность противоречивость данных и минимизировать ее.

С данной целью в методе анализа иерархий изобретены процедуры согласования. В частности, есть вероятность определять более несовместимые данные, что позволяет выявить наименее ясные участки проблемы и организовать более тщательное выборочное обдумывание проблемы.

4) Метод дает возможность выполнить синтез проблемы принятия решения.

В последствии, как проведен анализ проблемы и подобраны данные по всем кластерам, согласно специальному алгоритму рассчитывается итоговый рейтинг - набор приоритетов альтернативных решений. Свойства данного рейтинга дают возможность осуществлять поддержку принятия решений. К примеру, принимается решение с наибольшим приоритетом. Помимо этого, метод дает возможность построить рейтинги для групп факторов, что позволяет производить оценку значимости каждого фактора.

5) Метод дает возможность организовать обсуждение проблемы, способствует достижению консенсуса.

Точки зрения, возникающие при обсуждении проблемы принятия заключения, сами могут в данной ситуации рассматриваться в качестве возможных решений. В следствии этого, метод анализа иерархии допускается использовать для определения важности учета мнения каждого участника обсуждения.

6) Метод дает возможность дать оценку значимости учета каждого решения и важность учета каждого фактора, влияющего на приоритеты решений.

В соответствии с формулировкой задачи принятия решения величина приоритета непосредственно сопряжена с оптимальностью решения. В следствии этого, решения с низкими приоритетами отвергаются как несущественные. Как отмечено выше, метод дает возможность дать оценку ценности факторов. Поэтому, если при исключении некоторого фактора приоритеты решений изменяются незначительно, такой фактор можно считать несущественным для рассматриваемой задачи.

7) Метод дает возможность дать оценку устойчивости принимаемого решения.

Принимаемое решение допускается считать аргументированным лишь при условии, что неточность данных или неточность структуры модели ситуации принятия решения не влияют существенно на рейтинг альтернативных решений.

В рамках метода анализа иерархий отсутствуют единые правила для формирования структуры модели принятия решения. Это представляется отражением реальной ситуации принятия решения, так как всегда для одной и той же проблемы имеется целый спектр мнений. Метод дает возможность учесть это обстоятельство с помощью построения дополнительной модели для согласования различных мнений, посредством определения их приоритетов. Подобным способом, метод дает возможность учитывать "человеческий фактор" при подготовке принятия решения. Это одно из значимых достоинств данного метода перед другими методами принятия решений.

Развитие структуры модели принятия решения в методе анализа иерархий довольно трудоемкий процесс. Тем не менее в итоге удается приобрести детальное представление о том, как именно взаимодействуют факторы, влияющие на приоритеты альтернативных решений, и сами решения. Как именно создаются рейтинги вероятных решений и рейтинги, отражающие значимость факторов. Процедуры расчетов рейтингов в методе анализа иерархий довольно несложны (он не похож на "черный ящик"), что выгодно отличает данный метод от других методов принятия решений.

Подготовка сведений для поддержки принятия решения осуществляется главным образом с помощью процедуры парных сравнений. Итоги парных сравнений могут быть несовместимыми (Метод предоставляет большие возможности для выявления противоречий в данных.) При этом появляется потребность пересмотра данных для минимизации противоречий. Процедура парных сравнений и процесс пересмотра результатов сравнений для минимизации противоречий часто являются трудоемкими. Тем не менее, в результате человек, принимающий решение, приобретает уверенность, что использующиеся данные являются вполне осмысленными.

2.3 Обзор программных средств на основе метода (МАИ)

Современные системы поддержки принятия решения (СППР) являются инструментом, призванным оказать помощь лицу, принимающему решение (ЛПР). С помощью СППР может производиться выбор эффективных вариантов решений для неструктурированных и плохо структурированных задач . Развитие существующих СППР представляет собой особый интерес, поскольку позволяет улучшить качество управленческих решений. Большая часть известных СППР в качестве теоретической основы использует метод анализа иерархий (МАИ) Т.Л. Саати, широко применяемый в практике принятия решений. К их числу относятся системы Expert Choice, Super Decisions, Decision Lens (Decision Lens Web), СППР «Эксперт», СППР Выбор 5.3 и т.д. обзорную таблицу (см. прил. А1.)

Выделение признаков классификации СППР.

Сформулируем признаки, с помощью которых целесообразно описывать/классифицировать СППР, а также поясним отдельные признаки на примере различных СППР.

1. Технические спецификации.

· Наименование системы.

· Тип пользователя.

· IT-составляющая (перечень используемых информационных технологий).

· Совместимость с другими программными продуктами.

2. Особенности интерфейса.

· Под особенностями интерфейса подразумеваются как применяемые информационные технологии (например, наличие веб-интерфейса, использование технологии AJAX и т.п.), так и архитектурные особенности (например, наличие каталога решаемых задач, доступность каких-либо сервисов с каждой страницы и т.п.).

3. Методы принятия решений, используемые в СППР. Большинство существующих СППР используют какой-либо один математический метод принятия решений, в основном метод анализа иерархий Томаса Л. Саати. Важнейшим преимуществомСППР является многообразие используемых методов принятия решений, поскольку в этом случае альтернативы оцениваются с позиций различных математических моделей, отражающих отдельные аспекты задачи принятия решения.

4. Особенности ввода исходных данных. Входные данные могут формироваться вручную, подгружаться из внешних источников или копироваться из уже созданных в системе задач. Например, система UTA позволяет только ручной ввод данных. Система SuperDecisions допускает не только ручной ввод данных, но и загрузку из внешних источников. Система ЭСППР предоставляет возможность не только ручного ввода данных, но и копирования данных из уже имеющихся вариантов решения задачи, созданных ранее в системе.

5. Особенности представления результата решения задачи. Выходные данные в разных системах формируются с разной степенью детализации. Преимуществом обладают системы, формирующие выходную информацию наиболее детально. Часто решение задачи представляется пользователю в виде отчета, содержащего как исходные данные задачи, так и результат выбора.

В отдельных системах реализован анализ чувствительности результатов, позволяющий проследить, как изменение весов критериев влияет на результат решения задачи.

6. Наличие базы знаний. База знаний - это набор правил для выбора соответствующих методов принятия решений в зависимости от условий задачи принятия решения. Единственной системой, имеющей базу знаний, является ЭСППР.

7. Наличие базы данных. База данных СППР служит для хранения данных, описания задач и методов принятия решений.

8. Оценка альтернатив.

· Способы задания множества альтернатив. Множество альтернатив (вариантов решений) может быть конечным, счетным, представлено в виде подмножества n-мерного пространства или задано иным способом. В ЭСППР множество альтернатив может быть конечным или представлено в виде подмножества n-мерного пространства.

· Способы задания предпочтений на множестве альтернатив. Существенным преимуществом обладают системы, предоставляющие возможность выбора различных шкал для задания оценок альтернатив.

Например, в системе Expert Choice (модуль Comparion™ Suite) предусмотрены следующие варианты:

- Pairwise - оценки задаются для каждой пары альтернатив;

- Rating scale - оценки задаются в порядковой шкале;

- Simple utility curve - оценки проставляются на заранее построенной кривой;

- Advanced utility curve - оценки проставляются на заранее построенной кривой с расширенными возможностями;

- Direct Data input - прямой ввод оценок;

- Step function - прямой ввод оценок в интервале от 0 до 1.

· Принципы согласования оценок альтернатив по различным признакам. Принципы согласования оценок альтернатив по различным признакам определяются методами принятия решения, используемыми в СППР. В качестве примера можно привести принцип большинства, принцип Парето, принцип последовательного рассмотрения критериев, принцип Саати.

· Способы задания относительной значимости признаков (критериев). Большинство СППР позволяют задавать относительную зна-чимость признаков экспертно. Кроме того, существуют системы, в которых предусматривается возможность рассчитывать вес признаков, например, SuperDecisions и Expert Choice.

· Проверка согласованности оценок альтернатив по отдельным признакам. Проверка согласованности входных данных позволяет избежать формирования суждений на основе противоречивых оценок. Например, в СППР, основанных на методе анализа иерархий, рассчитывается коэффициент согласованности для всех матриц попарных сравнений. Значение данного коэффициента не должно превышать некоторого установленного уровня. В случае его превышения эксперту рекомендуется пересмотреть сформированные оценки.

9. Возможность согласования оценок альтернатив в различных проблемных ситуациях. Учет условий внешней среды, возможные реализации которых в совокупности задают проблемные ситуации принятия решений, существенно повышает качество аналитического обоснования альтернатив. Единственной СППР, включающей в себя методы принятия решений в условиях риска и неопределенности, является ЭСППР. При этом выделяют:

· принципы согласования оценок альтернатив в различных проблемных ситуациях в условиях неопределенности (принципы Парето, пессимизма, оптимизма, Гурвица, антагонистического игрока, Сэвиджа, Лапласа);

· принципы согласования оценок альтернатив в различных проблемных ситуациях с учетом вероятности их появления (принцип большинства или принцип Байеса).

10. Организация работы с экспертами.

· Возможность привлечения экспертов. Современные СППР обладают возможностью сбора и обработки групповых суждений экспертов. Некоторые системы позволяют присваивать различные роли экспертам, привлекаемым для решения задачи. Например, система Expert Choice (модуль Comparion™ Suite) предусматривает роли администраторов и простых экспертов. Простые эксперты имеют возможность задавать оценки, администраторы - редактировать исходные данные задачи.

· Учет коэффициентов компетентности экспертов. В большинстве случаев предполагается ручной ввод коэффициентов компетентности экспертов.

· Принципы согласования оценок экспертов. Среди таких принципов можно выделить принцип большинства, принцип Парето, расчет среднего геометрического отдельных оценок.

· Оценка согласованности мнений экспертов. Для оценки согласованности мнений экспертов, которые высказывают свои предпочтения в порядковой шкале, может использоваться коэффициент частной ранговой корреляции Кенделла и взвешенное расстояние между предпочтениями экспертов (модификация коэффициента частной ранговой корреляции Спирмена).

ВЫВОДЫ ПО второй ГЛАВЕ

В данной главе были рассмотрены виды современных методов оценки экономической эффективности проектов. Выделена классификация:

5) Финансовые (количественные) методы оценки эффективности ИТ-проектов: чистый приведенный доход, индекс рентабельности инвестиций, внутренняя норма доходности, срок окупаемости проекта, экономическая добавленная стоимость, полная стоимость владения,

6) Качественные методы: сбалансированная система показателей ИТ, система показателей IT, информационная экономика, управление портфелем активов, совокупный экономический эффект, быстрое экономическое обоснование

7) Учетные (статистические): ARR, PP, ROI

Помимо анализа существующих методов оценки экономической эффективности, был рассмотрен метод анализа иерархий и проведен обзор программных средств на его основе.

ГЛАВА 3. РАЗРАБОТКА И АПРОБАЦИЯ МЕТОДИКИ ОЦЕНКИ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ ПРОЕКТОВ ВНЕДРЕНИЯ ИНФОРМАЦИОННЫХ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ МЕТОДА «МАИ»

3.1 Методика оценки эффективности ИТ- проектов с использованием метода анализа иерархий

В нынешний период для оценки эффективности инновационных проектов (далее - ИнП) в экономической литературе [6; 4; 7] рекомендовано использовать Методические рекомендации (далее - «Рекомендации») для оценки эффективности инвестиционных проектов [5]. В тексте Рекомендаций [5] какие-либо инструкции в отношении специфических свойств их применения в отношении ИнП отсутствуют. Исключение является единственное указание [5] о высочайших рисках инвестиций в инновации. Очевидно разногласие между необходимостью применения Рекомендаций для оценки привлекательности инвестиций в инновации и отсутствием в этих Рекомендациях каких-либо указаний о специфике экспертизы и оценки эффективности ИнП. Помимо этого, в самих рекомендациях указывается, что «рекомендации обязаны быть приняты в качестве основы для создания нормативно-методических документов по разработке и оценке эффективности отдельных видов инвестиционных проектов, учитывающих их специфику» [5], а «практическое решение задач, возникающих в инвестиционной сфере, естественно, должно опираться на данные «Рекомендации», но воплощаться в соответствующих алгоритмах, которые учитывают уникальность каждого инвестиционного проекта» [5].

Между тем особенностью, уникальностью инновационных проектов представляется их многоцелевая сущность и высокая неопределенность при их реализации.

Многоцелевая оптимизация представляется одним из универсальных и результативных путей разрешения естественных противоречий между применяемыми в моделях инновационных задач критериями. Диалектика складывается из того, что в большинстве случаев нецелесообразно направлять усилия лишь на достижение одной цели, однако следует стремиться к получению достаточно хорошего искомого результата, обеспечивающего достижение некоторой совокупности наиболее важных целей. Такого рода мнения в разрешение проблемы находится в полном соответствии с требованием использования принципов системного подхода.

Многоцелевой подход представляется нужной методической основой для преодоления установленной степени неточности и неполноты исходных данных, используемых для решения оптимизационных планово-экономических инновационных задач.

Практическое осуществление многоцелевого подхода к решению задач в инновационном планировании обеспечит [15]:

8) Повышение степени научной обоснованности получаемых решений по внедряемым задачам согласно учета сравнительно большего числа наиболее важных внешних и внутренних факторов, организационно-экономических и финансовых особенностей, а также комплекса требований, обусловленных рыночной экономикой;

9) Получение относительно наибольшего экономического эффекта от внедрения в практическую деятельность инновационных за счет реализации принципа синергизма.

Иной важнейшей характерной чертой инновационного процесса представляется его направленность в будущее. Будущее непонятно, и управление протекает в условиях неопределенности сравнительно предстоящего состояния как самой инновации, так и её экономического окружения. Неясность - неизбежное условие хозяйствования. Вероятно, что чем выше новизна, тем выше неопределенность. Неясность порождает риск того, что намеченные цели не будут достигнуты. В следствии этого задача минимизации риска неэффективного управления инновационной деятельностью замыкается на задачу всемерной борьбы с неопределенностью.

В расчетах Рекомендаций никак не учтен учет фактора неточности используемых исходных данных. Установлено, что любые инвестиционные расчеты отличаются значительным уровнем погрешности используемых исходных данных и промежуточной информации. Инновационные проекты владеют еще большей неопределенностью, т.к. абсолютно неизвестна ответная реакция рынка на инновацию. Царев В.В. в работе [15] отмечает: «Достаточно успешным инструментальным средством, способным учесть неточность исходных данных, необходимо признать математический аппарат нечетких множеств. Тем не менее, это требует проведение дополнительных научных исследований».

Кроме учёта неопределенности, математический аппарат теории нечетких множеств даёт возможность формализовать и оперировать качественными критериями, такими как, к напримеру, социальная эффективность. В тех же Рекомендациях декларируется в составе эффективности проекта в целом такой компоненты, как социальная эффективность (в общепринятом понимании это отношение результата к затратам). Тем не менее, ни авторами Рекомендаций, ни другими учеными-экономистами такой системы расчетов пока еще не разработано. Наиболее правильно говорить о возможности определения некоторого социального эффекта, обеспечиваемого инновационным проектом. Тем не менее, получение на расчетной основе его числовой оценки в Рекомендациях также не приводится. Математический аппарат теории нечетких множеств позволяет это сделать.

В отечественной и иностранной литературе имеются методики, которые позволяют проводить оценку эффективности инвестиций в инновации, учитывающие многоцелевую природу и неопределенность при оценке инноваций. Однако все они по тому или иному признаку не годятся для применения в ЦИД республики[1].

В общем, разделим все существующие методики на следующие два класса: 1) методики, учитывающие многокритериальную сущность инноваций, но слабо учитывающие неопределённость, либо вообще не учитывающие её; 2) методики, учитывающие как многокритериальную сущность инноваций, так и неопределенность с использованием теории нечетких множеств, но в силу некоторых других причин, которые буду рассмотрены ниже, не подходят для ЦИД республики.

К первой группе можно отнести методику, предложенную в работе К.Тышкевич[2] [14], методику STAR[3], методику закрепленных шкал IRI[4] [2] и т.д. В методиках данной группы строятся различные системы критериев, по ним производится оценка инноваций, затем полученные результаты различными методами сворачиваются в единый результат. Для учета неопределенности в данных методиках используются стохастические методы, интервальные методы и др. Именно в силу недостаточной проработки вопроса по учету неопределенности, данные методики не подходят для применения в ЦИД.

Ко второй группе можно отнести методику, основанную на лингвистической аппроксимации, предложенную в работе [12]. Идея, лежащая в основе данной методики, заключается в формализации причинно-следственных связей между переменными <вход-выход>, в описании этих связей на естественном языке с применением теории нечетких множеств и лингвистических переменных. Но для построения нечетких баз знаний, используемых в подобных методиках, требуется обширный статистический материал, который не всегда имеется.

Предложенное разделение методик является условным и рассмотрено для понимания проблемы и предложения новой методики, основанной на методе анализа иерархий и теории нечетких множеств.

Предлагаемая методика состоит из трех этапов.

На первом этапе необходимо провести предварительную экспертизу (ПЭ) проектов. Целью ПЭ является отсев явно бесперспективных проектов, для того чтобы на следующем, оценочном этапе, экспертам не пришлось оценивать бесперспективные инновации. В качестве примера можно привести критерии, разработанные для ОАО » Инновационно-производственный технопарк «Идея»[5]:

10) возможность защиты интеллектуальных прав;

11) простой срок окупаемости проекта не должен превышать три года;

12) уровень новизны проекта;

13) техническая возможность реализации проекта;

14) возможность эффективной коммерческой реализации проекта.

По первому критерию предлагается оценивать проекты на возможность защиты прав на интеллектуальную собственность в соответствии с [8, 9, 10]. Если инновация не подпадает под определения «изобретение», «полезная модель», «промышленный образец» в соответствии с указанными нормативными актами, то от дальнейшего рассмотрения такой проект отклоняется.

По второму критерию - если простой срок окупаемости проекта превышает три года, то проект отклоняется.

По третьему критерию - уровень новизны проекта, предложено воспользоваться классификацией Г. Менша [16]: базисные инновации, улучшающие инновации и псевдоинновации. Псевдоинновация от дальнейшего рассмотрения отклоняются.

По четвертому критерию - техническая возможность реализации проекта, необходимо оценить, существуют ли технологии для реализации проекта и доступны ли они. В случае отрицательного ответа проект подлежит отклонению.

По пятому критерии - возможность эффективной реализации проекта, необходимо рассчитать чистый дисконтированный доход (NPV) проекта. В случае если NPV проекта получается отрицательным, то проект необходимо отклонить. Возможно, что проект имеет социальную или экологическую направленность, то тогда необходимо рассмотреть возможность получения государственной поддержки и рассчитать NPV с учетом поддержки.

В случае, если по любому из критериев, в ходе проведения предварительной экспертизы получен отрицательный результат, то проект отклоняется от дальнейшего рассмотрения.

Таким образом, на следующий, второй этап, не поступают явно бесперспективные инновации.

На втором этапе экспертам предстоит решить следующую задачу:

Имеется - множество проектов, которые подлежат многокритериальному анализу;

- множество количественных и качественных критериев, которыми оцениваются варианты инновационных проектов.

Задача состоит в том, чтобы упорядочить элементы множества V по критериям из множества C.

Для решения этой задачи предлагается использовать следующие принципы:

Принцип 1. Рассмотрение критериев как нечетких множеств, которые заданы на универсальных множествах вариантов с помощью нечетких треугольных или трапециевидных чисел;

Принцип 2. Определение рангов критериев на основе экспертной информации о парных сравнениях вариантов с помощью 9-тибальной шкалы Саати [13].

Принцип 3. Ранжирование вариантов на основе пересечения нечетких множеств - критериев, которые отвечают известной в теории принятия решений схеме Беллмана - Заде [1].

При оценивании показателей эксперты задают нижние - пессимистические оценки c1(i), верхние - оптимистические оценки c4(i) и интервалы наиболее ожидаемых (возможных) значений исследуемых параметров (c2(i), c3(i)), i=1,…k, где k - число экспертов. Затем, для выполнения операций, связанных с определением обобщенного мнения экспертов, используются операции сложения и умножения нечетко-интервальных чисел [17]:

. (10)

Дальнейшая обработка нечетко сформулированных мнений экспертов может осуществляться двумя путями:

15) Путем дефазификации полученных нечетких частных оценок и дальнейшей их обработки в дефазифицированном виде;

16) Путем обработки (суммирования, умножения и т.д.) имеемых нечетких оценок в фазифицированном виде с последующей дефазификацией результатов.

Оба варианта дают абсолютно одинаковые результаты.

Дефазификацию результатов экспертной оценки, представленной в виде нечеткого трапециевидного числа, предлагается проводить по формуле:

(11)

Далее эксперты определяют ранги критериев.

Пусть - коэффициенты относительной важности (или ранги) критериев, такие что . Для определения коэффициентов , предлагается воспользоваться методом анализа иерархий Т. Саати. Для этого строится матрица попарных сравнений Al (3) критериев по 9-ти балльной шкале Саати. Далее Т. Саати предложил получать решение для вектора рангов W из уравнения вида АW = лmaxW, где лmax - максимальное собственное значение матрицы попарных сравнений критериев Al. Т. Саати предложил находить собственное значение как среднегеометрические величины каждой строки матрицы. Полученные таким образом среднегеометрические значения собственного вектора нормализуются делением на сумму средних геометрических.

, (12)

где элемент оценивается экспертом по 9-ти бальной шкале Саати:

Таблица 4 - Лингвистические оценки относительной важности

Степень важности	Определение	Комментарии
1	Одинаковая важность	Два объекта вносят одинаковый вклад в достижение цели
3	Слабая значимость	Опыт и суждение дают легкое предпочтение одному объекту перед другим
5	Существенная или сильная значимость	Опыт и суждение дают сильное предпочтение одному объекту перед другим
7	Очень сильная и очевидная значимость	Предпочтение одного объекта перед другим очень сильно. Его превосходство практически явно
9	Абсолютная значимость	Свидетельства в пользу предпочтения одного объекта в высшей степени убедительны
2, 4, 6, 8	Промежуточные значения между соседними значениями шкалы	Ситуации, когда необходимы компромиссные решения
Обратные величины приведенных выше значений	Если при сравнении объекта A с объектом B мы получим одно из приведенных выше значений, то, соответственно, результат сравнения объекта B с объектом A есть обратная величина	-

Для обеспечения согласованности матрица (12) имеет такие свойства:

- она диагональна, т.е. ;

- элементы, симметричные относительно главной диагонали связаны зависимостью

.

После получения функций принадлежности и рангов критериев производится их свертка. Базируясь на принципе Беллмана - Заде [1], наилучшей системой будем считать ту, которая одновременно лучшая по критериям . Поэтому нечеткое множество, которое необходимо для рейтингового анализа, определяется в виде пересечения (интегральный критерий оценки систем):

(13)

Выражение (4) используется для равнозначимых критериев. Конструктивным, достаточно полно отражающим качественный характер задания предпочтений в многокритериальной задаче является подход, предложенный Р.Егером, основанный на обобщении понятий концентрирования и растяжения [18].

Обобщенный критерий Р.Егер предлагается формировать в виде:

, (14)

где - коэффициенты относительной важности (или ранги) критериев , такие что .

В [18] показано, что возведение в степень, большую единицы, ужесточает требования к выполнению критерия, т.е. делает его более важным. Возведение в степень, меньшую единицы, наоборот, снижает требования к удовлетворению критерия. При этом сохраняются нормировки функций принадлежности все критериев и ограничений. С одной стороны подход Р.Егера позволяет проводить ранжирование частных целей и ограничений в соответствии с интуитивными представлениями о задании той или иной жесткости требований к достижению целей. С другой стороны, этот подход позволяет естественным образом использовать операцию пересечения для формирования совокупности критериев [3].

Таким образом, мы имеем рейтинг проектов, построенный каждым экспертом в отдельности.

Следующий этап - третий, определение компетентности оценок экспертов и с учетом их компетентности формирование единого (общего) рейтинга проектов.

Для этого, руководитель ЦИД[6] строит матрицу попарных сравнений компетентности оценок экспертов аналогичную (3) и затем определяется собственный вектор данной матрицы. Далее производится мультипликативная свертка результатов, полученных на втором этапе, умноженных на компетентность оценок экспертов.

Наилучшей системой (проект) следует считать тот вариант, для которого обобщенный результат, с учетом важности критериев и рангов оценок экспертов, является наибольшей.

3.2 Апробация методики выбора метода для оценки эффективности проекта

В данном параграфе изложен алгоритм выбора метода оценки экономической эффективности проекта. С учетом всего вышесказанного в пункте 3.1 было решено использовать метод анализа иерархий Саати.

Описание метода выполним на примере выбора методов для оценки проекта.

1. Определим альтернативы:

- учетные методы

- динамические

- качественные

2. Выберем критерии:

- Сложность расчетов

- Полнота оценки «проекта»

- Анализ рисков

В основе АНР все та же линейная свертка, но оценки альтернатив и веса критериев получаются особым образом. Его мы сейчас и рассмотрим.

3. Представим иерархию.

В модели АНР вместо критериальной таблицы принята иерархия. Представим ее следующим образом:

Уровень 0 : Цель - выбрать методы для оценки проекта

Уровень 1.Критерии:

- Сложность расчетов

- Полнота оценки «проекта»

- Анализ рисков

4. Получим оценки альтернативы для каждого критерия.

Для этого, лицо, принимающее решение (ЛПР), должно сравнить альтернативы. Сравнение возможно по 2 параметрам с использованием парных сравнений или с использованием быть лучше в N раз. Рассмотри 2 данные альтернативы. При парных сравнениях предалгается использование шкалы из таблицы 5. На практике часто возникают ситуации, когда одновременно справедливы следующие 2 утверждения: а) «альтернатива А1 очень сильно превосходит альтернативу А2» и б) «альтернатива А2 очень сильно превосходит альтернативу А3». Что можно сказать о превосходстве альтернативы А1 над альтернативой А3? Логично было бы сделать заключение, что альтернатива А1 превосходит альтернативу А3 в 49 раз (7 умножить на 7). Но этот вывод явно не укладывается в рамки заданной шкалы. Как же быть? Процедура АНР не дает ответа на этот каверзный вопрос. Скорее всего, придется удовлетвориться утверждением типа: «альтернатива А1 имеет высшее превосходство над альтернативой А3» и в дальнейшем использовать градацию шкалы «9».

Система использованием быть лучше в N раз лишена данного недостатка. Используем именно её.

Используем понятие «быть лучше в N раз». Суть: выставление дробей(1/2, ј, 4/1 и т.д) в качестве оценок. Например, на пересечении строки «Динамический метод» и столбца «Учетный» записана дробь 4/1. Это выражает мнение ЛПР о том, что значение критерия динамического метода в 4 раза выше, чем у учетного.

Составим данные таблицы для каждого из критериев (см.табл. 5,6,7).

Таблица 5 - Сравнение альтернатив по критерию «Сложность расчетов»

	Динамические	Качественные	Учетные
Динамические	1	1/4	1 1/2
Качественные	1/5	1	4
Учетные	2/3	1/4	1

Таблица 6 - Сравнение альтернатив по критерию «Полнота оценки проекта»

	Динамические	Качественные	Учетные
Динамические	1	4	2
Качественные	1/4	1	4
Учетные	1/2	1/4	1

Таблица 7 - сравнение альтернатив по критерию «Анализ рисков»

	Динамические	Качественные	Учетные
Динамические	1	2	3
Качественные	1/3	1	1/2
Учетные	1/3	1/2	1

5. Переведем полученные дроби в десятичные и нормируем их. Для этого разделим сумму каждой строки на сумму последнего столбца, т.е. сумма самих строчных сумм. Результаты представим в таблицах 8, 9, 10.

Таблица 8 - Результаты нормирования по критерию «Сложность расчетов»

	Динамические	Качественные	Учетные	Сумма по строке
Динамические	0,10	0,03	0,15	0,28
Качественные	0,02	0,10	0,41	0,53
Учетные	0,07	0,03	0,10	0,19
			ИТОГО	1,00

Таблица 9 - Результаты нормирования по критерию «Полнота оценки проекта»

	Динамические	Качественные	Учетные	сумма по строке
Динамические	0,07	0,29	0,14	0,50
Качественные	0,02	0,07	0,29	0,38
Учетные	0,04	0,02	0,07	0,13
			ИТОГО	1,00

Таблица 10 - Результаты нормирования по критерию ««Анализ рисков»

	Динамические	Качественные	Учетные	Сумма по строке
Динамические	0,10	0,21	0,31	0,62
Качественные	0,03	0,10	0,05	0,19
Учетные	0,03	0,05	0,10	0,19
			ИТОГО	1,00

В методе Саати полученные таким образом нормированные суммы принимаются в качестве оценок альтернатив по критерию. Отметим, что полученные оценки отражают исключительно точку зрения конкретного ЛПР. а самом деле, вместо строчных сумм Саати рекомендует использовать собственный вектор матрицы парных сравнений, считая его более точной оценкой. Мы же для простоты ограничимся строчными суммами, которые допустимы, но, с точки зрения Саати, менее точны.

6. Получим вес критериев.

Аналогичным образом получаются веса критериев. Предположим, конкретное ЛПР сравнило попарно критерии с точки зрения их сравнительной важности. Запишем результаты сравнений в виде таблицы.

Таблица 11 - Удельный вес криетериев

	Сложнсть расчетов	полнота оценки проекта	анализ рисков
сложность расчетов	1	2	3
полнота оценки проекта	1/2	1	3
анализ рисков	1/3	1/3	1

Применяя к таблице описанную выше процедуру нормирования получим:

w1 = 0,49 (Динамические), w2 = 0,37 (Качественные), w3 = 0,14 (Учетные).

7. Соотнесем методы с оценкой весов каждого из них в критериях оценки

Таким образом, мы можем получить как веса критериев, так и оценки альтернатив по критериям:

Таблица 12 - Оценки альтернатив по критериям

	Сложность расчетов	Полнота оценки проекта	Анализ рисков
Динамические	0,28	0,50	0,62
Качественные	0,53	0,38	0,19
Учетные	0,19	0,13	0,19

8. Далее, применяя линейную свертку (взвешенную сумму), получим следующие интегральные оценки альтернатив (функция полезности):

Динамические - 0,41

Качественные - 0,42

Учетные - 0,17

Произведем анализ отношения временные затраты/эффективность. Используется отношение полученной интегральной оценки к нормированной стоимости. Наилучшей считается альтернатива, для которой указанное отношение максимально.

В рамках нашего примера, сведем все необходимые данные в следующую таблицу 13.

Таблица 13 - Результирующие данные.

	временные затраты, часы	нормирование временных затрат	функция полезности	Отношение
Динамические	6	0,375	0,41	1,086418
Качественные	8	0,5	0,42	0,849165
Учетные	2	0,125	0,17	1,344087
	16	1	1

Таким образом, учитывая предпочтения данного конкретного ЛПР, процедура АНР рекомендует ему выбрать учетные методы для оценки проектов.

Тот же самый результат можно получить воспользовавшись представленной автоматизированной информационной системой, основанной на методе Саати. В качестве примера была выбрана «Expert choice», триальная версия которой расположенная по адресу: http://trial.expertchoice.com.