Большие данные в системе оценки качества государственных и муниципальных услуг в электронном виде

Оценка качества государственных и муниципальных услуг по субъектам РФ, предоставляемых в электронном виде: возможности и недостатки. Определение больших данных, их потенциал для государственного сектора, уровни внедрения в межстрановом сравнении.

Рубрика Государство и право
Вид дипломная работа
Язык русский
Дата добавления 23.10.2016
Размер файла 592,1 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

5. Тип анализа эффективности, принимаемых решений: как только решение внедрено (ad hoc) или по итогам результатов, принятого решения (ex post).

В приложении 1 к данной работе представлен результат анализа работы с данными в рамках оценки порталов государственных и муниципальных услуг в электронном виде. Были изучены характеристики каждого сайта на наличие аналитических инструментов.

Далее, по итогам анализа пройдемся по всем критериям внедрения Больших Данных и сделаем итоговый вывод по тому, на каком уровне у нас сейчас происходит оценка качества предоставления государственных и муниципальных услуг:

1. Как видно из приложения 1 к данной работе, аналитика присутствует, но в очень несистематизированном, неструктурированном и разрозненном формате: нет единого подхода и, как следствие, очевидно, что нет единого хранилища базы всех этих данных или доступного набора базы данных, принадлежащих единой структуре.

Видно, что шаги к этому были сделаны, и была внедрена система ЕСИА Постановление Правительства РФ от 28 ноября 2011 г. № 977 «О федеральной государственной информационной системе «Единая система идентификации и аутентификации…» // Собрание законодательства Российской Федерации. 2011. № 49. Ст. 7284., однако почему-то московский регион в эту систему не входит и у неё собственный уникальный логин и, следовательно, уникальный идентификатор. Это позволяет утверждать, что данные по пользователям московского региона собираются в другое Хранилище Данных, с которым работает отдельная структура.

Еще одно Хранилище Данных плодится из-за системы «Ваш Контроль», где собирается непосредственно обратная связь от пользователей: здесь присутствует возможность зарегистрировать дополнительный аккаунт, помимо идентификации через ЕСИА, что говорит о том, что многие отзывы и проставленные баллы остаются без идентификации. Более того, учитывая, что московский регион имеет вовсе собственную систему регистрации, которая, кстати, не указана в перечне возможности выбора прохождения авторизации на «Ваш контроль», все пользователи из московского региона остаются без идентификации.

Понятно, что это сделано ради возможности сохранения анонимности обратной связи, однако с точки зрения хранения данных - это большой просчет, особенно ситуация с московским регионом.

В итоге, можно сказать, что ярко выраженного общего хранилища данных для всех порталов, включая Единый портал государственных и муниципальных услуг, нет или есть только частично, так как очевидно можно предположить, что имеется несколько баз для крупных кластеров данных, как база данных московского региона, база данных Единого портала и база данных регионов, которые используют внутренний логин. Более того, упоминаний о единой базе, ни в отчетах Минкомсвязи России, ни какого-либо другого источника не имеется.

В целом, можно сказать, что данный критерий соблюден, если существует единая структура, занимающаяся сбором, обработкой и анализом сводных данных из всех Хранилищ.

2. С точки зрения «5V» характеристик, присутствие Больших Данных абсолютно очевидно.

Во-первых, данные оказались действительно объемными, так как, помимо основного портала, существует 51 региональный портал, на которых также можно оставить обратную связь и оценить качество предоставленной услуги. Более того, создан еще портал «Ваш контроль», который генерирует дополнительный объем информации. В итоге, объективно можно предположить, что генерируемый вкупе объем информации, достигает необрабатываемых вручную масштабов данных.

А во-вторых, было установлено, что данные действительно разнообразны, так как информация генерируется из множества возможных упомянутых источников Больших Данных:

1) Публичные данные

Система, естественно, собирает данные относящиеся к государственному сектору и, более того, подключает данные других государственных структур для операционной деятельности: так, например, для регистрации необходимо ввести номер СНИЛС, который проходит проверку в базе данных Пенсионного Фонда России, и только после этого возможно завершение регистрации.

2) Частные данные

Сбор данных о том, какой услугой воспользовался тот или иной человек, что определяется через ЕСИА, говорит о том, что частные данные также собираются.

3) «Пассивные» данные

Исходя из представленного анализа и схемы в данной части (приложение 1) вопрос о сборе «пассивных» данных довольно спорный. Как видно, большинство порталов региональных и Единый портал государственных и муниципальных услуг - собирает данные «пассивной» обратной связи в виде кликов, «отказов» и прочего. Однако на сегодняшний день остается 29 субъектов без каких-либо счетчиков аналитики, что говорит о том, что «пассивные» данные с этих порталов вовсе не собираются. Таким образом, данный источник представлен лишь частично.

4) Данные социальных сетей

Данные из социальных сетей собираются и обрабатываются, так как у Единого портала государственных услуг есть собственные страницы в социальных сетях, на которых пользователи также могут оставлять обратную связь.

5) Данные личных счетчиков

Данные личных счетчиков не собираются, однако данный источник, стоит признать, является крайне редким на сегодняшний день и доступен очень ограниченному числу специализирующихся организаций.

Скорость передачи данных разнообразна, так как присутствует 51 портал, каждый из которых имеет свой сервер, а соответственно и разную мощность работы с данными;

Достоверность данных также разнообразна, так как, например, на портале «Ваш контроль» может зарегистрироваться любой пользователь и оставить любого рода отзыв, даже если пользователь никогда не работал с порталами государственных и муниципальных услуг.

Остается очевидным, что Данные действительно значимы, так как на их основе принимаются решения и строятся сводные отчеты и мониторинги.

3. В рамках работы с данными на сегодняшний день используются такие технологии Больших Данных, как:

- Хранилище данных: как было упомянуто, на сегодняшний день, существует, как минимум, три базы данных, к которым относится база данных единого портала, база данных московского портала, а также база данных порталов с внутренним логином, помимо использования ЕСИА;

- Системы «Умного бизнеса»: некоторые порталы используют такие системы аналитики, как Google Analytics, Google Tag Manager, Yandex Metrika, а также IBM Analytics и Piwik;

- Реляционные базы данных, SQL, R, STATA, SPSS, анализ временных рядов: документально подтверждено, Лучшие практики мониторинга и оценки качества и доступности государственных и муниципальных услуг и деятельности многофункциональных центров предоставления государственных и муниципальных услуг // Портал Административной Реформы что для работы с выборкой респондентов и подготовки сводных отчетов мониторинга качества предоставления государственных и муниципальных услуг используются разнообразные статистические пакеты, а также реляционные таблицы, с которыми работают через SQL;

- Визуализация данных: в рамках подготовки отчетов по мониторингу оценки качества предоставления государственных и муниципальных услуг - используются диаграммы, гистограммы, графики и другие способы визуализации обработанных данных Мониторинг качества и доступности государственных и муниципальных услуг - 2010. М. : Изд. Дом НИУ ВШЭ, 2011..

Таким образом, нет сомнений, что на сегодняшний день в рамках оценки государственных и муниципальных услуг используются определенный набор технологий Больших Данных, хотя и не самые передовые.

4. Регулярность предоставления отчетности по обратной связи;

На данный момент существует несколько типов отчетности:

- ежегодный мониторинг оценки качества предоставления государственных и муниципальных услуг Стырин Е.М., Плаксин С.М. Система государственных услуг как объект мониторинга в Российской Федерации // Вопросы государственного и муниципального управления. 2012. № 4. С. 66-83.;

- ежеквартальный мониторинг по обратной связи, собираемой с портала «Ваш контроль», который предоставляется соответствующим органам, по которым были определенные отзывы О Проекте // Портал обратной связи по государственным и муниципальным услугам «Ваш Контроль»;

- рейтинги и отзывы, а также некоторые сводные данные в режиме реального времени на портале «Ваш контроль» Там же..

Очевидно, что отчеты предоставляются недостаточно регулярно, так как зачастую существуют такие проблемы, которые нуждаются в оперативном принятии решений со стороны надлежащих инстанций, и уровень удовлетворенности пользователя будет зависеть именно от того, насколько быстро удалось решить проблему. Если же это вопрос, требующий длительного времени для принятия решения, то это сильно может ударить по конечным показателям.

5. Тип анализа эффективности, принимаемых решений: как только решение внедрено (ad hoc) или по итогам результатов, принятого решения (ex post).

На сегодняшний день, учитывая регулярность отчетности, анализ эффективности проводится на уровне ex post, то есть по итогам результатов, принятого решения Стырин Е.М., Плаксин С.М. Система государственных услуг как объект мониторинга в Российской Федерации // Вопросы государственного и муниципального управления. 2012. № 4. С. 66-83.. Единственный возможный вариант, когда это делается по-другому, когда орган, принявший то или иное решение, берет на себя инициативу и самостоятельно отслеживает результативность своих действий. Однако систематизированной работы в этой стезе на данный момент не выполняется.

Подводя итог проведенному выше анализу, можно утверждать, что на данный момент наша страна находится между вторым и третьим определенными нами уровнями внедрения технологий Больших Данных для оценки качества предоставления государственных услуг.

Связано это с тем, что на данный момент «пассивные» данные не собираются систематизировано, а в некоторых субъектах и вовсе не собираются, что приводит к тому, что данные по «пассивной» обратной связи не используются в рамках отчетности. Более того, сложно говорить об отчетности в режиме реального времени, так как на данный момент в эту сторону делаются только первые шаги, однако полноценные отчеты на сегодняшний день доступны только раз в квартал и раз в год.

Таким образом, можно обозначить, что вектор развития взят верный, однако необходимы специалисты в области работы с данными для систематизации работы с ними и корректного использования и интерпретации «пассивных» данных для полноценного перехода на следующий этап развития в плане внедрения современных информационных технологий.

электронный муниципальный услуга качество

Глава 3. Предложения по улучшению внедрения Больших Данных для оценки качества государственных муниципальных услуг в электронном виде

3.1 Связь уровня внедрения Больших Данных с уровнем удовлетворенности государственными услугами по субъектам Российской Федерации

Одним из наиболее важных условий эффективной работы государственных и муниципальных органов является умение проводить анализ эффективности своей деятельности и оптимизация принимаемых решений, за счет чего, в итоге, достигается удовлетворенность граждан работой государственных органов.

Естественно, для работы с данными используется определенный набор современных инструментов и в зависимости от них зачастую определяется уровень, на котором работает с анализом данных тот или иной государственный служащий. Как было определено в предыдущей главе, на сегодняшний день по сравнению с мировыми реалиями - наша страна находится, можно сказать, на первоначальных этапах внедрения современных технологий по работе с большими массивами данных для оптимизации принятия решений.

Однако уровень был определен в среднем по стране. Как мы понимаем, наша страна включает в себя большое количество очень разношерстных субъектов, которые по многим показателям имеют серьезные разрывы.

Абсолютно очевидно, что и по уровню внедрения Больших Данных эти субъекты сильно различаются и среднее значение будет достаточно субъективным в виду этих серьезные разрывов. Таким образом, в таблице критериев, по которым мы определили уровень внедрения Больших Данных (Приложение №1) также включен общий средний балл, который был сформирован на основе следующих критериев ранжирования (табл. 1).

Таблица 1. Критерии оценки уровня внедрения технологии Больших Данных. Составлено автором.

Баллы

Критерий

5

У субъекта есть свой портал; внедрено более 2 аналитических инструментов, позволяющих собирать «пассивные» данные; для каждого инструмента внедрен свой уникальный идентификатор для анализа на уровне пользователя; включены основные средства обратной связи, как формы обратной связи на сайте, СМС, Email; данные собираются в единое Хранилище Данных, но не отправляются в общее (по стране) Хранилище Данных; ведется аналитика и отчетность с определенной периодичностью только по традиционной обратной связи.

4

У субъекта есть свой портал; внедрено более 1 аналитических инструментов, позволяющих собирать «пассивные» данные; хотя бы для 1 инструмента внедрен свой уникальный идентификатор для анализа на уровне пользователя; включены основные средства обратной связи, как формы обратной связи на сайте, СМС, Email; данные отправляются только в общее (по стране) Хранилище Данных; ведется аналитика и отчетность с определенной периодичностью только по традиционной обратной связи.

3

У субъекта есть свой портал; нет вовсе или внедрен только 1 аналитический инструмент, позволяющий собирать «пассивные» данные; нет вовсе или только для 1 инструмента внедрен свой уникальный идентификатор для анализа на уровне пользователя; включены не все основные средства обратной связи, как формы обратной связи на сайте, СМС, Email; данные отправляются только в общее (по стране) Хранилище Данных; ведется аналитика и отчетность с определенной периодичностью только по традиционной обратной связи.

2

У субъекта есть только домен, перенаправляющий на Единый портал государственных и муниципальных услуг; не внедрен аналитический инструмент, позволяющий собирать «пассивные» данные; ведется аналитика и отчетность с определенной периодичностью только по традиционной обратной связи.

1

У субъекта нет своего портала.

Результатом анализа стало следующее распределение регионов по уровню внедрения технологий (рис. 2).

Таким образом, мы видим, что большинство субъектов страны по уровню внедрения зарабатывают от 1-ого до 3-ех баллов, что говорит о достаточно низком уровне развития с точки зрения использования современных технологий в работе по оценке качества предоставления государственных и муниципальных услуг.

Рисунок 2: Круговая диаграмма распределения субъектов Российской Федерации по баллам уровня внедрения Больших Данных. Составлено автором.

По традиции серьезный отрыв имеет город Москва по сравнению с другими субъектами, который имеет максимальные 5 баллов среди остальных субъектов наравне с Единым порталом государственных услуг. К другим лидирующим регионам относятся Самарская область и республика Татарстан, которые имеют 4 баллов благодаря использованию дополнительных аналитических инструментов, помимо стандартной Яндекс Метрики, а также благодаря собственным системам авторизации, что говорит о том, что данные хранятся и обрабатываются не только на федеральном, но и на региональном уровне.

К другим «хорошистам» можно отнести такие субъекты, как Астраханская область, Воронежская область, Ленинградская область, Липецкая область, Московская область и Тульская область, которые качественно ведут сбор данных, используя стандартный инструментарий. Отдельно стоит выделить Ставропольский край, который заработал 4 баллов, несмотря на наличие только одного инструмента аналитики, благодаря хранению и обработке данных дополнительно на региональном уровне.

Результатом является таблица (Приложение №1), которая отражает рейтинг уровня внедрения Больших Данных для государственных и муниципальных услуг в электронном виде среди субъектов Российской Федерации.

Теперь, когда есть понимание уровня внедрения Больших Данных по субъектам Российской Федерации, необходимо перевести этот рейтинг в практическую сторону и понять, насколько этот фактор имеет влияние на ключевой показатель удовлетворенности государственных и муниципальных услуг в электронном виде на сегодняшний день. Для этого необходимы данные по уровню удовлетворенности граждан государственными услугами в разбивке по субъектам.

К сожалению, те данные, которые предоставлены в открытом доступе на сайте «Ваш контроль» в разделе «Открытые данные» и хранятся под названием «Исходные данные для мониторинга», не позволяют полноценно проанализировать ситуацию и вывести уровни удовлетворенности для субъектов. Это связано с тем, что приведенные параметры и значения выражены в уникальных идентификаторах (ID) без информации о том, к чему относится каждый идентификатор, поэтому отсутствует возможность вывести полезную информацию из такой таблицы. О Проекте // Портал обратной связи по государственным и муниципальным услугам «Ваш Контроль» Таким образом, можно говорить о том, что «открытые данные» в действительности являются не до конца открытыми.

Поэтому единственным открытым представлением данных по удовлетворенности качеством предоставление государственных и муниципальных услуг по субъектам является социологическое исследование от РАНХиГС, которое было проведено на выборке 20 субъектов Российской Федерации Мониторинг удовлетворенности граждан получением государственных и муниципальных услуг - 2010. М. : РАНХиГС, 2011.. Для выявления уровня удовлетворенности был проведен опрос 4150 респондентов, обращавшихся за государственными услугами, в 20 субъектах Российской Федерации. Опрос датируется еще 2011 годом, однако и этого набора данных должно быть достаточно для того, чтобы, в целом, доказать зависимость переменных.

Для определения коэффициента корреляции был использован пакет STATA, а для анализа был взят стандартный коэффициент корреляции Пирсона для нахождения линейных зависимостей. Условия, которые позволяют работать с данным коэффициентом -- соблюдены Шмойлова Р.А. Общая теория статистики: Учебник / Под ред. Р.А. Шмойловой. 3-е издание, переработанное. Москва: Финансы и Статистика, 2002. С. 68.:

- переменные находятся в рамках нормального распределения;

- переменные представлены в интервальной шкале;

- количество значений переменных совпадают.

В итоге, получилась следующая таблица коэффициентов корреляции (табл. 2):

Таблица 2: Корреляция между переменными из статистического пакета STATA. Составлено автором.

Общий балл для каждого субъекта уровня внедрения технологий Больших Данных

Удовлетворенность сроком оказания услуги по субъекту

Удовлетворенность количеством обращений

Средняя оценка удовлетворенности по субъекта

Общий балл для каждого субъекта уровня внедрения технологий Больших Данных

1.00

-

-

-

Удовлетворенность сроком оказания услуги по субъекту

0.52

1.00

-

-

Удовлетворенность кол-вом обращений

0.55

0.73

1.00

-

Средняя оценка удовлетворенности по субъекта

0.44

0.62

0.72

1.00

В итоге, мы наблюдаем умеренный уровень взаимосвязи между уровнем внедрения технологий Больших Данных и удовлетворенностью граждан качеством предоставления государственных и муниципальных услуг. Так, например, самая большая зависимость, логичным образом сложилась между тем, как часто пользователи обращаются за государственными и муниципальными услугами и представленностью региональных порталов.

Чуть меньший коэффициент наблюдается между временем предоставления государственных и муниципальных услуг тем или иным субъектом, что является, как было определено в предыдущих частях работы, одним из важных составляющих качества, и уровнем внедрения Больших Данных. Это свидетельствует о том, что более продвинутые в плане внедрений технологий субъекты - имеют больше возможностей предоставлять более качественные услуги за счет анализа обратной связи и оптимизации на основе данных. Еще более умеренный коэффициент корреляции наблюдается между средним значением уровня удовлетворенности, что можно списать на ограниченность выборки и «размытие» результатов в виду включения в средний показатель множества других нерелевантных показателей.

В целом, по данным результатам можно сделать общий вывод о том, что действительно существует зависимость между уровнем внедрения технологий Больших Данных и удовлетворенностью граждан качеством предоставления государственных и муниципальных услуг, несмотря на то, что выборка довольно ограниченная.

Логично предположить, что с учетом всё большего распространения активного использования интернета - уровень внедрения Больших Данных будет иметь всё большее влияние на удовлетворенность граждан субъектов качеством предоставления государственных услуг, так как всё больше пользователей будут обращаться за государственными услугами именно через порталы, а не через МФЦ. Таким образом, без применения соответствующих технологий Больших Данных мы «потеряем» спрос на электронные услуги из субъектов, будучи не в состоянии собрать мнение граждан, проанализировать их и принять необходимые стратегические меры.

Для подтверждения этого предположения необходима сводная таблица с выявленными ранее данными по уровню внедрения Больших Данных, уровень удовлетворенности, а также дополнительный параметр темпа роста доли обращений за государственными услугами в электронном виде в общем числе обращений. Последний показатель был выведен на основе данных с федерального портала государственной статистики ЕМИСС. А именно по таблице, которая была выведена на основе регистраций обращений граждан за услугами по разным источникам, («Доля обращений граждан за получением государственных услуг в электронной форме в общем числе обращений граждан за получением государственных услуг») в которой присутствуют данные за 2011 и 2012 годы по субъектам Российской Федерации. Доля обращений граждан за получением государственных услуг… // Государственная статистика «ЕМИСС» Соответственно по формуле темпа роста для значений в периоде n и n-1 - мы получаем показатель, который нам необходим для 20 субъектов, анализ которых был проведен в рамках предыдущих этапов исследования.

В итоге, Приложение №2 к данной работе, в котором представлена сводная таблица по рангам рейтингов уровня технологий и уровня удовлетворенности по 20 субъектам Российской Федерации с рангом темпа роста обращений за электронными услугами - позволяет проследить вероятность того, что некоторые субъекты будут иметь в ближайшем будущем серьезные проблемы с тем, чтобы удовлетворить спрос граждан на государственные услуги в электронном виде в подобающей форме. Связано это с тем, что был выявлен очень высокий темп роста электронных услуг в связке с крайне низким уровнем внедрения Больших Данных.

К самым проблемным регионам из выборки в 20 субъектов с аномальными показателями разрыва были отнесены Ростовская и Белгородская области, в которых отсутствуют вовсе региональные порталы государственных услуг в электронном виде и в рейтинге уровня внедрения Больших Данных. Они замыкают топ-20, а спрос растет с темпами 100% и более - ежегодно. Логичным образом данная сводная таблица также показывает, что соответственно и в рейтинге уровня удовлетворенности эти субъекты находятся на низкой позиции.

Другим аномальным субъектом с обратной пропорцией является Воронежская область, где уровень удовлетворенности достаточно низкий, несмотря на то, что субъект находится на высокой позиции в рейтинге уровня внедрения технологий. Это говорит о том, что, вероятнее всего, темп роста в данном субъекте настолько высок, что тот относительно хороший уровень внедрения Больших Данных, как один из факторов уровня удовлетворенности, уже недостаточен для спроса граждан и необходимо дальнейшее серьезное развитие.

Полная карта регионов с разбивкой по вероятности наступления технологического разрыва и, как следствие, проблем с удовлетворенностью граждан предоставления государственных и муниципальных услуг - представлена на рисунке 3.

Рисунок 3: Карта субъектов Российской Федерации по вероятности наступления технологического разрыва. Составлено автором.

Таким образом, на сегодняшний день уже существует серьезная проблема того, что спрос на электронные услуги серьезно опережает уровень подготовленности субъектов с точки зрения соответствующих технологий для того, чтобы качественно удовлетворить этот спрос. Пример Воронежской области показывает, что если не предпринять соответствующие меры и не внедрить современные технологии, можно ожидать серьезное падение удовлетворенности качеством государственных услуг не только в электронном виде, но и в целом у тех субъектов, где существует серьезный разрыв между уровнем технологий и темпом роста обращений за услугами в электронном виде.

3.2 Рекомендации по внедрению Больших Данных в технологии оценки качества предоставления государственных и муниципальных услуг в электронном виде

Для качественного внедрения каких-либо технологий требуется полноценный план с четко описанными процессами, а на сегодняшний день существует только набор большого количества публикаций о необходимости внедрения современных технологий, набор непроработанных поверхностных предложений по внедрению систем автоматизации, по большей части, в виду того, что предоставленный набор открытых данных сильно ограничен.

Нивелировать эту одну из первых проблем при проработке стратегии - возможно, если полноценный проработанный план будет представлен разработан именно представителями ответственного Министерства Экономического Развития Российской Федерации с привлечением экспертов, которые смогли бы приобрести доступ ко всей необходимой информации для разработки полноценной стратегии.

На основе этих данных уже можно было бы сформировать конкретизированное Постановление Правительства Российской Федерации для поэтапного внедрения Больших Данных для автоматизации и улучшения оценки качества предоставления государственных и муниципальных услуг в электронном виде.

Абсолютно очевидный на данный момент перечень требований по этому постановлению должен был бы включать в себя такие необходимые изменения, как:

- искоренение региональных порталов и сведение всех портал субъектов в Единый портал государственных и муниципальных услуг «одного окна» с разделением субъектов и перечнем предоставляемых ими услуг на поддомены с автоматическим определением геолокации. Вместо отдельного набора порталов для субъектов Российской Федерации, наличие которых не ограничено согласно Федеральному закону № 210-ФЗ;

- автоматизация процессов сбора, хранения, обработки и анализа данных обратной связи граждан и организаций - пользователей государственных и муниципальных услуг - по оценке качества предоставления государственных и муниципальных услуг в электронном виде за счет внедрения современных технологий Больших Данных Manyika J., Chui M., Brown B. Big data: The next frontier for innovation, competition, and productivity // McKinsey Global Institute, 2011. P. 19.;

- автоматизация процессов сбора, хранения, обработки и анализа «пассивных» данных граждан и организаций - пользователей государственных и муниципальных услуг - по оценке качества предоставления государственных и муниципальных услуг в электронном виде за счет повсеместного внедрения таких аналитических инструментов, как Google Analytics, Яндекс Метрика, Google Tag Manager, IBM Analytics; Piwik Analytics Manyika J., Chui M., Brown B. Big data: The next frontier for innovation, competition, and productivity // McKinsey Global Institute, 2011. P. 23.;

- соотнесение и сопоставление данных из разных источников по конкретным гражданам и организациям, зарегистрированных на Едином портале государственных и муниципальных услуг, для лучшего понимания потребностей пользователя, а также для дальнейшего «кастомизированного» и персонализированного предоставления государственных и муниципальных услуг в электронном виде за счет технологий идентификации cookie и существующей ныне Единой системы идентификации и аутентификации пользователей - ЕСИА Постановление Правительства РФ от 28 ноября 2011 г. № 977 «О федеральной государственной информационной системе «Единая система идентификации и аутентификации…» // Собрание законодательства Российской Федерации. 2011. № 49. Ст. 7284.;

- автоматизация формирования и визуализации отчетности за счет технологии OLAP Неделько С.И., Осташков А.В., Матюкин С.В. Мониторинг в системе оказания государственных и муниципальных услуг как инструмент реализации стратегии повышения качества государственного и муниципального управления // М. : Издательство Эксклибрис Пресc, 2008. С. 215., что позволит перевести мониторинг оценки качества предоставления государственных и муниципальных услуг на более регулярный режим, а также позволит рассматривать исходные данные в режиме реального времени в рамках требований прозрачности и открытости по Указу Президента Российской Федерации от 7 мая 2012 года № 601 «Об основных направлениях совершенствования системы государственного управления» Указ Президента РФ от 07.05.2012 г. № 601 «Об основных направлениях совершенствования системы государственного управления» // Собрание законодательства Российской Федерации. 2012. № 19. Ст. 2338.;

- привлечение экспертов в области анализа Больших Данных для эффективной работы с автоматизированными информационными системами, а также повышение квалификации государственных служащих для повсеместного «принятия» и активного использования технологий всеми субъектами Российской Федерации.

На данном этапе развития правильная имплементация этих изменений привела бы к тому, что наша страна смогла бы перейти на следующий этап внедрения технологий Больших Данных, которые были обозначены в предыдущей главе и, соответственно, существенно улучшить показатели качества предоставления государственных и муниципальных услуг в электронном виде.

Если разбить внедрение этих изменений на этапы, то видится следующая схема, которая позволит сделать следующий шаг в сторону эффективной работы с Большими Данными Неделько С.И., Осташков А.В., Матюкин С.В. Мониторинг в системе оказания государственных и муниципальных услуг как инструмент реализации стратегии повышения качества государственного и муниципального управления // М. : Издательство Эксклибрис Пресc, 2008. С. 160.:

0. Предварительный анализ нынешней ситуации, который включал бы себя изучение следующих параметров:

- необходимо изучение полноценных данных по той системе, которая существует на данный момент;

- необходимо изучение Хранилищ Данных;

- необходимо изучение того, на каком уровне ведется аналитика как региональными, так и федеральными органами;

- необходимо выявить процент «принятия» государственных и муниципальных услуг в электронном виде для более точного выявления наиболее проблемных субъектов;

- необходимо изучить ретроспективные «пассивные» данные из систем аналитики, установленных на порталах и сформировать отчеты по проблемным зонам существующих на сегодняшний день порталов. Это позволит анализировать не только итоговые этапы предоставления услуг, но также и промежуточные, что является требованием для установления параметров оценки качества в рамках международного стандарта ИСО ISO 9004:2009 Managing for the sustained success of an organization -A quality management approach (IDT)., разобранного ранее в данной работе;

- мнения нынешних экспертов, которые ответственны за аналитику - для сбора с них требований по оптимизации системы;

1. Разработка стратегии внедрения Больших Данных, которая будет включать в себя:

- определение четкого набора показателей и параметров, которые должны собираться, храниться, обрабатываться и анализироваться;

- назначение ответственных экспертов, которые следят за бесперебойной работой автоматизированной системы;

- установление «фреймворков» для государственных служащих в виде соответствующих актов по тому, как надо поступать при том или ином отклонении определенных метрик;

2. Подробное описание системы внедряемых технологий Больших Данных:

- какие инструменты будут использоваться, на каком этапе и в каком формате;

- определение необходимых дополнительных ресурсов в виде серверов, человеческих ресурсов для поддержки и тому подобное для бесперебойной работы автоматизированной системы;

3. Описание базы данных, разработка структуры базы данных и схем управления данными.

4. Разработка и внедрение новых процедур и регламентов проведения автоматизированного мониторинга качества предоставления государственных и муниципальных услуг в электронном виде, а также процедур и регламентов по отчетности по этим мониторингам;

5. Разработка и внедрение нормативно-правовых актов по ответственности тех или иных государственных служащих за достоверность предоставляемой информации и отчетности в рамках автоматизированного мониторинга.

По итогам внедрения данных рекомендаций уровень внедрения Больших Данных по субъектам Российской Федерации должен выровняться, а соответственно должны выровняться и показатели уровня удовлетворенности граждан качеством предоставления государственных и муниципальных услуг в электронном виде. Тогда одна из главных целей административной реформы Указ Президента РФ от 07.05.2012 г. № 601 «Об основных направлениях совершенствования системы государственного управления» // Собрание законодательства Российской Федерации. 2012. № 19. Ст. 2338. по достижению уровня удовлетворенности в 90% по всей стране должен быть достигнут к 2018 году, так как была выявлена взаимосвязь между использованием современных технологий и удовлетворением граждан от использования услуг Единого портала.

Если же ничего не изменить, то разрыв между субъектами, который существует на сегодняшний день, будет непременно расти в виду серьезных различий еще и в темпах роста и «принятия» технологий продвинутыми субъектами в отличие от отстающих. Учитывая, что абсолютное большинство субъектов Российской Федерации на сегодняшний день относится к разряду отстающих и лишь малая часть - к лидирующим, среднее значение индикаторов удовлетворенности может быть значительно смещено в виду того, что темпы роста обращений за электронными услугами будут непременно расти, и в один момент мы просто не сможем удовлетворить качественно этот спрос.

Поэтому необходимость дальнейшей проработки и внедрения приведенных выше рекомендаций является абсолютно очевидной и нуждается в повсеместном продвижении, как возможностей для достижения цели административной реформы по совершенствованию системы государственных услуг.

Заключение

В рамках данной работы были проанализированы понятия государственных и муниципальных услуг, а также исследованы порталы государственных и муниципальных услуг в электронном виде для того, чтобы приобрести согласованное понимание исследуемого объекта в рамках данного исследования.

Далее была проанализирована существующая система оценки качества предоставления государственных и муниципальных услуг, в том числе в электронном виде. Были рассмотрены основные технологии оценки, как ежегодный мониторинг качества предоставления государственных и муниципальных услуг, ежеквартальные отчеты портала обратной связи «Ваш контроль», а также методы обратной связи гражданами на разных этапах получения государственной и муниципальной услуги в электронном виде. По итогам исследования были выявлены определенные проблемы и барьеры, которые существуют на сегодняшний день в технологиях оценки качества предоставления государственных и муниципальных услуг в электронном виде, к которым были отнесены:

- низкая регулярность предоставления отчетности;

- отсутствие анализа «пассивных» данных;

- маленькая выборка в масштабах страны;

- отсутствие единой методологии анализа;

- серьезный разрыв в выборке между лидирующими субъектами в плане внедрения Больших Данных и отстающими.

На основе этих проблем были сначала рассмотрены общие технологии, которые включают в себя Большие Данные. После чего эти технологии были спроецированы на возможность их использования в рамках государственного управления и были рассмотрены примеры внедрения в других странах.

На основе сравнения примеров работы с Большими Данными в этих странах, была сформирована градация уровня внедрения технологий, которая была сформирована с учетом критериев, определяющих Большие Данные. В итоге, были включены такие параметры как: уровень работы с анализом данных, наличие определенных Хранилищ Данных, уровень работы с «пассивными» данными и традиционными методами сбора данных.

По итогам, была сформирована шестиуровневая градация (1 - начальный этап внедрения; 6 - продвинутый этап внедрения), по которой было определено, что наша страна находится на 2-3 этапе внедрения.

Далее была проанализирована разница уровня внедрения Больших Данных между субъектами Российской Федерации, так как было предположение о том, что среднее значение имело сильно смещение в виду серьезного разрыва между развитием субъектов, что и было доказано. Продолжение исследования данного разрыва показало, что существует умеренная взаимосвязь между уровнем внедрения технологий и уровнем удовлетворенности граждан того или иного субъекта качеством предоставления государственных и муниципальных услуг, что является барьером к достижению одной из целей административной реформы по совершенствованию государственных услуг. Также был выявлен список регионов из выборки, в которых ожидаются серьезные проблемы с показателем удовлетворенности в виду серьезных темпов роста электронных услуг, и отсутствия соответствующих спросу технологий.

В итоге были сформированы рекомендации по нивелированию этого разрыва и стратегия по выведению нашей страны на следующий этап по уровня внедрения Больших Данных в технологии оценки качества предоставления государственных и муниципальных услуг в электронном виде, что позволит выровнять уровень «принятия» электронных услуг в субъектах и повысить общий уровень удовлетворенности.

Библиографический список

1. Федеральный закон от 27 июля 2010 г. № 210-ФЗ «Об организации предоставления государственных и муниципальных услуг» (с изменениями и дополнениями) // Собрание законодательства Российской Федерации. 2010. № 31. Ст. 4179.

2. Указ Президента РФ от 07.05.2012 г. № 601 «Об основных направлениях совершенствования системы государственного управления» // Собрание законодательства Российской Федерации. 2012. № 19. Ст. 2338.

3. Постановление Правительства РФ от 27.12.2004 г. № 861 (ред. от 22.02.2016 г.) «Об утверждении Правил недискриминационного доступа к услугам по передаче электрической энергии и оказания этих услуг, Правил недискриминационного доступа к услугам по оперативно-диспетчерскому управлению в электроэнергетике и оказания этих услуг, Правил недискриминационного доступа к услугам администратора торговой системы оптового рынка и оказания этих услуг и Правил технологического присоединения энергопринимающих устройств потребителей электрической энергии, объектов по производству электрической энергии, а также объектов электросетевого хозяйства, принадлежащих сетевым организациям и иным лицам, к электрическим сетям» // Собрание законодательства Российской Федерации.

4. Постановление Правительства РФ от 28 ноября 2011 г. № 977 «О федеральной государственной информационной системе «Единая система идентификации и аутентификации в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме» // Собрание законодательства Российской Федерации. 2011. № 49. Ст. 7284.

5. ISO 9004:2009 Managing for the sustained success of an organization - A quality management approach (IDT).

6. ГОСТ Р 52113-2014 «Услуги населению. Номенклатура показателей качества услуг».

7. Алькина Г.И., Герба В.А.Сущность государственных услуг// Вестник ТОГУ: журнал.-- 2009.--№ 3 (14)

8. Мониторинг качества и доступности государственных и муниципальных услуг - 2010. М. : Изд. Дом НИУ ВШЭ, 2011.

9. Мониторинг удовлетворенности граждан получением государственных и муниципальных услуг - 2010. М. : РАНХиГС, 2011.

10. Моррисон А. Большие Данные: как извлечь из них информацию // Технологический прогноз. 2010. №3.

11. Неделько С.И., Осташков А.В., Матюкин С.В. Мониторинг в системе оказания государственных и муниципальных услуг как инструмент реализации стратегии повышения качества государственного и муниципального управления // М. : Издательство Эксклибрис Пресc, 2008.

12. Нестеров А.В. Понятие услуги государственной, общественной (социальной) и публичной // Государственная власть и местное самоуправление. 2005. №11.

13. Понкин И.В., Понятие публичных услуг // Омск: Вестник Омского университета. Серия «Право». 2014. №1 (38).

14. Опрос «ФОМнибус» // Проект«Доминанты», 29 апреля 2012 г.

15. Публичные услуги: правовое регулирование (российский и зарубежный опыт) : сборник / под общ. Ред. Е.В. Гриценко, Н.А. Шевелевой. - М. : Волтерс Клувер, 2007.

16. Стырин Е.М., Плаксин С.М. Система государственных услуг как объект мониторинга в Российской Федерации// Вопросы государственного и муниципального управления. 2012. №4.

17. Шмойлова Р.А. Общая теория статистики: Учебник / Под ред.Р.А. Шмойловой.3-е издание, переработанное.Москва: Финансы и Статистика, 2002.

18. TNS Web Index: Аудитория интернет-проектов. Февраль 2016 г. // TNS

19. Государственная статистика - открытые данные // Государственная статистика «ЕМИСС»

20. Лучшие практики мониторинга и оценки качества и доступности государственных и муниципальных услуг и деятельности многофункциональных центров предоставления государственных и муниципальных услуг // Портал Административной Реформы

21. Минкомсвязь о Едином портале государственных услуг (ЕПГУ) // Официальный сайт Министерства коммуникаций и связи Российской Федерации

22. О Проекте // Портал обратной связи по государственным и муниципальным услугам «Ваш Контроль»

23. Открытые Данные // Портал обратной связи по государственным и муниципальным услугам «Ваш Контроль»

24. Справочные материалы о Едином портале государственных и муниципальных услуг (функций) // Единый портал государственных и муниципальных услуг Российской Федерации

25. Anderfuhren-Biget S., Varone F., Giauque D. Policy Environment and Public Service Motivation // Public Administration. 2014. № 92 (4). P. 807.

26. Dayal Madhukar; Garg, Sachin; Shrivastava, Rubaina Big Data: Road Ahead for India // IMJ. July 2014. Vol. 6. Issue 2.

27. Elliot I., Halstead C. Big Data, better public services // PWC Report, 2015.

28. Le Masson B., Al-Yahya K. Digital Government // Accenture. January 2014. P. 38.

29. Horowitz B. IBM Predictive Analytics Helps № rth Carolina Detect Medicaid Fraud Data // eWeek

30. Lynch C. Big Data: How do your data grow? // Nature. 2008. №455. P. 28.

31. Manyika J., Chui M., Brown B. Big data: The next frontier for innovation, competition, and productivity // McKinsey Global Institute, 2011.

32. Mayer-Schoenberger V., Cukier K. The Rise of Big Data // Foreign Affairs, June 2013.

33. McGregor E. The Public-Service problem // The ANNALS of the American Academy of Political and Social Science. 1983.Vol. 466.№ 1.

34. Mullich J., Closing the Big Data gap in Public Sector // Bloomberg Businessweek Research Services and SAP, September 2013.

35. O'Reilly T. What Is Web 2.0 // New Media: An Introduction, 2004.

36. Russom P. Big Data Analytics // TDWI Research, 2011.

37. Rutter T. How Big Data is transforming public services // the Guardian, 2014.

Приложение 1

Таблица критериев уровня внедрения Больших Данных и уровня удовлетворенности качеством предоставления государственных и муниципальных услуг по субъектам Российской Федерации

РФ / субъект РФ

Счетчики

Unique ID

Обратная связь

Система регистрации

Общий балл уровня внедрения технологий (из 10)

Удовлетворенность сроком оказания услуги, %

Удовлетворенность количеством обращений, %

Средняя оценка удовлетворенности, %

Российская Федерация

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, Ваш Контроль, Социальные сети, Телеграм, СМС, Email

ESIA

5

-

-

-

Москва

Google Analytics/3 счетчика Yandex Metrika: 1 "для мэрии" и 2 общих

Google Analytics User Id/Yandex Metrika User Id/MOS Id

Формы обратной связи на сайте, СМС, Email

MOS.RU

5

83

83

79

Самарская область

Google Analytics/Google Tag Manager/Yandex Metrika

Google Analytics User Id/Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

SIA+ Внутренний логин

4

-

-

-

Республика Татарстан

Google Analytics/Yandex Metrika/Piwik Analytics

Google Analytics User Id/Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA+ Внутренний логин

4

73

80

75

Астраханская область

Google Analytics/Yandex Metrika

Yandex Metrika User Id/Google Analytics User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

-

-

-

Воронежская область

Yandex Metrika/IBM Analytics

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

65

68

53

Ленинградская область

Google Analytics/Yandex Metrika

Yandex Metrika User Id/Google Analytics User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

-

-

-

Липецкая область

Yandex Metrika/IBM Analytics

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

-

-

-

Московская область

Google Analytics/Yandex Metrika

Google Analytics User Id/Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

72

72

73

Тульская область

Google Analytics/Yandex Metrika

Google Analytics User Id/Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

4

-

-

-

Ставропольский край

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA+Внутренний логин

3

52

60

66

Амурская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

Архангельская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

60

64

64

Волгоградская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Вологодская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Еврейская автономная область

Google Analytics

Google Analytics User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Ивановская область

Google Analytics

Google Analytics User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Камчатский край

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Коми

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Краснодарский край

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

51

54

60

Красноярский край

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

59

74

70

Крым

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Марий Эл

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Мордовия

Google Analytics

Google Analytics User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Нижегородская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

50

61

67

Пензенская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Санкт-Петербург

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

72

85

70

Смоленская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Тамбовская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Тюменская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Удмуртия

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Челябинская область

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

56

58

57

Чувашия

Yandex Metrika

Yandex Metrika User Id

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Башкортостан

-

-

Формы обратной связи на сайте, СМС, Email

ESIA

3

-

-

-

Брянская область

-

-

n/a

ESIA

3

-

-

-

Ингушетия

-

-

-

ESIA

3

-

-

-

Калмыкия

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Калужская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Карелия

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Кировская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Курская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Ненецкий автономный округ

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Омская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Республика Саха (Якутия)

-

-

Формы обратной связи на сайте

ESIA

3

79

57

67

Тверская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Томская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Ульяновская область

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Хабаровский край

-

-

Формы обратной связи на сайте

ESIA

3

59

62

68

Ханты-Мансийский автономный округ - Югра

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Чеченская республика

-

-

Формы обратной связи на сайте

ESIA

3

46

51

60

Ямало-Ненецкий автономный округ

-

-

Формы обратной связи на сайте

ESIA

3

-

-

-

Алтай

-

n/a

ESIA

2

-

-

-

Алтайский край

-

n/a

ESIA

2

-

-

-

Иркутская область

-

-

n/a

ESIA

2

54

53

52

Калининградская область

-

-

n/a

ESIA

2

-

-

-

Кемеровская область

-

n/a

ESIA

2

-

-

-

Костромская область

-

n/a

ESIA

2

-

-

-

Мурманская область

-

n/a

ESIA

2

-

-

-

Новгородская область

-

-

n/a

ESIA

2

-

-

-

Новосибирская область

-

-

n/a

ESIA

2

-

-

-

Ярославская область

-

n/a

ESIA

2

61

65

68

Адыгея

-

-

ESIA

1

-

-

-

Белгородская область

-

-

-

ESIA

1

60

63

62

Бурятия

-

-

-

ESIA

1

-

-

-

Владимирская область

-

-

-

ESIA

1

-

-

-

Дагестан

-

-

-

ESIA

1

-

-

-

Забайкальский край

-

-

-

ESIA

1

-

-

-

Кабардино-Балкария

-

-

-

ESIA

1

-

-

-

Карачаево-Черкесия

-

-

-

ESIA

1

-

-

-

Курганская область

-

-

-

ESIA

1

-

-

-

Магаданская область

-

-

-

ESIA

1

-

-

-

Оренбургская область

-

-

-

ESIA

1

-

-

-

Орловская область

-

-

-

ESIA

1

-

-

-

Пермский край

-

-

-

ESIA

1

54

62

67

Приморский край

-

-

-

ESIA

1

-

-

-

Псковская область

-

-

-

ESIA

1

-

-

-

Рязанская область

-

-

-

ESIA

1

-

-

-

Саратовская область

-

-

-

ESIA

1

-

-

-

Ростовская область

-

-

-

ESIA

1

67

69

67

Сахалинская область

-

-

-

ESIA

1

-

-

-

Севастополь

-

-

-

ESIA

1

-

-

-

Северная Осетия - Алания

-

-

-

ESIA

1

-

-

-

Свердловская область

-

-

-

ESIA

1

42

56

58

Тыва

-

-

-

ESIA

1

-

-

-

Хакасия

-

-

-

ESIA

1

-

-

-

Чукотский автономный округ

-

-

-

ESIA

1

-

-

-

Приложение 2

Таблица соотношения рангов удовлетворенности и уровня внедрения технологий с темпом роста электронных услуг по субъектам Российской Федерации

Субъект РФ

Ранг по рейтингу уровню внедрения технологий (из 20)

Ранг по рейтингу уровню удовлетворенности (из 20)

Ранг темпа роста доли граждан обращающихся за услугами в электронной форме (из 20)

Темп роста доли граждан обращающихся за услугами в электронной форме, %

Дельта разрыва (ранг уровня внедрения - ранг темпа роста), Д


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.