Априорные характеристики аудитории MOOCs российских ВУЗов и показатели вовлеченности в образовательный процесс

Ссылка на опрос по окончании курса приходила всем зарегистрированным участникам после сдачи итоговых тестов и официального объявления завершения занятий. Через неделю после первого письма студентам приходило письмо-напоминание. В целях увеличения числа переходов по ссылке и заполнений анкеты обращение к студентам в письмах велось от имени преподавателя.

Поскольку НИУ ВШЭ предоставлял курсы как на русском (7), так и на английском (4), то анкета и сопроводительные письма были составлены на 2 языках. Сбор данных проходил с февраля 2013 (запуск первого курса) по ноябрь 2014 (окончание последнего курса).

Прочие источники данных

Помимо результатов опроса в работе мы также опирались на административные данные платформы Coursera (таблицы из реляционных баз данных, доступных с помощью использования языка SQL), а именно:

Успеваемость по курсу (категории: «не смог завершить курс», «завершил курс», «завершил курс с отличием»)

Факт приобретения подтвержденного сертификата

Административные данные были присоединены к данным опроса посредством уникального идентификатора каждого пользователя.

Для решения задачи по сравнению портретов участников российских и зарубежных вузов мы использовали отчеты следующих университетов (краткие обзоры были представлены в Главе 2):

University of London ( Grainger, B. Massive open online course (MOOC) report 2013/ University of London International Programmes)

University of Pennsylvania (Christensen, Gayle and Steinmetz, Andrew and Alcorn, Brandon and Bennett, Amy and Woods, Deirdre and Emanuel, Ezekiel J, The MOOC Phenomenon: Who Takes Massive Open Online Courses and Why? (November 6, 2013))

Harvard & MIT (Ho, A. D., Reich, J., Nesterko, S., Seaton, D. T., Mullaney, T., Waldo, J., & Chuang, I. (2014). HarvardX and MITx: The first year of open online courses (HarvardX and MITx Working Paper No. 1))

Генеральная совокупность и выборка

Название курса	N регистраций	n (опрос до начала)	% от N (опрос до начала)	n (опрос по окончании)	% от N (опрос по окончании)
Финансовые рынки и институты	18252	3200	18	940	5
История экономической мысли	13534	2268	17	119	1
Основы микроэкономики	19769	4013	20	292	1
Теория отраслевых рынков	8443	897	11	160	2
Документы и презентации в LaTeX	12388	2257	18	586	5
Core concepts in Data analysis	57909	3242	6	366	1
Public Economics	24332	1494	6	220	1
Understanding Russians	18097	2367	13	229	1
Introduction to Neuroeconomics	74507	5905	8	1639	2
Основы корпоративных финансов	25763	1112	4	495	2
Макроэкономика	19269	2129	11	553	3
Всего	292263	28884	10	5599	2

Операционализация понятий

Понятие	Интерпретация	Индикатор	Показатель
Массовый открытый онлайн курс	Дистанционный образовательный курс, предоставляемый университетами в рамках MOOC-платформы на бесплатной основе в сети Интернет.	Параметры курса	Название университета, предоставляющего курс
			Язык, на котором ведется курс
			Название курса
			Предметная область курса
Априорные характеристики аудитории	Совокупность ряда атрибутов участников на момент старта выбранного курса	Социально-демографический портрет	Пол
			Возраст
			Страна проживания
			Статус занятости
		Образовательный бэкграунд	Наивысший уровень полученного образования
			Уровень осведомленности о предметной области курса
			Опыт обучения в предметной области курса
			Опыт работы, связанный с применением знаний из предметной области курса
			Опыт участия в MOOCs
		Мотивы участия	Степень согласия с 12 высказываниями о возможных мотивах
Вовлеченность	Совокупность показателей, характеризующих степень участия студента в учебном процессе и сопутствующей внеучебной активности	Академическая вовлеченность	Просмотр видеолекций
			Выполнение заданий по курсу
			Чтение дополнительных материалов
			Среднее количество часов в неделю, затраченное на освоение материалов по курсу
			Факт успешного завершения курса
			Итоговый балл
		Социальная вовлеченность	Просмотр материалов по теме курса на форуме курса/общение на форуме курса
			Просмотр мaтериaлов по теме курсa в группaх в социaльных сетях/общение в группах в социaльных сетях
		Эмоциональная вовлеченность	Удовлетворенность пройденным курсом
			Желание порекомендовать курс друзьям
			Желание обращаться к материалам курса в дальнейшем

Гипотезы:

Характеристики аудитории англоязычных курсов российских вузов и курсов зарубежных вузов значимо не различаются

Если конкретизировать данную гипотезу, то мы предполагаем, что характеристики аудитории англоязычных курсов российских вузов будут в целом согласованы с портретом, составленным в отчете Пенсильванского университета Christensen, Gayle and Steinmetz, Andrew and Alcorn, Brandon and Bennett, Amy and Woods, Deirdre and Emanuel, Ezekiel J, The MOOC Phenomenon: Who Takes Massive Open Online Courses and Why? (November 6, 2013) P.11 и университета Лондона Grainger, B. Massive open online course (MOOC) report 2013/ University of London International Programmes [Электронныйресурс] URL: http://www.londoninternational.ac.uk/sites/default/files/documents/mooc_report-2013.pdf. Среди участников англоязычных курсов будет значимо больше мужчин, средний возраст - около 35 лет, половина занята full-time, главные мотивы - развлечение и повышение квалификации.

Характеристики аудитории русскоязычных и англоязычных курсов российских вузов будут значимо различаться по полу, возрасту, уровню образования, стране проживания, предыдущему опыту участия в MOOCs

Это различие, в первую очередь, обусловлено географически: русскоязычная аудитория сконцентрирована в России, Белоруссии, Украине, Казахстане и других постсоветских странах. Аудитория «экспортных» англоязычных курсов предполагается более размытой.Christensenatal. обнаружили значимые различия в характеристиках аудиторий из стран BRICS, OECD и USA. Наша гипотеза состоит в том, что портрет участников русскоязычных курсов будет максимально приближен к портрету участников из BRICS, а именно: 2/3 участников - мужчины и люди, младше 30 лет, 30% студентов, 50% занятых full-time, основной мотив - повышение квалификации/переквалификация.

Участники MOOCs могут быть разделены на разные сегменты в зависимости от того, какие мотивы они преследуют. Выделенные сегменты значимо различаются по показателям вовлеченности.

Попытки сегментации на основании мотивов участия в более ранних исследованиях не предпринимались. Что касается влияния мотивов на вовлеченность, то Breslowatal.Breslow L. et al. Studying learning in the worldwide classroom: Research into edX's first MOOC //Research & Practice in Assessment. - 2013. - Т. 8. - №. 1. - С. 13-25. в своем исследовании не нашли корреляции между целями и образовательными результатами, однако мы собираемся повторно проверить данное предположение.

Факторами, влияющими на вероятность успешного завершения курса, являются мотивы повышения профессионального человеческого капитала и предварительная покупка сертификата (Verifiedcertificate).

Предполагается, что те люди, чьей целью становится профессиональное развитие с большей вероятностью доходят до конца. Те люди, которые приобрели подтвержденный сертификат до начала курса, с большей вероятностью доходят до конца.

Данная гипотеза выдвинута на основании выводов теоретиков человеческого капитала, обозначенных в первой части работы. При вложении средств в образование учащиеся ведут себя рационально, взвешивая соответствующие выгоды и издержки. Материальные вложения в образование (приобретение сертификата) повышают вероятность освоения курса до конца, поскольку пустые траты экономически нецелесообразны, особенно при наличии возможности бесплатного доступа ко всем материалам курса.

Предположение частично подтверждается зарубежными исследователями: в своей работе Seatonatal. пишут, что обладатели сертификатов выполняли/пытались выполнять практически все доступные домашние задания и тесты. Среднее время, потраченное на обучение, в разы отличалось от тех, кто не обладал сертификатомSeaton D. T. et al. Who does what in a massive open online course? //Communications of the ACM. - 2014. - Т. 57. - №. 4. - p. 62.

Методологические ограничения работы

Наиболее важное ограничение состоит в том, что в силу организационных причин в работе исследовались только участники курсов НИУ ВШЭ. Данные по двум другим вузам недоступны для исследователя. Однако к моменту проведения исследования на Coursera завершились 11 курсов ВШЭ, 1 СПбГУ, 1 МФТИ, так что у выбранного вуза имеется неоспоримое численное преимущество.Второе ограничение вытекает из выбранного метода - процент отказов от участия в сплошном онлайн-опросе очень высок. Нам известна информация только о 10% участников в случае первого опроса и о 2% в случае второго.

Методы анализа данных

Характеристики участников: описательные статистики (относительные частоты, меры средней тенденции и разброса);

Для определения различий между группами англоязычных и русскоязычных курсов: t-тест для двух независимых выборок (интервальные переменные), U-тест Манна-Уитни (ранговые переменные), коэффициент сопряженности Крамера (номинальные переменные);

Сегментация: Кластерный анализ методом k-means

Критерий сегментирования: мотивы участия

Дескрипторы сегментов: пол, возраст, уровень английского, наивысший уровень образования, опыт участия в MOOCs, уровень осведомленности о предметной области курса

Сравнение показателей вовлеченности в разных сегментах

Анализ таблиц сопряженности по принадлежности к кластеру и факту:

Просмотра видеолекций

Чтения дополнительных текстовых мaтериaлов по теме курсa

Выполнения заданий по курсу

Просмотра мaтериaлов форумa курсa/общения нa форуме курсa

Просмотра мaтериaлов по теме курсa в группaх в социaльных сетях/общения по теме курсa в социaльных сетях

Успешного окончания курса (3 градации: не закончил, закончил, закончил с отличием)

Медианного балла

Тестирование значимости различий с помощью критерия хи-квадрат и z-критерия

Выявление детерминант успешного окончания курса:

Бинарная логистическая регрессия

Зависимая переменная: факт успешного завершения курса

Независимые переменные:

Факт покупки сертификата (да/нет)

Мотив повышения квалификации (согласен/не согласен)

Образование (до бакалавра включительно/ магистратура и выше)

Пол (мужской/женский)

Возраст

Язык курса (английский/русский)



Глава 4. Результаты исследования аудитории MOOCs российских вузов

Социально-демографический портрет участников

Среди аудитории курсов НИУ ВШЭ преобладали мужчины (56,6%). Курс, где процент мужчин стал максимальным - «Core Concepts in Data Analysis» (CCDA). Этот результат согласован с выводами из исследования Гарварда и MIT: CCDAпринадлежит к курсам из разряда STEM(технических). Как и в случае зарубежных курсов STEM, здесьпроцентное соотношение по полу оказалось 71 против 29.

Самый «женский» курс - «Understanding Russians» (58,9% женщин и 41,1% мужчин) - принадлежит к разряду гуманитарных. Как и в случае CCDA, результат согласован с выводом зарубежных исследователей. Для гуманитарных курсов Лондонского университета соотношение по полу оказалось следующим: 55% женщин против 45% мужчин.

Средний возраст участников курсов НИУ ВШЭ - 32 года. Наиболее типичный возраст - 25 лет (мода). Медианный возраст - 29 лет. Стандартное отклонение - 10,7. Учитывая особенности распределения, наиболее адекватным показателем возраста здесь становится медиана (распределение не проходит тест на нормальность, p<0.001 по Колмогорову-Смирнову). Однако для сравнительных целей мы используем показатель среднего арифметического. По данным платформы Courseraсредний возраст ее участников составляет 37 лет. Этот возраст значимо выше среднего возраста участников курсов НИУ ВШЭ (One-samplet-test; p<0.001).Более приближен к 37 средний возраст участников англоязычных курсов - 34,6, однако он по-прежнему значимо отличается. Тем не менее, этот возраст абсолютно согласован с результатом исследования Лондонского университета. Для аудитории русскоязычных курсов средний возраст составил 30,8 лет.

Возраст 73% участников аудитории русскоязычных курсов меньше либо равен 30 годам. Этот вывод совпадает с результатом исследований университета Пенсильвании, в котором 2/3 участников из стран БРИКС оказались моложе 30. Основной вывод о том, что возраст студентов из развивающихся стран гораздо ниже возраста студентов из развитых, подтверждается.

Наиболее популярные страны проживания участников: Россия (40,6%), США (11,4%), Украина (5,9%). Большую роль здесь играет язык, на котором читается курс. Так, участники русскоязычных MOOCs проживают, в основном, в России (69,3%), Украине (9,6 %) и Белоруссии (2,6%). Студенты англоязычных курсов - это люди из США (23,8%), Индии (8,1%) и России (6,0%), а также из стран Евросоюза, Канады, Бразилии.Топ-10 стран проживания участников курсов в целом приведен в Таблице 1.

Таблица 1- Страны проживания студентов, топ-10 (N=27842), в %

Страна	Количество участников	Процент участников
Россия	11316	40,6
США	3169	11,4
Украина	1652	5,9
Индия	1029	3,7
Великобритания	560	2,0
Канада	541	1,9
Испания	503	1,8
Германия	464	1,7
Бразилия	442	1,6
Беларусь	434	1,6

На вопрос о характере занятости были получены следующие результаты: 49,2% респондентов работают полный день, 19,5% учатся в вузах и ещё 21,1% имеют частичную занятость, занимаются фрилансом или предпринимательством. Остальные же находятся на пенсии/в отпуске (6,2%), учатся в колледже/техникуме(2,0%), не учатся и не работают (2,0%). Данное распределение по занятости согласованно с результатами исследований университета Пенсильвании.Процент работающих full-timeи процент студентов практически совпадают. В случае курсов НИУ ВШЭ ниже процент безработных и выше процент частично занятых.

Образовательный бэкграунд слушателей

При ответе на вопрос о наивысшем уровне полученного образования 39,1% респондентов выбрали вариант ответа «бакалавриат/специалитет» и 32,2% - «магистратура». В 9,0% случаев респонденты имеют ученую степень, в 10,1% их наивысший образовательный уровень - 11 классов школы и в 3,6% - 9 классов.

Преобладание бакалавров в большей степени характерно для аудитории русскоязычных курсов. Разница в наивысшем уровне полученного образования в зависимости от языка курса изображена на Рисунке1.

Рисунок 1 - Наивысший уровень полученного образования в зависимости от языка курса, в %

На основании сравнения пропорций по столбцам (z-критерия) мы можем сказать, что среди студентов русскоязычных курсов значимо большее число бакалавров (p<0.05). Суммарный процент окончивших магистратуру и обладателей ученых степеней среди студентов англоязычных курсов значимо выше.

Уровень подготовки в предметной области курса в целом варьируется от нулевого до среднего. Данный показатель вычислялся на основании самооценки слушателями своих знаний до начала курса. Доля слушателей, указавших нулевой уровень, в среднем составила - 29,6%, начальный- 33,1%, средний - 27,6%. Высокий уровень подготовки указали лишь 7,3% респондентов, а продвинутый - 1,0%.

Слушатели англоязычных курсов указали значимо более высокий уровень подготовки (непараметрический тест Манна-Уитни, U=15663,sig.<0,001).Распределение ответов можно увидеть на Рисунке2.

Рисунок 2 - Самооценка уровня подготовки в предметной области в зависимости от языка курса, в %

Около 50% респондентов не имели опыта обучения в предметной области прослушанных ими курсов. Большинство (71,9%) не имеют релевантного опыта работы.Более половины (66,3%) уже имели опыт обучения на других платформах MOOC.

Слушатели курсов продемонстрировали различный уровень владения английским. Наиболее продвинутыми в этом отношении среди студентов русскоязычных курсов оказались участники курса «Документы и презентации в LaTeX» (39,2% опрошенных указали уровень UpperIntermediate и Advanced). Аудитория англоязычных курсов указывала преимущественно уровень Advanced (40,1%) и NativeSpeaker (29,2%).

Мотивы слушателей

Наиболее популярный ответ на вопрос о мотивах участия - любознательность, интерес к предмету. В той или иной мере (скорее/полностью согласен) этот вариант указали более 90% опрошенных. Более половины респондентов согласились с высказыванием о том, что выбранный курс будет полезен им в работе (52,6%) и/или учёбе (43,5%). Значительная часть слушателей стремилась узнать больше о преподавании изучаемого предмета (46,6%). Наименее популярным вариантом ответа стало участие в курсе по примеру друзей/знакомых (7,0%). Всего 4,9% респондентов полностью согласны с тем, что не собираются активно участвовать в курсе, а лишь хотят иметь доступ к его материалам. Степень согласия респондентов с каждым из предложенных 12 высказываний приведена в Таблице2.Примечание: для удобства восприятия итоговой таблицы высказывания были переформулированы без потери смысловых значений

Таблица 2-Степень согласия респондентов с высказываниями о возможных мотивах участия в курсе (N=27558), в %

Мотив	Среднее значение (от 1 до 5)	% полностью согласных
Любознательность, интереса к предмету	3,66	74,8
Важность для текущей работы	2,55	24,5
Курс поможет сменить сферу деятельности	2,46	20,7
Интерес к преподаванию данного предмета	2,44	24,5
Польза для обучения в вузе/подготовки к обучению в вузе	2,31	23,4
Интерес к НИУ ВШЭ	2,29	13,3
Желание попробовать формат онлайн-обучения	2,27	17,9
Желание получить подтвержденный сертификат (Signature Track)	2,17	13,6
Желание пообщаться с другими студентами, заинтересованными в данной теме	2,13	8,3
Заинтересованность в конкретном преподавателе	1,81	5,3
Желание иметь доступ к материалам курса без регулярного участия	1,8	4,9
Участие за компанию, по примеру друзей/знакомых	1,31	2,3



Выбранные мотивы несколько различаются в зависимости от языка курса. Слушатели англоязычных курсов значимо чаще заявляли об участии ради подтвержденного сертификата (47% согласных с высказыванием против 34% согласных в группе слушателей русскоязычных курсов) и о желании познакомиться с однокурсниками (43% против 33%). Слушатели русскоязычных курсов значимо чаще планировали использовать полученные знания в ходе текущей работы (60% против 51%).

Вовлеченность в образовательный процесс

Сложность освоения, еженедельную нагрузку и скорость подачи нового материала респонденты в целом оценили как оптимальные. Наиболее доступным по всем трём пунктам оказался курс «Финансовые рынки и институты»,наиболее сложным - «PublicEconomics».

Что касается степени удовлетворённости слушателей различными аспектами курсов, наибольшее удовлетворение отмечено в отношении компетентности преподавателей НИУ ВШЭ (около 80% опрошенных оценили её на 5 баллов). Вместе с тем респонденты далеко не всегда оставались довольны глубиной содержания курсов, тестовыми заданиями, работой форумов. Наиболее высоко по всем пунктам был оценён курс «Финансовые рынки и институты» (средний балл для этогоMOOC - 4,64, средний балл для всех - 4,22)

Оценка общей удовлетворенности курсом имеет отрицательную корреляцию с показателем оценки сложности курса (тау-bКендалла= -0,13sig.<0,001).

На Рисунке 3 представлено распределение оценок удовлетворенности курсом участников англоязычных и русскоязычных MOOCs. Мы видим значимую разницу - оценки участников англоязычных курсов ниже(непараметрический тест Манна-Уитни; U=65328, sig.<0,001). Как мы помним, участники англоязычных курсов были более подготовленными слушателями и чаще имели релевантный опыт обучения/опыт работы. Этот факт мог предположительно сказаться на удовлетворенности, поскольку большинство MOOCsНИУ ВШЭ были базовыми и не требовали предварительной подготовки. Однако коэффициент корреляции уровня предварительной подготовки и оценки удовлетворенности оказался низким (тау-b Кендалла=0,085, sig.<0,001). Также можно предположить, что участники англоязычных MOOCsявлялись более искушенными пользователями онлайн-курсов, и возможность сравнения курсов НИУ ВШЭ с курсами других вузов на Courseraне сыграла первому на руку.

Рисунок 3 - Оценка удовлетворенности MOOCsв зависимости от языка курса, в %

Самыми полезными элементами курсов были признаны видеолекции (88,6% поставили им оценки «4» и «5» по пятибалльной шкале). Наименее полезными оказались форумы курсов и группы в социальных сетях (Таблица3).

Таблица3-Оценка удовлетворенности элементами курса (N=5457), в %

Элемент курса	Абсолютно не удовлетворен	2	3	4	Полностью удовлетворен	Затрудняюсь ответить
Широта охвата тем в ходе курса	0,5	2,0	10,9	40,3	42,2	4,0
Глубина содержания курса	0,8	4,0	17,8	39,2	33,7	4,5
Видеолекции	0,8	2,4	6,5	26,4	62,2	1,7
Тестовые задания	1,8	3,5	15,3	34,2	34,5	10,8
Работа форума	1,5	3,7	12,4	21,0	19,0	42,3
Ясность изложения материалов курса преподавателем	0,7	1,2	4,5	18,9	72,3	2,5
Компетентность преподавателя	1,6	2,9	9,6	25,8	58,0	2,2
Презентационные навыки преподавателя	2	3	10	26	58	2

В среднем участники тратили на выполнение текущих заданий по прослушиваемым курсам 3-4 часа в неделю. Это касается всех курсов, за исключением «CoreconceptsinDataAnalysis» (5-6 часов в неделю).

После окончания курса 42,0% опрошенных оценили свой уровень знаний в соответствующей предметной области как «средний», 19,7% как «высокий» и 4,0% как «продвинутый».Для определения индивидуального прогресса мы проследили, как уровень знаний изменился у каждого участника, поучаствовавшего одновременно в 2 опросах - до начала и после окончания курса. Результаты представлены на Рисунке4.

Рисунок 4 - Самооценка прогресса уровня знаний участников в течение курсов (N=2429), в %



Большинство респондентов (90,1%) захотели порекомендовать пройденные курсы своим знакомым в случае их повторного запуска. 84,2% отметили, что планируют в дальнейшемобращаться к материалам пройденных курсов.

Желание принять участие в образовательных программах НИУ ВШЭ высказали 73,3% участников опроса. Однако между участниками англоязычных и русскоязычных курсов есть существенная разница - первые гораздо меньше заинтересованы в очных образовательных программах (Рисунок5).

Рисунок 5 - Желание принять участие в образовательных программах НИУ ВШЭ в зависимости от языка курса, в %

Высокая доля заинтересованных в образовательных программах НИУ ВШЭ позволяет сделать предположение о возможности использования MOOCsв качестве источника продвижения бренда вуза и привлечения новой аудитории.

Сегментация участников MOOCs

В целях сегментации был проведен кластерный анализ: респонденты поделены на группы на основании степени согласия с 12 высказываниями о возможных мотивах участияМетод k-means, итерации и классификация, оптимальное число кластеров - 4, максимум итераций - 100. Конечные центры кластеров представлены в Таблицах 4 и 5.

Таблица4- Конечные центры кластеров

Мотивы	«Профессионалы» (N=4383)	«Стремящиеся» (N=4037)	«Новички» (N=4220)	«Воодушевленные» (N=4219)
Интерес к НИУ ВШЭ	2	2	2	3
Интерес к конкретному преподавателю преподаватель	2	1	1	3
Желание получить подтвержденный сертификат (Signature Track)	2	2	2	3
Желание пообщаться с другими студентами, заинтересованными в данной теме	2	2	2	3
Участие за компанию, по примеру друзей/знакомых	1	1	1	2
Польза для обучения в вузе/подготовки к обучению в вузе	1	4	1	3
Важность для текущей работы	3	3	1	3
Желание сменить сферу деятельности	2	3	2	3
Интерес к преподаванию данного предмета	2	2	2	3
Желание попробовать формат онлайн-обучения	2	2	2	3
Желание иметь доступ к материалам курса без регулярного участия	2	2	2	2
Любознательность, интерес к предмету	4	4	4	4

Необходимо сказать, что представители всех групп проявили наибольшую степень согласия с высказыванием «Участвую в курсе из любознательности, интереса к предмету» и наименьшую степень согласия с высказыванием «Я не собираюсь регулярно участвовать, хотел бы просто иметь доступ к материалам курса». По остальным параметрам их характеристики различаются.

1) «Профессионалы». Слушатели из этой группы - люди, которые, прежде всего, стремятся использовать полученные знания в ходе текущей работы. Среди них наибольший процент русскоговорящих (86,2%) и мужчин (62,1%), а также имеющих опыт работы в предметной области курса (причем процент имеющих продолжительный опыт работы наибольший среди четырех групп- 7,3%). Средний возраст - 33 года. Их уровень образования очень высок - почти 10% имеют ученую степень, 37,7% закончили магистратуру, 42,1% - бакалавриат.

2) «Стремящиеся». В эту группу попали те участники, которые с помощью курсов стремятся наработать человеческий капитал: в первую очередь, использовать их в процессе обучения в вузе, затем для работы и переквалификации. Среди этих людей высок процент женщин (46,2%), они обладают самым низким средним возрастом (28 лет). Эти люди, как правило, имеют средний уровень подготовки в предметной области курса, зачастую они уже проходили курсы по смежной тематике или самостоятельно читали материал. Они обладают отличным уровнем английского (Advanced), но наивысший уровень образования по 4 группам у них самый низкий. Очевидно, что среди них много студентов.

3) «Новички». В этой группе мы наблюдаем людей, пришедших на курс только из-за интереса к предмету и любознательности. Как правило, они обладают нулевым уровнем подготовки (39,9%), отсутствует опыт обучения (65,4%) и работы (85,8%). Здесь мы видим наибольший процент англоговорящих - 20,1% Nativespeakers, еще 27,3% обладают уровнем Advanced. Средний возраст участников наибольший по всем 4 группам - 34 года.

4) «Воодушевленные». Респонденты из этой группы проявили высокую степень согласия практически со всеми высказываниями. Их привлекает и вуз-организатор, и преподаватель, и возможность получения подтвержденного сертификата, и возможность общения. Они хотели бы попробовать новый формат онлайн-обучения и использовать накопленные знания для профессиональной реализации. Средний возраст - 30 лет. Уровень предварительной подготовки - начальный (32,8%) или средний (33,1%). 60,2% обладают релевантным опытом обучения, 32,4% - релевантным опытом работы.

Таблица 5 - Показатели вовлеченности в 4 кластерах

Показатель вовлеченности в кластере	Номер кластера
	1	2	3	4
Академическая вовлеченность	% просмотревших видеолекции (хотя бы 1 раз)	98,9	99,2	99,8	99,8
	% выполнивших задания по курсу (хотя бы 1 раз)	95,2	94,5	93,0	96,6
	% читавших дополнительные материалы (хотя бы 1 раз)	70,7	70,9	63,2*	88,2*
	Среднее количество часов в неделю, затраченное на освоение материалов по курсу	3,34	3,21	3,15	3,67
	Медианный балл	31,61*	21,67	19,06	24,34
	% закончивших курс	6,2	4,5	3,8	6,1
	% закончивших курс с отличием	9,5	6,6	7,6	7,6
Социальная вовлеченность	% просмотревших материалы по теме курса на форуме курса/общавшихся на форуме курса	62,9	58,3	58,2	76,4*
	% просмотревших мaтериaлы по теме курсa в группaх в социaльных сетях/общавшихся в группах в социaльных сетях	31,1	33,3	24,6	55,2*
Эмоциональная вовлеченность	Средняя удовлетворенность пройденным курсом (от 1 до 4)	3,50	3,44	3,50	3,45
	% желавших порекомендовать курс друзьям	91,8	91,9	92,1	94,6
	% желавших обращаться к материалам курса в дальнейшем	84,3	86,8	77,5	90,9*

Примечание - * - отличие значимо на уровне 0,05.

Худшие показатели по всем параметрам вовлеченности продемонстрировали представители кластера 3 «Новички». Мы можем предположить, что среди этих людей самый большой процент отсева ввиду превосходства «случайных регистраций». Это посетители сайта Coursera, которые регистрируются на множество MOOCs сразу из любопытства и редко доходят до конца.

По ряду показателей вовлеченности представители кластера 4 «Воодушевленные» значимо превосходят остальные. Особенно это касается социальной вовлеченности - заметно, что эти люди больше других коммуницируют с однокурсниками. Они единственные, кто из всех 4 кластеров заявили о наличии цели увеличения социального капитала.

Однако успеваемость явно лучше у представителей кластера 1 «Профессионалы». Среди них больше «одиночек», не вовлеченных в социальную жизнь курса, однако у них четко присутствует понимание того, что именно они хотят- повышения квалификации.

Данные цифры могут служить основой для предположения о том, что осознание практической пользы MOOCs в текущей профессиональной деятельности влияет на образовательный результат студента. Наличие же социальных мотивов участия повышает общий уровень вовлеченности студента.

Интересно, что почти 40% людей, которые приобрели подтвержденный сертификат - представители первого кластера. Можно полагать, что мотивом приобретения в данном случае стало формальное подтверждение полученных знаний (символический капитал), необходимое для повышения стоимости на рынке труда.

Факторы, влияющие на вероятность успешного завершения курса

Результат обучения (не закончил курс, закончил или закончил с отличием), связан с рядом параметров, которые оценивали респонденты, среди них наиболее сильная корреляция с общей удовлетворенностью курсом, еженедельной нагрузкой, сложностью курса. Значения коэффициентов корреляции приведены в Таблице 6.

Таблица 6 - Коэффициенты корреляции оцениваемых параметров и образовательного результата (тау-b Кендалла)

Параметр	Образовательный результат
Общая удовлетворенность курсом	0,28**
Сложность курса	-0,27**
Еженедельная нагрузка	-0,24**
Презентационные навыки преподавателя	0,19**
Удовлетворенность видеолекциями	0,17**
Компетентность преподавателя	0,17**
Скорость подачи материала	-0,13**

Примечание - ** - корреляция значима на уровне 0,01.

Представленные выше корреляции кажутся довольно тривиальными. Чем больше человеку нравится курс, преподаватель и видеолекции, тем лучше образовательный результат. Чем сложнее, по мнению человека, курс и выше нагрузка, чем выше скорость подачи нового материала, тем хуже его образовательный результат (впрочем, здесь причина и следствие могут поменяться местами).

Помимо этого, была обнаруженачуть менее тривиальная корреляция между фактом предварительной покупки сертификата и образовательным результатом студентов, а также между языком, на котором читался курс, и образовательным результатом (Таблица 7).Материальное вложение в подтвержденный сертификат чаще приводило к лучшему образовательному результату, что подтверждает нашу гипотезу. Что касается языка курса, то доля участников, закончивших курс для тех MOOCs, которые читались на английском, составила всего 5%, в то время как для русскоязычных MOOCsона оказалась равна 15%. Наиболее очевидное объяснение здесь заключается в проблеме «языкового барьера» для тех участников, которые не являются носителями английского.

Таблица 7 - Коэффициент корреляции факта предварительной покупки подтвержденного сертификата и образовательного результата (V Крамера)

Параметр	Образовательный результат
Факт предварительной покупки подтвержденного сертификата	0,24***
Язык курса	-0,13**

Примечание - *** - корреляция значима на уровне 0,001; ** - корреляция значима на уровне 0,01



Для того, чтобы оценить вклад факта покупки сертификата и языка курса в вероятность успешного завершения мы использовали модель бинарной логистической регрессии.Данный метод также позволит проверить наше предположение о том, что люди с мотивами профессионального развития более вероятно доходят до конца.

Итак, предикторами в данной модели стали:

Факт покупки сертификата (да/нет)

Мотив повышения квалификации (согласен/не согласен)

Образование (до бакалавра включительно/ магистратура и выше)

Пол (мужской/женский)

Возраст

Язык курса (английский/русский)

Проверка на мультиколлинеарность была выполнена, таковой не обнаружено.

Для контроля качества модели было использовано разделение исходного массива на обучающую (70%) и тестовую выборку (30%). При этом процентное соотношение положительных и отрицательных исходов в обеих выборках идентично исходному массиву: 12% закончивших курс против 88% незакончивших.

Мы использовали все методы логистической регрессии в поисках оптимальной модели и остановились на методеForwardWald (последовательное включение предикторов).

Ключевые характеристики модели представлены в Таблице 8.

Таблица 8. Ключевые характеристики регрессионной модели в обучающей и тестовой выборках

	Обучающая выборка	Тестовая выборка
-2LogLikelihood	6648,764	2996,295
R-квадрат Найджелкерка	0,113	0,125
Хосмер-Лемешев	Хи-квадрат=13,15 Ст.св.= 8 Знач.= 0,10	Хи-квадрат=14,12 Ст.св.= 8 Знач.= 0,08
Процент правильных предсказаний	Отрицательных исходов:99,5 Положительных исходов: 10 Общий: 88,7	Отрицательных исходов:99,5 Положительных исходов: 8,3 Общий: 87,8

Значения коэффициентов переменных в уравнении в двух выборках различаются, но не значимо. Ниже представлены характеристики переменных на Шаге 5 по результатам моделирования в обучающей выборке. В Приложении 3.2 находятся аналогичные характеристики для тестовой выборки.

Таблица 9. Оценки регрессионной модели, зависимая переменная - успешное завершение курса.

Предиктор	B	Стд.Ошибка	Вальд	ст.св.	Знч.	Exp(B)
Факт покупки подтвержденного сертификата (x1)	3,018	0,179	284,669	1	0,000	20,441
Возраст (x2)	0,746	0,128	33,910	1	0,000	2,109
Пол (x3)	0,289	0,067	18,699	1	0,000	1,335
Язык курса (x4)	-1,322	0,108	149,284	1	0,000	0,267
Образование (x5)	0,183	0,070	6,849	1	0,009	1,201
Константа	-4,632	0,427	117,851	1	0,000	0,010

Наиболее значимые коэффициенты: факт покупки сертификата, язык курса и возраст (согласно статистике Вальда).

Содержательная интерпретация:

Факт покупки подтвержденного сертификата повышает шансы дойти до конца курса в 20,4 раза (при прочих равных).

Каждый дополнительный год в возрасте респондента повышает шансы дойти до конца курса в 2,1 раза (при прочих равных).

Мужской пол респондента повышает шансы дойти до конца на 34% (при прочих равных).

Если выбранный курс читается на английском, то вероятность дойти до конца уменьшается на 27% (при прочих равных).

Наличие у респондента степени магистра и выше повышает его шансы закончить курс на 20%

Исходя из коэффициентов B, мы можем вывести уравнение вероятности успешного завершения курса (y) с помощью формулы (1):

y = , где z=-4,632+3,018*x1+0,746*x2+0,289*x3 -1,322*x4+0,183*x5 (1)

К сожалению, мотив профессионального развития в этой модели не оказался значимым предиктором для прогноза. Гипотеза положительного влияния мотива профессионального развития на вероятность успешного завершения курса нуждается в дальнейшей проверке.

Для анализа прогностической способности модели мы воспользовались построением ROC-кривой.

Степень приближения кривой к диагонали (площадь под кривой) сообщает нам о прогностической способности модели. В нашем случае это значение составило 0,68, что означает среднюю прогностическую способность (показатель варьируется от 0,5 до 1).

Наша модель очень точно классифицирует тех, кто не завершил курс (более 99%), но точность классификации положительных исходов только 10%. Для устранения этой проблемы мы снизили порог отсечения, изначально предустановленный на уровне 0,5 для увеличения чувствительности модели.Воспользовавшись данными таблицы с координатами кривой, мы выбрали порог отсечения, равный 0,147, что позволило нам достичь уровня чувствительности в 40% (40% успешно завершивших курс будут выявлены моделью) за счет снижения точности выявления отрицательных исходов до 81%.

В результате построения модели с новым порогом отсечения базовые характеристики остались прежними (спрогнозированная вероятность, бета-коэффициенты, остатки и проч.), но значительно улучшились результаты классификации случаев. Более подробная информация представлена в Приложении 3.3

Выводы по Главе 4

В 2014 году в MOOCs НИУ ВШЭ на платформе Coursera приняли участие почти 300 000 человек. Типичным слушателем курсов стал тридцатилетний мужчина с высшим образованием, работающий полный день. Этот портрет согласован с портретом типичного слушателя данной MOOC-платформы на мировом уровне, за исключением среднего возраста (на Coursera он составляет 37 лет).

Участники регистрируются на курсы из-за интереса к предмету; в целях повышения квалификации/переквалификации и использования полученных знаний в ходе обучения в вузе; из-за желания узнать больше о преподавании данного предмета. Таким образом, основной мотив - это повышение уровня классового и профессионального культурного капиталов.

Участники практически не используют платформу для повышения социального капитала, редко общаются на форумах курса и в социальных сетях. Мотив накопления символического капитала (стремление получить сертификат) также не пользуется популярностью.

В ходе анализа были выявлены значимые различия среди участников англоязычных и русскоязычных курсов по параметрам возраста, страны проживания, уровня образования, опыту участия в MOOCs, уровню подготовки в предметной области курса. Слушатели русскоязычных курсов младше, имеют более низкий уровень образования, зачастую менее подготовлены и не участвовали в MOOCs прежде. Как правило, это люди, проживающие в России и странах СНГ.

Онлайн-курсы НИУ ВШЭ получили достаточно высокие оценки после своего завершения. Сложность освоения, еженедельную нагрузку и скорость подачи нового материала респонденты в целом оценили как оптимальные; 90% участников остались довольны курсами. Более половины участников заинтересовались образовательными программами НИУ ВШЭ, практически все планируют обращаться к материалам курса в дальнейшем. Мы также увидели существенный индивидуальный прогресс в оценке собственных знаний у слушателей, поучаствовавших в обоих опросах.

Самыми полезными элементами курсов были признаны видеолекции, наименее полезными - форумы курсов и группы в социальных сетях. Таким образом, онлайн-образование в данном формате, в первую очередь, сконцентрировано на просмотре видеороликов, а не чтении материалов или общении с однокурсниками.

Разделив респондентов по целям участия на 4 кластера: «Профессионалов», «Воодушевленных», «Стремящихся» и «Новичков», мы попытались сравнить их показатели вовлеченности. Оказалось, что наименьшая вовлеченность свойственна представителям кластера «Новички», наибольшая вовлеченность свойственна «Воодушевленным», однако лучший образовательный результат показали представители кластера «Профессионалы». На основе данных показателей мы сделали предположение о том, что осознание практической пользы MOOCs в текущей профессиональной деятельности влияет на образовательный результат студента. Наличие же социальных мотивов участия повышает общий уровень вовлеченности.

Одной из поставленных задач также стала попытка понимания того, какие параметры больше всего связаны с результатом обучения (фактом успешного освоения курса). Наиболее сильная корреляция оказалась со сложностью курса, общей удовлетворенностью курсом, еженедельной нагрузкой и презентационными навыками преподавателя. Значимая положительная корреляция была обнаружена с фактом покупки сертификата и языком, на котором читался курс.

В соответствии с результатом модели бинарной логистической регрессии более всего повышает шансы участника дойти до конца именно покупка сертификата. На втором месте находится каждый дополнительный год в его возрасте, далее - мужской пол и высокий уровень образование (магистерская степень и выше). Снижает шансы участника закончить курс регистрация на англоязычном MOOCs (что, очевидно, связано, с трудностями преодоления языкового барьера).



Заключение

В рамках подготовки данного текста работа велась в двух направлениях:

исследование априорных характеристик участников массовых открытых онлайн курсов российских вузов в сравнительной перспективе.

изучение характеристик вовлеченности в разных группах участников и выделение факторов, влияющих на образовательный результат участника

Основанием для деления участников на группы стали мотивы их участия в курсе. Для выделения возможных групп мотивов мы обратились к теориям П.Бурдье, Г.Беккера, М.Спенса, Дж.Коулмана, а также к работе М.Соколова. Мы предположили, что возможными мотивами участия могут являться попытки повышения уровня одного или нескольких из следующих видов капитала:

классовый культурный (расширение кругозора)

профессиональный культурный (повышение квалификации/переквалификация)

классовый социальный (завязывание личных контактов)

профессиональный социальный (завязывание профессиональных контактов)

классовый символический (повышение статуса в глазах референтной группы)

профессиональный символический («рыночный сигнал» - стремление улучшить резюме и найти работу)

Для понимания концепта студенческой вовлеченности мы обратились к работам В.Фредерика, А.Астина, В. Тинто, С.Манна, Ф. Ньюмана. В первую очередь, нас интересовало, какие показатели и индикаторы студенческой вовлеченности мы сможем использовать в своем исследовании. Ответ на этот вопрос был найден в методологии исследования High School Survey of Student Engagement, где вовлеченность подразделяется на академическую, социальную и эмоциональную. Таким образом, измеряются академическая активность студента (в нашем случае - просмотр видеолекций, выполнение заданий по курсу, итоговый балл и т.д.) социальная активность учащегося (для нас - участие в обсуждениях на форумах и в группах в социальных сетях) и эмоциональная вовлеченность студента (степень удовлетворенности курсом, желание порекомендовать его и т.д.).

На основании ряда зарубежных статей мы попытались составить портрет слушателя MOOCsзарубежных вузов, чтобы сравнить его с выводом нашего исследования. Результаты оказались вполне согласованны: в обоих случаях среднестатистическим слушателем оказался мужчина старше 30 лет с высшим образованием и полной занятостью. Как правило, такой человек регистрируется на курс из любознательности и с возможной целью профессионального развития. Однако наблюдается значимая разница между участниками англоязычных и русскоязычных курсов. В первую очередь, по странам проживания участников: русскоязычные курсы собрали максимальную аудиторию в России, Украине и Белоруссии (82% в целом), в то время как состав англоязычной аудитории крайне разнороден (на первом месте США (24%), далее Индия (8%), Россия (6%) и страны Европы). Средний возраст студентов англоязычных курсов значимо выше - 35 лет против 31 года (поскольку Россия относится к развивающимся странам, то данный вывод типичен для релевантной группы и подтвержден зарубежными исследованиями). У студентов англоязычных курсов выше уровень образования (среди них больше магистров и обладателей ученых степеней), более высокий уровень предварительной подготовки. Что касается мотивов, то студентов англоязычных курсов чаще интересует возможность получения сертификата (47% против 34%)и общения с другими студентами (43% против 33%).Для студентов русскоязычных курсов важнее возможность применения знаний в текущей работе (61% против 51%).

На основании мотивов участия слушатели были разделены на 4 кластера: «Профессионалы» (превалирует мотив использования полученных знаний в ходе текущей работы), «Стремящиеся» (мотивы использования знаний в ходе учебы и возможной смены сферы деятельности), «Новички» (мотив любознательности - наработки классового человеческого капитала), «Воодушевленные» (наработка всех видов капитала: культурного, социального, символического). Наименьшие значения показателей вовлеченности продемонстрировали «Новички», наибольшие - «Воодушевленные». При этом успеваемость «Профессионалов» значимо выше остальных. Исходя из этих результатов, мы сделали 2 предположения:

Наилучший образовательный результат связан с четким осознанием практической применимости полученных знаний.

Наличие социальных мотивов участия обуславливает высокий уровень вовлеченности.

Второе предположение требует пояснения: почему именно социальные мотивы, а не мотивы повышения символического капитала в виде сертификата обуславливают высокий уровень вовлеченности? Ведь кластер «Воодушевленных» отличают от других высокие показатели и по первой, и по второй группе мотивов. Дело в том, что ответы респондентов на вопрос о желании приобрести сертификат были сопоставлены с реальными данными о покупках, и выяснилось, что процент покупок сертификата в кластере «Профессионалов» и «Воодушевленных» идентичен. Таким образом, их собственные оценки были завышены.

Для прогнозирования вероятности успешного завершения курса, наряду с мотивом повышения квалификации, в качестве предикторов мы использовали ряд социально-демографических переменных, факт покупки сертификата и язык курса. В соответствие с полученными оценками модели мы можем сказать, что более всего повышает шансы участника дойти до конца именно покупка сертификата (то есть, материальные вложения в обучение), что подтверждает нашу гипотезу. После покупки сертификата слушатель предположительно начинает воспринимать MOOCкак оплаченную услугу, не воспользоваться которой просто нерационально. Для дальнейших исследований в этой области было бы уместно провести ряд интервью с участниками курсов, более детально выяснив, какие перемены в восприятии MOOCи отношении к образовательному процессу происходят после покупки сертификата. Необходимо также продолжить исследования по вопросу влияния социальных и профессиональных мотивов участия на уровень вовлеченности и образовательный результат.



Список литературы

Alraimi K. M., Zo H., Ciganek A. P. Understanding the MOOCs continuance: The role of openness and reputation //Computers & Education. - 2015. - Т. 80. - С. 28-38.

Astin A. Student involvement: a developmental theory for higher education // Journal of College Student Personnel. 1984. Vol. 25. No 4. Р. 297-308

Banerjee A. V., Duflo E. (Dis) organization and Success in an Economics MOOC //The American Economic Review. - 2014. - Т. 104. - №. 5. - С. 514-518.

Belanger Y., Thornton J. Bioelectricity: A quantitative approach Duke University's first MOOC. - 2013..[Электронныйресурс] URL: http://dukespace.lib.duke.edu/dspace/handle/10161/6216

Breslow L. et al. Studying learning in the worldwide classroom: Research into edX's first MOOC //Research & Practice in Assessment. - 2013. - Т. 8. - №. 1. - С. 13-25.

Canals, E., Mor Y. Support services to foster Web Talent in Europe by encouraging the use of Massive Open Online Courses focused on web skills [Электронныйресурс] URL: http://openeducationeuropa.eu/sites/default/files/MOOCs-for-web-skills-survey-report.pdf

Christensen, Gayle and Steinmetz, Andrew and Alcorn, Brandon and Bennett, Amy and Woods, Deirdre and Emanuel, Ezekiel J, The MOOC Phenomenon: Who Takes Massive Open Online Courses and Why? (November 6, 2013). [Электронныйресурс] URL: http://dx.doi.org/10.2139/ssrn.2350964

Fredrick W. C., Walberg H. J. Learning as a function of time //The Journal of Educational Research. - 1980. - Т. 73. - №. 4. - С. 183-194.

Grainger, B. Massive open online course (MOOC) report 2013/ University of London International Programmes [Электронныйресурс] URL: http://www.londoninternational.ac.uk/sites/default/files/documents/mooc_report-2013.pdf

Ho, A. D., Reich, J., Nesterko, S., Seaton, D. T., Mullaney, T., Waldo, J., & Chuang, I. (2014). HarvardX and MITx: The first year of open online courses (HarvardX and MITx Working Paper No. 1). [Электронныйресурс] URL: http://dx.doi.org/10.2139/ssrn.2381263

Infographic: Education for Everyone: Coursera by the Numbers/ Enrollment Builder Tool Box [Электронный ресурс] URL:http://www.enrollmentbuilders.com/2013/11/03/infographic-education-for-everyone-coursera-by-the-numbers/

Mann S.J. Alternative Perspectives on the Student Experience: Alienation and Engagement // Studies in Higher Education. 2001. Vol. 26

McMahon B., Portelli J. Engagement for What? Beyond Popular Discourses of Student Engagement // Leadership and Policy in Schools. 2004. Vol. 3. No. 1.

Newmann F. Student Engagement and Achievement in American Secondary Schools. Madison: Teachers College Press, 1992.

Onah D. F. O., Sinclair J., Boyatt R. Dropout rates of massive open online courses: behavioural patterns //EDULEARN14 Proceedings. - 2014. - С. 5825-5834.

Seaton D. T. et al. Who does what in a massive open online course? //Communications of the ACM. - 2014. - Т. 57. - №. 4. - С. 58-65.

Абрамова Н. В. Социологические интерпретации концепции «непрерывного профессионального образования взрослых» //Журнал социологии и социальной антропологии. - 2011. - Т. 14. - №. 3. - С. 83-103

Бурдье П. Формы капитала //Экономическая социология. - 2002. - Т. 3. - №. 5. - С. 60-74.

Грановеттер М. Сила слабых связей //Экономическая социология. - 2009. - Т. 10. - №. 4. - С. 31-50.

Коулман Д.. Капитал социальный и человеческий //Общественные науки и современность. - 2001. - №. 3. - С. 121-139.

Малошонок Н. Г.Студенческая вовлеченность: почему важно изучать процесс обучения, а не только его результат? //Мониторинг университета. - 2011. - Т. 6. - С. 11-21

Мартынов К. Дистанционная Coursera //Отечественные записки. - 2013. - №. 4 (55)

Нестик Т. «Культурный, социальный и символический капиталы (обзорный материал)» // Восток : альманах. -- февраль 2004. -- № 2(14).[Электронный ресурс] URL: http://www.situation.ru/app/j_art_325.htm

Радаев В. В. Понятие капитала, формы капиталов и их конвертация //Экономическая социология. - 2002. - Т. 3. - №. 4. - С. 20-32

Соколов М. М., Кнорре А. В., Сафонова М. А. Теории высшего образования и процесс выбор специальности абитуриентами: Социально-сетевой анализ // Университетское управление: практика и анализ. 2014. Т. 90. № 2.с.6-25

Сорокин А.С. Построение скоринговых карт с использованием модели логистической регрессии // Интернет-журнал Науковедение. - 2014. - №.



Приложение 1

Текст анкеты до начала курса (на примере курса «Теория отраслевых рынков»)

Уважаемый участник! Спасибо, что согласились принять участие в опросе. Он позволит нам лучше узнать аудиторию курса «Теория отраслевых рынков» и сделать его содержание максимально интересным для каждого. Заполнение анкеты займет 5-7 минут.

Ваши ответы являются полностью конфиденциальными, а полученные данные будут представлены в обобщенном виде.

Сначала расскажите немного о Вашем уровне подготовки и опыте участия в онлайн-курсах

1.1. Охарактеризуйте, пожалуйста, уровень Вашей подготовки в области теории отраслевых рынков?

1. Нулевой

2. Начальный

3. Средний

4. Высокий

5. Продвинутый

99. Затрудняюсь ответить

1.2. Есть ли у Вас какой-либо опыт обучения в области теории отраслевых рынков?

1. Нет, опыт обучения в данной области отсутствует

2. Да, я самостоятельно интересовался(-ась) вопросами из данной области, изучал(-а) специальную литературу

2. Да, я посещал(-а) учебные курсы/отдельные занятия, посвященные проблематике данной предметной области

3. Да, у меня есть дипломы/сертификаты образовательных программ в данной предметной области

1.3. Есть ли у Вас какой-либо опыт работы, связанный с применением знаний из области теории отраслевых рынков?

1. Нет, опыт работы, связанный с применением знаний из данной предметной области отсутствует

2. Да, есть непродолжительный опыт работы, связанный с применением знаний из данной предметной области

3. Да, есть продолжительный опыт работы, связанный с применением знаний из данной предметной области

1.4. Обучались ли Вы ранее на платформах массовых открытых онлайн-курсов (MOOCs)?

Укажите названия платформ, в курсах которых вы участвовали ранее

1. Coursera

2. EdX

3. Udacity

4. Iversity

5. Open2Study

6. Другое (укажите название платформы)

7. Не участвовал (-а) ранее в курсах на платформах MOOCs

IF 1.4=1 THEN GO TO 1.4.1.-1.4.3. ELSE GO TO 1.5.