Структура контрольно-измерительных материалов экзаменов (тестов) с высокими ставками

Размещено на http://www.Allbest.ru/

Размещено на http://www.Allbest.ru/

Содержание

Введение

Глава 1. Тестирование с высокими ставками

1.1 Тестирование, как способ оценки знаний обучающихся

1.2 Измерительные инструменты (КИМ) для экзаменов с высокими ставками: преимущества и недостатки разных форм заданий

1.2.1 Задания закрытого типа

1.2.2 Задания открытого типа

1.2.3 Задания с выбором правильного ответа и задания с коротким и развернутым ответом, какие из них лучше?

1.3 Мировая практика экзаменов с высокими ставками: структура КИМ

1.3.1 Страны СНГ

1.3.2 Англия

1.3.3 США

1.3.4 Франция

1.3.5 Россия

1.4 Оптимальная структура теста

Глава 2. Практическая часть - симуляция новой структуры теста. Моделирование заданий

2.1 Методология исследования

2.2 Анализ характеристик исходного и симулированных тестов

2.3 Обсуждение

Заключение

Список литературы

Приложение

Введение

Обучение является неотъемлемой частью нашей жизни, также как и оценка знаний, полученных в ходе него. Только посредством оценки можно отследить, «получают ли необходимые знания и навыки конкретные учащиеся» [2]. Одним из важнейших этапов окончания школы является выпускной экзамен, результаты которого должны отражать уровень усвоения школьного материала выпускником.

В некоторых странах, в том числе и в России, результаты такого тестирования являются вступительными в вузы, что дает ему статус экзамена «с высокими ставками». Поступление в вуз для многих выпускников является приоритетной задачей после окончания школы, и очень многое зависит от итогового балла, набранного учениками, поэтому тест должен быть очень высокого качества. Необходимо учитывать множество деталей: какой должна быть структура теста, какие типы заданий и какое их количество он должен включать, чтобы быть оптимальным и с точки зрения минимизации ошибки измерения и относительной несложности массового проведения оценки и так далее.

Возьмем, как пример, Единый Государственный Экзамен (далее ЕГЭ), который можно отнести к экзаменам с высокими ставками, что означает высокую степень важности полученных по нему результатов для выпускников 11 класса. ЕГЭ объединяет в себе две функции:

- выпускного экзамена, то есть оценки степени освоения конкретным учеником школьной образовательной программы;

- вступительного экзамена в вуз, то есть оценки готовности продолжения обучения учеников в высших учебных заведениях, на основе выстраивания рейтинга по результатам тестирования [2].

Структура ЕГЭ постоянно видоизменяется, и одним из таких изменений является то, что постепенно убираются задания с выбором одного правильного ответа, как результат сформированного убеждения, что это вопросы-«угадайки». Но так ли это на самом деле? Заслуженно ли эти задания исключаются из структуры тестирования? Это нам предстоит выяснить в рамках диссертационной работы.

В отличие от многих зарубежных стран, где существуют стандарты разработки и применения тестирования в образовании, в России таких стандартов пока нет, и все изменения, происходящие в контрольно-измерительных материалах (далее КИМах), являются политическими решениями. Стандарты представляют собой схему процесса создания теста, все этапы его разработки - от анализа и отбора содержания до анализа качества тестовых заданий. Принятие такого стандарта придаст всем разрабатываемым инструментам оценивания, любым изменениям в существующих инструментах (в частности, ЕГЭ) научное, а не только политическое обоснование, и доверие к ним в профессиональном сообществе и обществе в целом существенно повысится. Стандарт должен учитывать лучшие международные практики и адаптировать их к российской системе образования [4].

Актуальность исследования вытекает из необходимости научно - обоснованных подходов к разработке любых тестов, но особенно тестов с высокими ставками, предназначенных для проверки соответствия знаний образовательным стандартам. Вопрос оптимальности структуры экзаменов с высокими ставками, таких как ЕГЭ, актуален на сегодняшний день по нескольким причинам: во-первых, от них зависит дальнейшая траектория жизни и обучения выпускников. Во-вторых, самим вузам необходимо отобрать наиболее «подготовленных» абитуриентов, особенно на бюджетные места: так как всех принять невозможно, то решение принимается в большинстве случаев по результатам ЕГЭ. Поэтому необходимо, чтобы тест с высокими ставками соответствовал ряду требований. Он должен быть максимально валиден, надежен, информативен и обеспечивать минимальную ошибку измерения участников тестирования. Для обоснования той или иной структуры теста, необходимо провести ряд исследований, позволяющих говорить о ее оптимальности.

Объект исследования - экзамены (тестирование) с высокими ставками.

Предмет исследования - структура контрольно-измерительных материалов экзаменов (тестов) с высокими ставками.

Проблема исследования состоит в отсутствии в российском профессиональном сообществе единого мнения о структуре экзаменов с высокими ставками, есть разные точки зрения, но, самое главное, ни одна не основана на научных исследованиях (не обоснована эмпирическими данными).

Исследовательский вопрос: какая структура теста с высокими ставками (типа ЕГЭ) является оптимальной с точки зрения удовлетворения всем требованиям к такому экзамену?

Цель исследования - определить наиболее оптимальную структуру тестов с высокими ставками на примере теста аналогичного КИМ ЕГЭ (имеющего такую же сложную структуру).

Задачи исследования:

- проанализировать исследования, посвященные изучению заданий различных типов в тестировании, в первую очередь, заданий с выбором одного правильного ответа и открытых заданий;

- провести сравнение эффективности заданий разных типов, а также сравнение эффективности тестов с различной структурой (различной комбинацией заданий разных типов);

- выяснить, какая структура теста является оптимальной.

Гипотеза исследования - комбинация заданий различных форм способна обеспечить оптимальную структуру экзаменов с высокими ставками.

В рамках диссертационной работы предполагается качественная методология исследования: общенаучные методы теоретического исследования - классификация, сравнение, аналогия, описание и объяснение, анализ и синтез, обобщение, и количественная - анализ теста аналогичного КИМ ЕГЭ в рамках современной теории тестирования, симуляция различной структуры исходного теста - исключение некоторых заданий и добавление смоделированных заданий для анализа и сравнения получившихся характеристик.

Результаты диссертационной работы делятся на:

- теоретические: оценка необходимости заданий с выбором правильного ответа в тестировании и, в частности, в тестах с высокими ставками с учетом мирового опыта;

- эмпирические: предложена оптимальная структура теста с высокими ставками на примере теста аналогичного КИМ ЕГЭ.

Глава 1. Тестирование с высокими ставками

1.1 Тестирование, как способ оценки полученных знаний

Технологии тестирования широко используются в мировой практике для объективного контроля знаний и умений обучаемых, установления степени их соответствия образовательным стандартам и для отбора учащихся для дальнейшего обучения.

Создание теста состоит из множества этапов [5], одним из которых является разработка заданий. Это, очевидно, особенно важный этап, и для его успешной реализации необходимо, чтобы его выполняли люди со специальными знаниями и навыками. Может показаться, что нет ничего сложного в том, чтобы составить задания для проведения оценки того, что усвоили ученики за период своего обучения. На самом же деле, это целое искусство составить такое задание, чтобы оно оценивало именно то, что было задумано, чтобы оно было понятным, корректно составленным, дифференцировало слабых испытуемых от сильных и многое другое: есть множество нюансов, которые следует учитывать при создании КИМов для их более высокой эффективности.

«Эффективным можно назвать тест, если он лучше, чем другие тесты, измеряет знания студентов … с меньшим числом заданий, качественнее, быстрее, дешевле и все это по возможности в комплексе» [1]. В настоящей работе мы под «эффективным» будем понимать тест, который измеряет испытуемых с минимальной ошибкой измерения, и при этом удовлетворяет критериям качества. Оптимальной мы будем называть такую структуру теста, которая обеспечивает большую его эффективность. Хорошо составленный КИМ имеет высокую валидность (измеряет то, что должен измерять и дает результаты, отражающие измеряемый конструкт) и надежность (обеспечивает минимальную ошибку измерения). Это означает, что он должен:

- быть валидным по содержанию, т.е. репрезентативно и полно отражать содержание проверяемой учебной дисциплины;

- удовлетворять требованиям с точки зрения психометрического качества в рамках выбранной теории (классической или современной) и выбранной модели измерения;

- дифференцировать более подготовленных учащихся от менее подготовленных;

- не содержать заданий, дискриминирующих какую-либо группу участников;

- быть одномерным, т.е. измерять только тот конструкт, который должен. Это означает, что тест не должен содержать заданий, требующих применения навыков, которые не измеряются тестом.

При разработке теста, необходимо решить, задания какой формы он будет включать - открытой, закрытой или и той, и другой. Выбор формы - это всегда ответственность разработчика. При этом надо учитывать, что выбор формы задания определяется содержанием задания (той областью знаний, которая оценивается) и уровнем проверяемых умений [25].

Важным элементом является и количество заданий, которое закладывает разработчик в тест: «чем больше количество заданий, тем:

- более надежным будет создаваемый тест;

- больший объем информации мы можем получить»[5].

Однако вместе с увеличением количества заданий в рамках одного теста увеличивается и время его выполнения, что может приводить к негативным последствиям - таким, как утомление, которое может привести к увеличению числа случайных ошибок, снижению скорости выполнения заданий [5]. Для того чтобы этого не происходило, как один из вариантов, можно грамотно сочетать задания различных типов, делая тест не слишком длинным, но и не слишком коротким.

Далее в работе мы рассмотрим задания разных типов вместе с их преимуществами и недостатками.

1.2 Формы и типы заданий в тестировании, их достоинства и недостатки

В КИМ для экзаменов с высокими ставками могут входить задания различных форм, которые можно разделить на две большие группы: открытые и закрытые формы заданий. Они, в свою очередь, также могут делиться на несколько типов, которые мы рассмотрим далее.

1.2.1 Вопросы закрытого типа

Вопросы закрытого типа можно разделить на:

- задания с выбором одного правильного ответа;

- задания с выбором нескольких правильных ответов;

- задания с двумя вариантами - верно/неверно.

Чаще всего в тестировании используются задания с выбором одного правильного ответа. Такие задания состоят из вопроса (стема - постановки вопроса или задачи) и нескольких вариантов ответа (обычно от трёх до пяти), один из которых является правильным, остальные предложенные варианты называются «дистракторами» и призваны отвлечь испытуемого от правильного ответа, поэтому они не должны быть очевидно неверными ответами, а наоборот, должны быть одинаково правдоподобными наравне с правильным ответом.

Халадина Т. и Даунинг М. сформулировали 43 правила по написанию заданий с выбором одного правильного ответа и разделили их на три категории: (1) общие правила по написанию заданий, (2) составление вопроса (стема) и (3) разработка вариантов ответа [22]. Затем они провели валидизацию этих правил, некоторые из которых были пересмотрены.

Как и все формы заданий, формат задания с выбором одного правильного ответа имеет преимущества, главными из которых являются их эффективность и объективность, задания с выбором правильного ответа позволяют оценивать большое количество кандидатов с минимальным вмешательством человека [26]. Также задания с выбором правильного ответа требуют меньше времени на выполнение, чем задания других форм, что позволяет включить большое число таких заданий и тем самым шире охватить содержание дисциплины. При условии, что такие задания хорошо составлены, они могут хорошо дифференцировать испытуемых с высоким и низким уровнем способностей [34]. Однако для того, чтобы сделать задание с выбором правильного ответа качественным, необходима высокая квалификация разработчика и достаточно много времени [16].

Некоторые авторы отмечают, что задания с выбором одного правильного ответа чаще проверяют только фактические знания, а не когнитивные навыки [29]. Другие считают, что хорошо построенные задания с выбором правильного ответа могут также оценивать способности более высокого порядка, такие как интерпретация, обобщение и применение знаний, а не служить только для проверки знания единичных фактов [7, 12, 20, 21].

В качестве примера проверки умения применять, добывать и оценивать информацию с помощью заданий с выбором одного правильного ответа можно взять американский экзамен SAT, в котором превалируют задания с выбором одного правильного ответа, но, например, в разделе «чтение» необходимо не просто выбрать правильный ответ, но и выделить кусок текста, на основе которого испытуемый выбрал свой ответ.

Актуальным остается вопрос по поводу того, сколько вариантов ответа должно быть в задании с выбором одного правильного ответа. Некоторые исследования говорят, что достаточно трёх вариантов ответа [27]. Однако в этом случае вероятность угадывания правильного ответа увеличивается до 1/3. Логичным представляется, что пять вариантов ответа снижают эту вероятность до 1/5, но составление такого количества правдоподобных дистракторов может оказаться довольно затруднительным.

Преимущества вопросов с выбором правильного ответа [4]:

- полнота охвата по содержанию: во-первых, содержание практически любой дисциплины может быть отражено в этой форме заданий, во-вторых, эта форма дает возможность более полно охватить содержание проверяемой учебной дисциплины;

- полнота охвата по проверяемым уровням учебной деятельности: от простого запоминания до более сложных уровней, таких, как понимание, применение знаний в стандартной и нестандартной ситуации, анализ и т.д.;

- эффективность: быстрота тестирования с помощью заданий этой формы позволяет предложить больше заданий в одно и то же время, а значит, покрыть гораздо больше тем содержания предмета;

- технологичность: задания этой формы могут проверяться автоматически и легко адаптируются в компьютерную форму тестирования;

- простота подсчета первичных баллов учеников: как правило, при оценивании заданий этой формы используется дихотомическая оценка, ученик получает 1 балл за правильно выполненное задание и 0 баллов в противном случае;

- объективность: существует эталон правильного ответа, поэтому эти задания не требуют проверки человеком;

- возможность обратной связи: дистракторы, выбранные студентами, могут дать педагогу информацию о проблемах в обучении.

Недостатки заданий с выбором одного правильного ответа:

- высокая сложность, а отсюда ресурсозатратность, составления качественного задания;

- реже делаются тестовые задания, требующие высоких когнитивных навыков, потому что составить задание, требующее оценки фактического знания, легче;

- зависимость от навыков чтения тестируемого;

- возможно угадывание правильного ответа.

Гадание правильного ответа можно разделить на два вида:

- произвольное (random) - когда испытуемый случайно выбирает ответ среди всех вариантов;

- непроизвольное, информированное (informed), когда испытуемый выбирает ответ, исключая какие-то варианты, иногда очевидно неправильные.

В статье Калиновой Г.С. в журнале «Педагогические измерения» автор выделяет следующие недостатки заданий с выбором одного правильного ответа в «итоговой аттестации»: «невозможность проверять материал творческого характера, умения применять, добывать и оценивать приобретённые знания; трудоёмкость разработки качественного инструментария; сложности в выявлении причины пробелов в усвоении определённого материала. К числу главных недостатков заданий с выбором ответа относят присутствие элемента случайности, угадывания верного ответа. Для исключения угадывания при составлении вариантов в экзаменационную работу включаются задания с выбором одного ответа, имеющие результаты выполнения ниже 85%, а дифференцирующую силу выше 25%» [3].

Еще одним типом заданий закрытой формы являются задания с выбором нескольких правильных ответов, которые, как правило, связаны с идеей проверки так называемых классификационных знаний, или иначе, проверки знаний принадлежности отдельных видов или объектов к тому или иному роду, виду, классу. Вероятность случайного ошибочного выбора будет возрастать по мере увеличения, в одном задании, числа неправильных ответов. Особенностью заданий такого типа является то, что в них приходится определять не только правильные ответы, но и оценивать самому испытуемому полноту своего ответа, а следовательно, эти задания по форме и содержанию труднее, чем задания с выбором одного правильного ответа [1]. Необходимость выбрать несколько правильных ответов в задании уменьшает вероятность угадывания испытуемыми.

Также к заданиям закрытой формы относится задания с двумя вариантами ответов верно/неверно. Этот тип заданий имеет все положительные стороны задания с выбором одного правильного ответа из нескольких предложенных, минусом же является высокая вероятность угадывания правильного ответа, а именно 50%. По этой причине такие задания практически не используются в экзаменах с высокими ставками.

К заданиям закрытого типа также можно отнести: задания на установление соответствия и задания на установление правильной последовательности. Такие задания также используются в экзаменах с высокими ставками (в частности, могут входить в часть В ЕГЭ по различным предметам), но в рамках нашей работы подробно на них мы останавливаться не будем.

1.2.2 Задания открытого типа

Задания открытой формы можно разделить на два типа:

- задания с кратким ответом;

- задания со свободно конструируемым ответом.

Отметим положительные и отрицательные стороны открытых заданий.

Преимущества заданий с кратким ответом:

1. Полнота охвата по содержанию. Содержание почти любой дисциплины может быть отражено в этой форме заданий.

2. Их сравнительно легко разрабатывать (по сравнению с другими формами).

3. В силу однозначности правильного ответа проверка результатов носит объективный характер, может быть автоматизирована. Не требуется экспертная проверка.

4. Отсутствует угадывание правильного ответа.

Недостатки заданий с кратким ответом:

1. На выполнение одного задания уходит больше времени, чем, например, на задания с выбором одного правильного ответа.

2. Проверятся меньшее число элементов содержания программы.

Преимущества заданий со свободно конструируемым ответом:

1. Являются эффективным способом для измерения когнитивных знаний более высокого уровня и подходят для измерения способностей учеников организовывать и интегрировать информацию, логически выстраивая свой ответ.

2. Подготовка к таким заданиям имеет положительный эффект на процесс обучения. Ученики не просто запоминают факты, а пытаются понять материал, увидеть взаимосвязи и т.д. В реальной жизни вопросы не будут представлены в формате множественного выбора, а будут требовать от учеников умения выстраивать и представлять свои мысли.

Перечислим основные недостатки заданий со свободно конструируемым ответом:

1. Субъективность: такие задания требуют экспертной проверки, и различные факторы могут повлиять на оценку и выставление баллов, например:

1) Ответ на вопрос задания, который проверяется после очень хорошего ответа, может быть оценен хуже, чем, если бы он проверялся после плохого ответа.

2) Если ответ начался с хорошей аргументации, то последующие доводы могут быть оценены выше, чем, если бы ответ начался с плохой/неправильной аргументации, в этом случае последующие хорошие ответы могут быть оценены ниже.

3) Проверяющий может иметь некоторые ожидания на счет того, чью работу он проверяет, которые могут повлиять на выставленные баллы.

4) Качество почерка, опрятность работы, лексика и грамматические ошибки или их отсутствие также могут повлиять на отношение проверяющего.

2. Очень много времени занимает ответ на вопрос задания и последующая проверка;

3. Из-за того, что ответ на один открытый вопрос требует достаточно продолжительного времени, захватываемая область содержания узкая;

4. Проверка занимает много времени и начисление баллов является субъективным решением проверяющего.

1.2.3 Задания с выбором правильного ответа или задания с кратким и развернутым ответом, какие из них лучше?

Считается, что задания с выбором правильного ответа направлены лишь на оценку низших уровней когнитивных процессов, в отличие от заданий с кратким ответом. Также небезосновательно считается, что они имеют вероятность угадывания правильного ответа, что понижает надежность оценивания менее подготовленных тестируемых [32]. Но многие исследования показывают, что задания с выбором правильного ответа также могут оценивать когнитивные способности более высокого порядка, чем принято считать [19, 30].

В статье Elizabeth Ligon и ее коллег [15] на основе изучения лабораторных (labor based) исследований и исследований, проведенных в классах (classroom based), делается вывод, что, несмотря на то, что задания с выбором одного правильного ответа считаются «необходимым злом», такая репутация не обоснована в отношении потенциала тестирования с заданиями такой формы как инструмента содействия обучению. Задания с выбором одного правильного ответа, заявляют авторы, не только способствуют изучению информации, но также способствует изучению связанной информации.

Для того, чтобы понять, влияет ли и как именно то, что из теста исключаются вопросы с конструируемым ответом и остаются только задания с выбором правильного ответа и, наоборот, убираются задания с выбором правильного ответа и остаются задания с конструируемым ответом, надо оценить, способны ли оба этих формата заданий оценивать одни и те же способности. Для этого в литературе можно выделить два подхода. В первом используют задания с одинаковыми вопросами (стемами) в обеих формах заданий, чтобы исключить различия в содержании, а во втором подходе задания двух форматов имеют разные вопросы, затрагивающие одинаковые или разные области знаний. Высокая корреляция указывает на то, что оба формата измеряют одинаковые способности, а низкая - на то, что измеряются разные конструкты.

Помимо корреляционного исследования для оценки того, одинаковые ли конструкты измеряют оба формата, можно использовать факторный анализ [32]. Так, некоторые исследования показали, что задания с выбором правильного ответа чаще всего нагружены одним фактором, а задания с конструируемым ответом могут быть нагружены несколькими факторами [8, 11, 27, 32].

Роберт В. (Robert W. Lissitz) и Ксайодонг Ху (Xiaodong Hou) в своем исследовании [32] изучили корреляцию баллов в заданиях двух форм, а именно баллов по тесту, который состоял из заданий обоих форм, и тестов содержащих задания только одной из двух форм. Результаты показали довольно сильную корреляцию. Между итоговыми баллами по тесту с заданиями с конструируемым ответом и без них она составила 0.96 по алгебре, 0.98 по биологии и 0.98 по английскому. Надежность теста немного снизилась, когда из теста убрали задания с конструируемым ответом, но стала даже немного выше, когда добавили еще вопросов с выбором правильного ответа.

Согласно проведенному исследованию Никсон Чан и Питера И. Кеннедит [28] некоторые задания с выбором одного правильного ответа, с одной стороны, могут быть легче, чем такие же задания, но с конструируемым ответом, даже после поправки на гадание, так как предложенные варианты ответа могут помочь вспомнить и натолкнуть на правильный ответ. Например, если попросить дать определение какому-нибудь феномену, испытуемый может оказаться неспособным сформулировать ответ, а при наличии нескольких альтернатив может быть способен выбрать правильный ответ. Так, Heim и Watts (1967) обнаружили, что баллы по тесту на проверку словарного запаса с заданиями с выбором одного правильного ответа выше, чем баллы по такому же тесту, но с открытыми ответами [21]. Те же результаты, только при проверке математических знаний, получились и у Франка Паджереса и M. Дэвида Миллера [17]. Гилберт Сакс и ЛеВерн С. Коллет в своей статье продемонстрировали, что средний балл по тесту с заданиями с выбором одного правильного ответа выше в случае, когда испытуемые готовятся по тестам с заданиями этого же типа, чем средний балл, когда они готовятся по заданиям с открытым ответом [18]. Более высокий средний балл у испытуемых, которые решали задания с выбором одного правильного ответа, наблюдается и в симуляционном исследовании Роберта Б. Фрари [31].

С другой стороны, некоторые задания с выбором одного правильного ответа не дают никаких преимуществ испытуемым, так как ответ на эквивалентное ему задание с конструируемым ответом может быть настолько очевидным, что не будет отличаться от задания с выбором одного правильного ответа. А иногда дистракторы в задании с выбором правильного ответа, если задание хорошо составлено, могут казаться даже правдоподобнее, чем правильный ответ, что является затрудняющим элементом.

В исследовании Смита и Смита [34], в котором сравнивалась трудность заданий с выбором одного правильного ответа и с открытым ответом теста на понимание прочитанного, авторы обнаружили, что трудность обоих типов заданий оказалась примерно одинаковой. Они предположили, что возможной причиной этому может послужить то, что возможность вернуться к прочитанному тексту нивелирует возможность угадывания в заданиях с выбором одного правильного ответа (в случае работы с текстом).

Роберт Б. Фрэри в своей статье говорит, что вычисленная им надёжность и валидность тестов с заданиями с открытым ответом не на столько выше, чем с заданиями с выбором одного правильного ответа, чтобы не учитывать то, сколько усилий необходимо приложить для их оценивания, не говоря уже о таком недостатке, как возможная субъективность такой оценки [31].

David Thissen, Howard Wainer и Xiang-BoWang отмечают, что имеет смысл использовать совместно задания с выбором одного правильного ответа с заданиями со свободным ответом, из-за маленького размера нагрузок последних на свои собственные специфические факторы, из-за чего баллы по заданиям с открытым ответам не будут отличаться от баллов по заданиям с выбором одного правильного ответа. Для большей нагрузки надо использовать куда больше заданий с открытым ответом, чем это делается обычно, что не совсем удобно из-за времени, которое тратится на одно задание такого типа [13].

Таким образом, исходя из всего вышесказанного, можно сделать вывод, что главными недостатками заданий с выбором одного правильного ответа являются возможность угадывания учеником правильного ответа и наталкивания его на правильный ответ. Однако задания этого типа имеют ряд весомых преимуществ, при том, что в случае эквивалентности заданий обеих форм, можно достичь схожего уровня трудности и высокой корреляции между результатами по заданиям двух форм. В некоторых случаях не имеет значения, какой тип заданий используется в тесте. Например, в случае работы с текстом возможность вернуться к нему нивелирует возможность угадывания в заданиях с выбором одного правильного ответа. В этом случае трудность заданий обоих типов - с выбором одного правильного ответа и открытых - примерно одинаковая.

1.3 Структура экзаменов в разных странах

Во многих странах, как и в России, проводятся экзамены для выпускников школ и абитуриентов вузов. В некоторых странах один экзамен объединяет в себе обе эти функции, а в некоторых - это два разных экзамена или школьники сдают всего один экзамен, выполняющий одну из двух функций: выпускной, либо вступительный, в зависимости от образовательной политики страны. В таблице ниже приведен список некоторых стран и цели проведения экзамена в них. Также в ней указаны формы заданий, которые присутствуют в КИМе.

Таблица 1

Структура тестов с высокими ставками, мировой опыт

Страны	Типы заданий	С какой целью проводится экзамен
	МС	С кратким ответом	С развернутым ответом
1. Англия	+	+	+	GCSE - для получения аттестата о среднем образовании. A-levels - получение Общего свидетельства об образовании продвинутого уровня и одновременно вступительные в вуз.
2. Белоруссия	+	+	+	ЦТ - одновременно выпускной и вступительный экзамен.
3. Бразилия	+	+	+	Есть выпускной экзамен и вступительные (но выпускной тоже учитывается).
4. Казахстан	+	-	-	ЕНТ - одновременно выпускной и вступительный экзамен.
5. Киргизия	+	-	-	Одновременно выпускной и вступительный (есть еще дополнительные вступительные).
6. Китай	+	+	+	Одновременно выпускной и вступительный.
7. США	+	+	+	SAT как вступительный.
8. Турция	+	-	-	OSS-выпускной, YFS - вступительный экзамен.
9. Франция	-	-	+	Сертификация и поступление в университеты
10. Южная Корея	+	-	-	Вступительный в вузы.

Как видно из таблицы 1 во всех рассмотренных странах, кроме Франции, в структуру экзаменов входят задания с выбором одного правильного ответа. В четырех странах экзамены состоят только из заданий с выбором одного правильного ответа.

Структура экзаменов и число предметов, по которым проводятся экзамены, отличается по странам. В Южной Корее, например, выпускники сдают всего один экзамен - College Scholastic Ability Test. «С его помощью оценивается не общеобразовательная подготовка, а способности и умения для продолжения образования. Тест состоит из 4 частей: вербальный тест, математика, исследования в области естественных и социальных наук, английский как иностранный язык» [42]. «Во Франции набор экзаменов определяется направлением лицея, но один экзамен по французской литературе обязателен для всех» [39]. В Беларуси два экзамена являются обязательными (математика и язык, белорусский или русский), третий - по выбору. С 2017 года абитуриенты могут сдавать 4 предмета вместо трёх. Однако 4-ый тест является необязательным.

Рассмотрим более подробно структуру экзаменов в некоторых странах.

1.3.1 Страны СНГ

Далее будут кратко рассмотрены экзамены Азербайджана, Грузии, Киргизии, Таджикистана и более подробно - Белоруссии и Украины.

В Азербайджане вступительные экзамены в вузы проходят по четырем группам специальностей (Таблица 2).

Таблица 2

Группы специальностей

Предмет	Статус квалификации и весовые коэффициенты
	ГРУППА I	ГРУППА II	ГРУППА III	ГРУППА IV
Родной язык	1	1	2	1
Литература			1
Математика	2	2	1	1
Физика	2			1
Химия	1			2
Биология				2
История			2
История Азербайджана		1
География		2
Иностранный язык	1	1	1

Абитуриентам дается 25 заданий по каждому предмету, то есть в целом 125 тестовых заданий. Все задания с выбором одного правильного ответа. Однако во II группе специальностей последние 4 задания даются в виде открытых заданий по математике, географии и родному языку (для азербайджанского сектора - по азербайджанскому языку, для русского - по русскому языку), а в III группе специальностей - по математике, истории и родному языку (для азербайджанского сектора - по азербайджанскому языку, для русского - по русскому языку). Один из открытых вопросов имеет вид «установление соответствия».

Помимо тестовых испытаний по некоторым специальностям необходимо сдать экзамен по выявлению особых способностей (дизайн, журналистка, архитектура).

В Грузии проводится Единый национальный экзамен.

Экзамен состоит из обязательных предметов и одного по выбору.

Обязательные экзамены:

- экзамен по грузинскому языку и литературе;

- экзамен по общим навыкам;

- иностранный язык (включает русский);

+ 1 экзамен по выбору.

Тест по математике, например, состоит из 2х частей, в первой части 30 заданий закрытого типа, а во второй - 10 заданий открытого типа.

В Киргизии проводится Общереспубликанское тестирование (ОРТ) - обязательный экзамен для абитуриентов, поступающих в высшие учебные заведения. Результаты Общереспубликанского тестирования являются обязательными для зачисления на все формы обучения в вузы. Для тестирования абитуриентов используются тесты двух видов: основной тест и предметные тесты, которые составляются на государственном и официальном языках. Результаты тестирования по видам тестов оцениваются отдельно. Все абитуриенты сдают основной тест. Он состоит из четырёх частей: математической, словесно-логической, чтения и понимания на родном языке и практической грамматики родного языка. Тест выполнен в формате вопросов с выбором одного правильного ответа из 5-и вариантов. Тесты предлагаются абитуриентам на трех языках по выбору: киргизском, русском и узбекском в зависимости от того, на каком языке тестируемый может наиболее успешно проявить себя.

В Таджикистане проводится Централизованный вступительный экзамен, состоящий из трех компонентов:

- Компонент А - общий экзамен.

- Компонент Б - экзамен по специальности.

- Компонент В - творческий экзамен или экзамен по специальным навыкам.

Для каждого типа тестовых заданий установлены критерии оценки - максимально возможное количество баллов [41].

Так, за правильный ответ на задание с выбором одного правильного ответа максимально возможное количество баллов - 1; на установление соответствия - 4 (указанное количество очков Вы набираете в случае, если правильно установите соответствие между всеми четырьмя элементами - за каждое правильное установление соответствия даётся 1 балл); на задание открытого типа - 2 балла.

В Белоруссии проводится Централизованное тестирование (ЦТ) -- форма вступительных испытаний на основе стандартизированных процедур проведения тестового контроля и обработки результатов тестов. Используется для проведения конкурса при поступлении в учреждения высшего, среднего специального и профессионально-технического образования Беларуси.

С 2017 года абитуриенты могут сдавать 4 предмета вместо трёх. Однако 4-ый тест будет необязательным. Зачисление в вузы идет по результатам трех тестов, среди которых обязательно должен быть тест по русскому или белорусскому языку. Каждый предмет сдается отдельно друг от друга, то есть является отдельным тестом.

Пример структуры экзамена по математике.

Экзамен по математике состоит из двух частей - А (18 заданий с выбором одного правильного ответа) и В (12 заданий: на установление соответствия и с кратким ответом). Заданий с развернутым ответом в структуре теста нет. Общее число заданий - 30, и на их выполнение дается 180 минут (3 часа).

В экзамен по биологии, например, входит 38 заданий с выбором одного правильного ответа и 12 заданий с выбором нескольких правильных ответов из предложенных вариантов, задания на установление соответствия и задания с кратким ответом - всего 50.

На Украине проводится Внешнее национальное тестирование.

Всего можно сдавать 4 предмета. Из них обязательным является украинский язык и литература. Что касается второй обязательной дисциплины, то здесь можно выбрать - математика или история Украины.

Для примера рассмотрим более подробно экзамен по математике:

Тест по математике в 2017 году будет состоять из 33 вопросов, на выполнение которых будет даваться 180 минут. Двадцать первых заданий - это задания с выбором правильного ответа (оцениваются дихотомически), следующие 4 задания на установление правильной последовательности (0-4 балла), далее 6 открытых заданий с кратким ответом (0-2 балла) и 3 задания с развернутым ответом (4,4,6 баллов). Максимальный балл, который можно набрать - 62. Тест по биологии включает 50 заданий. Из них 40 заданий с выбором одного правильного ответа, 6 заданий на установление правильной последовательности, 4 задания с выбором трех правильных ответов из трех групп предложенных вариантов ответов [43].

1.3.2 Англия

В Англии ученики сдают экзамен «А-level», в который может входить от трех до шести предметов, на выбор сдающего экзамен. Каждый тест может содержать вопросы с выбором правильного ответа, с кратким и развёрнутым ответом.

Экзамены за курс обязательного обучения в Англии сдаются централизованно, а для поступления в вуз сначала необходимо пройти специальное двухлетнее обучение и сдать экзамены повышенного уровня. Разрабатываются и проводятся эти экзамены специальными независимыми организациями, министерство образования дает лишь рекомендации по содержанию программы. Большинство вузов страны требуют успешной сдачи экзаменов по не менее, чем трем экзаменам повышенного уровня.

В зависимости от объема пройденного материала по одному предмету можно сдавать экзамен разного уровня сложности. Количество предметов и объем материала определяют «стоимость» оценок.

Результаты экзаменов оценивает специальная экзаменационная комиссия вне школы. «Комиссия - своеобразный посредник между абитуриентом и университетом: она принимает и сортирует заявки на поступление, помогает абитуриентам собрать документы и связываться с университетами, а университетам - контактировать с поступающими. Полученные оценки являются вступительными в высшее учебное заведение» [38].

Структура тестов в основном состоит из вопросов с кратким или развернутым ответом, но есть и вопросы с выбором правильного ответа [36].

1.3.3 США

Еще несколько лет назад Совет колледжей (организация, администрирующая тест) объявил о грядущих изменениях в тесте, которые вступят в силу уже в марте этого года. Новая версия теста включает два обязательных блока заданий: «Доказательное чтение и письмо» и «Математика» и третий блок «Эссе», который стал необязательным. Особый акцент делается на способности учеников работать с контекстом, логически мыслить и аргументировать, а не на навыки сами по себе, обособленно друг от друга. Задания с выбором ответа будут включать не 5, а 4 варианта ответа, но это не делает тест легче, просто из теста убрали самые маловероятные ответы. Для того, чтобы учащиеся смогли подготовиться к тестированию, Совет колледжей совместно с Академией Хана предоставили бесплатные тренировочные материалы ещё весной 2015 года.

Структура теста состоит из вопросов с выбором правильного ответа и открытых вопросов.

1.3.4 Франция

Во Франции перед поступлением в вуз необходимо пройти обучение в лицее, обычном или техническом. По окончании обучения ученики сдают экзамен “baccalaurйat”, сокращенно «le bac», и получают степень бакалавра, что открывает путь к бесплатному образованию в вузах страны. Этот экзамен не является стандартизированным.

Цель экзамена - поставить всех учеников в равные условия, чтобы свести на нет коррупцию на почве образования, чтобы унифицировать требования к выпускникам. Человек, сдавший, БАК имеет право без всяких вступительных экзаменов быть зачисленным в любой университет своего профиля. Во французском экзамене БАК все задания имеют открытую форму. Примеры тестовых заданий, самой структуры тестов, можно найти и посмотреть на сайте, посвященному образованию Франции, структура довольно необычная, в сравнении, например, с нашим ЕГЭ [44].

1.3.5 Россия

Содержание заданий, как и сама процедура сдачи экзаменов в форме ЕГЭ, год от года претерпевают изменения: разделение иностранных языков на письменную часть и «говорение», математики на базовый и профильный уровень и т.д. Также меняется структура теста, постепенно убираются задания с выбором одного правильного ответа.

Отношение к заданиям с выбором правильного ответа разнится. Вот, например, цитата из журнала «Известия» от 9 апреля 2014 года: «Структура Единого государственного экзамена (ЕГЭ) вновь претерпит некоторые изменения. Уже со следующего года школьников лишат возможности положиться на удачу и выбрать один из четырех вариантов ответа в блоке А Единого госэкзамена» [40].

Сопредседатель межрегионального профсоюза учителей Андрей Демидов считает исключение заданий с выбором правильного ответа неоправданным и призывает обратить особое внимание на блок С, который является творческим. «Шаг популистский, потому что блок А играл свою роль, и я так понимаю, что таким шагом они рассчитывают избавиться от упреков в адрес ЕГЭ по поводу натаскивания. В целом проблема не в части А, к которой дети уже привыкли, а в части С, за которую многие просто не берутся, где как раз предполагается применение творческого подхода. Надо часть С расширить и сделать обязательной» [40], - говорит Демидов.

Чем чревато то, что убирают задания с выбором одного правильного ответа:

- во-первых, страдает надежность измеренияв связи с уменьшением количества заданий, во-вторых, страдает надежность проверки - повышается субъективность, так как убираются задания с выбором правильного ответа, которые проверяются компьютером, а в заданиях с кратким ответом не всегда учитываются все возможные варианты ответов, отрытые же задания, проверяемые экспертами, остаются субъективными в оценке;

- баллы, полученные за часть С могут быть апеллированы, что является лазейкой для влияния на итоговый балл, а решение повышать ли балл или нет опять же субъективно;

- страдают менее подготовленные дети, у которых по сути вся надежда набрать нужные баллы остается только на часть В, так как в школе в основном упор делают только на нее, для подготовки к части С необходимо дополнительная подготовка вне школы, что не все могут себе позволить.

1.4 Оптимальная структура теста

Каждая форма заданий имеет свои преимущества и недостатки и призвана решать те или иные цели при включении её в структуру КИМов.

Если задания с кратким и развернутым ответом, являясь наиболее близкими по форме к традиционным заданиям контрольных работ, не подвергаются нападкам со стороны общественности, то на счет заданий с выбором правильного ответа встает большой вопрос - стоит ли включать их в тестирование с высокими ставками, такое как ЕГЭ, например.

Представим несколько предположений по поводу заданий с выбором правильного ответа, которые все-таки могут измерять навыки более высокого порядка, чем они измеряют обычно. Отметим, что требуется не только много сил и времени потратить на составление такого задания, но и определенная степень мастерства. Итак:

1. Задания должны содержать практические, то есть реальные ситуации, проблемы.

2. Можно включить в задания диаграммы, таблицы или рисунки, которые требуют интерпретации, чтобы тестируемые смогли применить навыки анализа или оценки.

3. Можно давать реальные цитаты из газет или журналов и просить проинтерпретировать и оценить их, дав варианты ответа, но с необходимостью выделить ту часть текста, с опорой на которую тестируемый сделал вывод (как это сделано в новом американском SAT).

Итак, существует много различных форм заданий, со своими плюсами и минусами. Но зачем нужны задания различных форм?

В одном тесте желательно присутствие заданий различных форм, потому что различные формы заданий направлены на проверку различных навыков учащихся, и именно комбинация различных форм заданий позволяет наиболее эффективно (быстро, объективно, надёжно) оценить достижение учениками всех уровней учебных целей. Именно комбинация различных форм позволяет провести всестороннюю диагностику:

- задания с выбором правильного ответа, во-первых, обладают наиболее высоким уровнем эффективности (требуют меньше времени на выполнение, чем задания открытой формы, что позволяет включить большое число таких заданий и тем самым шире охватить содержание дисциплины), а во-вторых, дают возможность проверить достижение учебных целей более высокого уровня (умение анализировать, критически осмыслять предложенные варианты и оценивать их правдоподобие);

- задания с коротким ответом позволяют более глубоко проверить конкретные знания и могут быть использованы тогда, когда стоит цель проверить знания фактического материала;

- задания с развёрнутым ответом позволяют оценить достижение учебных целей более высокого уровня: умение анализировать материал, синтезировать новое на основе усвоенного материала, обосновывать свои критические высказывания и оценки.

Включение в тест заданий разных форм позволяет объединить достоинства каждой из форм, компенсируя слабые стороны [24]. Кроме того, использование заданий различных форм снижает утомляемость участников тестирования, повышает их интерес.

Таким образом, для экзаменов с высокими ставками, охватывающих большой объём материала, предположительно оптимальным будет сочетание всех типов заданий [4]. По крайней мере, в тестировании по предметам, обязательным к сдаче выпускниками. В этом случае необходимо оценить всех испытуемых - от самых слабых, до самых сильных. В тесте должны присутствовать задания разного уровня трудности, чтобы была возможность «измерить» испытуемых с различным уровнем подготовленности. В случае тестирования по необязательным предметам, например, по биологии, основная цель - отобрать наиболее подготовленных абитуриентов, и нет необходимости оценки слабых испытуемых. Поэтому здесь наличие заданий с выбором одного правильного ответа, которые могут использоваться для оценки более слабых учеников, так как высока вероятность того, что сильные испытуемые с ними справятся, без учета случайных ошибок, не так необходимо. Хотя и в этом случае для возможности охвата большего объема материала они могут быть использованы.

Отказ от заданий с выбором правильного ответа, неизбежно приводит к уменьшению числа заданий в тесте. Например, в этом году структура КИМ ЕГЭ по биологии претерпела значительные изменения - в его структуру теперь входит 28 заданий вместо 40 в 2015-2016 гг. и 50 в предыдущие годы. Из 28 заданий 21 задание с кратким ответом и 7 с развернутым ответом. Время выполнения теста увеличилось на полчаса и теперь составляет 210 минут.

Отметим, что задания с выбором правильного ответа не совсем исчезли из структуры теста. В первую часть входят задания с выбором нескольких правильных ответов из предложенных испытуемому вариантов. Их недостатком является более продолжительное время выполнения, а преимуществом - меньшая степень вероятности угадать все правильные варианты, чем в заданиях с выбором оного правильного ответа.

В следующей главе будут приведены и проанализированы статистические данные в рамках современной теории тестирования (IRT) теста аналогичного ЕГЭ и результатов симуляций различной структуры на основе оригинального теста.

Глава 2. Практическая часть - симуляция новой структуры теста. Моделирование заданий

Перед тем, как приступить к анализу данных, полученных в ходе симуляций, сначала мы подробно расскажем о самом тесте и о том, как проходили симуляции.

2.1 Методология исследования

Работа проводилась с одним из вариантов теста аналогичного по структуре ЕГЭ по биологии. Количество испытуемых на вариант составило 1531 человек. Данные о поле испытуемых отсутствуют. В матрице ответов в части А представлены баллы в виде 0 и 1, то есть «неверно» и «верно». В части В представлены баллы от 0 до 2 и в части С - от 0 до 3. Общее количество заданий в тесте - 50: из них 37 заданий с выбором одного правильного ответа, 7 - с кратким ответом и 6 - с развёрнутым ответом.

Стоит отметить, что выпускник сам решает, сдавать ему экзамен по биологии или нет, то есть это предмет по выбору, и ученик целенаправленно к нему готовится, поэтому вероятность того, что испытуемый будет хорошо подготовлен, возрастает.

За последние три года экзамен по биологии претерпел довольно значительные изменения, после более десяти лет относительной стабильности в его структуре. Результаты тестирования за 2017 год с обновленной структурой пока отсутствуют, выпускникам еще только предстоит опробовать его не себе.

В таблице 3 представлена структура КИМ со всеми изменениями в нем с 2007 Спецификаций КИМ более ранних годов в открытом доступе нет по 2017 год.

контрольный измерительный тест высокий ставка

Таблица 4

Структура КИМ ЕГЭ по биологии за 2007-2017 гг.

Биология	2007-2014 гг.	Количество заданий
		2015	2016	2017
Часть А	36	-
Часть В	8	Часть 1	3325 - с выбором одного правильного ответа, 3 - с выбором нескольких правильных ответов, 4 - на установление соответствия, 1-на определение последовательности биологических объектов, процессов, явлений» [45].	33	217 - с множественным выбором с рисунком или без него; 6 - на установление соответствия с рисунком или без него; 3 - на установление последовательности систематических таксонов, биологических объектов, процессов, явлений; 2 - на решение биологических задач по цитологии и генетике; 1 - на дополнение недостающей информации в схеме; 1 - на дополнение недостающей информации в таблице; 1 - на анализ информации, представленной в графической или табличной форме (всего 21 задание с кратким ответом)» [45].
Часть С	6	Часть 2	7	7	7
Время, мин	А	1 (26) 2 (10)	-
	В	5	Часть 1	1 (18) 2 (7) 5 (8)	2 (20) 3 (5) 5 (8)	До 5
	С	От 10 до 20	Часть 2	От 10 до 20	От 10 до 20	От 10 до 20
Общее время, мин	180	180	180	210
Мах первичный балл	69	61	61	59

Как видно из таблицы 3 до 2014 года изменений в структуре теста не было, он состоял из 50 заданий, из которых 36 были с выбором одного правильного ответа, 8 - с кратким ответом и 6 с развёрнутым ответом.

Однако в структуре КИМ 2015 года происходят изменения, и тест начинает делиться не на три, а на две части. В первую часть также входят задания с выбором одного правильного ответа, но их число сокращается с 36, до 25. Вторая часть (бывшая Часть С) увеличивается на одно задание и теперь в неё входит не шесть, а семь заданий. Общее количество заданий сокращается с 50 до 40, а максимальный первичный балл уменьшается с 69 до 61, при этом минимальный проходной балл остается прежним, то есть фактически, задача преодолеть минимальный порог усложняется.

В 2016 году структура не меняется, лишь изменяется количество заданий базового уровня - увеличивается с 18 до 24.

В 2017 году частей также остаётся две, но из первой части полностью исключаются задания с выбором одного правильного ответа, добавляется больше заданий с выбором нескольких правильных ответов из 5-7 вариантов, а общее количество заданий сокращается с 40 до 28. Максимальный первичный балл также уменьшается - с 61 до 59.

Описание симуляций

Наличие матрицы ответов по тесту, имеющему аналогичную структуру ЕГЭ по биологии, позволяет нам провести симуляции с исходным тестом и поэкспериментировать с его структурой. Зная средние трудности каждой части теста, мы провели несколько симуляций, в ходе которых исключались и/или добавлялись смоделированные задания средней трудности по отношению к трудности заданий той части, задания которой моделировались. Количество добавляемых заданий всегда было приблизительно равно времени, которое требовалось на выполнение исключаемых заданий.

Всего было проведено четыре симуляции.