Методология построения системы управления качеством в университетском комплексе (на примере ЮРГУЭС)

34

34,7

35

27,13

47

38,8

25,6

Рис. 8. Итоги дипломного проектирования

Рис. 9. Анализ показателей итоговой аттестации по специальностям на технологическом факультете

В середине семестра деканаты обязаны проводить анализ и подводить промежуточные итоги результатов рубежных контролей студентов всех специальностей факультета с целью обсуждения их на НМСС, совете факультета и принятия необходимых управленческих решений, а также составления прогноза результатов успеваемости на конец семестра.

Для обеспечения широкой гласности результатов рейтингового контроля знаний студентов и усиления их влияния на эффективность учебного процесса деканаты дважды в семестре должны вывешивать списки студентов в порядке убывания их рейтинга - рейтинг-листы. В рейтинг-листах каждый студент может увидеть и оценить себя в сравнении с другими студентами. Рейтинг-листы вывешиваются в наиболее доступных и людных местах: возле деканата, кафедры и т.п.

Использование базы данных как хранилища информации об успеваемости студентов позволяет значительно ускорить получение сводных отчетов пользователями и облегчить разработчикам создание новых видов отчетов. Использование базы данных «Деканат» позволяет определять итоговый рейтинг студента не только в течение одного, отдельно взятого семестра, но и в течение учебного года и за весь срок обучения. Это дает возможность ранжировать студентов не только в академической группе, но и на курсе, на специальности и по всему факультету в целом.

Система электронных ведомостей успеваемости является прозрачной для контроля как со стороны деканатов и ректората, так и со стороны студентов и их родителей. Этому также способствует созданный динамический Web-сайт по адресу www.stud.sssu.ru, который позволяет студенту проверить правильность и своевременность выставления своих оценок, а сотрудникам университета просмотреть статистику по заполнению электронных ведомостей преподавателями и информацию о студентах, группах и специальностях вуза. Это позволяет обеспечить мониторинг оценки качества знаний студентов на всех уровнях: кафедра, деканат, учебное управление, ректорат, внешняя среда (потенциальные работодатели, родители и др.).

5. Оценка результатов образовательного процесса на основе тестовых технологий

Эффективность управления образовательным процессом УНИК существенно зависит от того, насколько объективно и оперативно оцениваются результаты обучения и воспитания на разных уровнях образования. Как показывает отечественный опыт последнего десятилетия, а также многолетний зарубежный опыт оценки учебных достижений обучающихся получение независимых, объективных результатов обучения возможно только на основе тестовых технологий. В связи с этим для каждого уровня образования УНИК необходимо разработать комплекты тестов по дисциплинам. Учитывая современные тенденции возрастания доли самостоятельной работы студентов в процессе обучения, работы по созданию тестов целесообразно начинать с разработки банков заданий в тестовой форме по отдельным дисциплинам. Причем, задания должны быть разного «калибра», т.е. должны быть предназначены для проверки элементов содержания дисциплины разной величины: от текущего и тематического контроля до рубежного и итогового. Банк заданий в тестовой форме обеспечит эффективное самостоятельное изучение материала дисциплины студентами.

На основе полученного банка заданий в тестовой форме формируются предтесты для тематического, текущего, рубежного и итогового контроля знаний студентов по дисциплине, которые путем многократной проверки и чистки совершенствуются и доводятся до уровня тестов. Наряду с перечисленными типами тестов необходимо разработать тесты для входного контроля, с помощью которых проверяются знания обучаемых при переходе с одного образовательного уровня на другой. Это позволяет оценить готовность студента к обучению по образовательным программам того образовательного уровня, на который он переходит.

Создание тестов, включающее проверку их качества и совершенствование - достаточно длительная и трудоемкая процедура, которую невозможно выполнить без соответствующих программно-инструментальных средств. Поэтому разработка программного обеспечения для обработки результатов тестирования и проверки качества тестовых материалов должна предшествовать работе по созданию тестов. В ЮРГУЭС создан программный комплекс RILP-1, позволяющий успешно решать эти задачи при использовании дихотомической оценки результатов обучения и воспитания. С его использованием разработаны качественные тесты по блокам естественно-научных и общепрофессиональных дисциплин высшего профессионального образования.

Для оценки воспитательной работы в подразделениях УНИК необходимо создать диагностические тесты, позволяющие объективно оценить параметры воспитательного процесса, которые носят скрытый (латентный) характер. Технология разработки таких тестов и их индикаторов практически та же, что и для разработки педагогических тестов. Выполнение работы по исследованию воспитательного процесса целесообразно начинать с создания диагностических тестов, с помощью которых исследуются личностные качества обучающихся.

Использование для оценки результатов образовательного процесса педагогических и диагностических тестов, качество которых соответствует научно обоснованным критериям, позволяет говорить о точном измерении латентных параметров и объективно оценивать достижения в области обучения и воспитания.

6. Методики разработки контрольно-измерительных материалов

Современные тенденции планирования и организации учебного процесса в высшей школе предусматривают существенное увеличение доли самостоятельной работы студентов практически по всем изучаемым дисциплинам. В этих условиях существенно усиливается ответственность преподавателей за развитие навыков самостоятельной работы студентов, за модернизацию учебно-методического обеспечения учебного процесса и разработку новых дидактических подходов, позволяющих студентам самостоятельно осваивать учебный материал. Достижение этих целей невозможно без оптимизации методов обучения, внедрения в образовательный процесс новых информационных технологий, повышающих производительность труда преподавателей, без широкого применения компьютерной техники и компьютерных сетей, новых интернет-технологий.

Одним из основных направлений работы, позволяющим не только реализовать отмеченные подходы, но и создать, по сути, новую форму педагогического контроля, является разработка и оценка качества педагогических измерительных материалов (ПИМ), представляющих собой набор тестовых заданий и тестов. В отличие от традиционных форм педагогический контроль с помощью педагогических измерительных материалов, в качестве которых используются тесты, представляет собой педагогическое измерение, в процессе которого объективно и оперативно оцениваются учебные достижения студентов. Он обеспечивает проведение количественного сопоставления оцениваемого параметра обучаемого с некоторым эталоном, принятым в качестве единицы измерения. При этом роль оцениваемого параметра отводится знаниям, умениям и навыкам обучаемого, а в роли единицы измерения используются тестовые задания по проверяемому содержанию дисциплины. Педагогические измерения знаний, умений и навыков осуществляются в процессе педагогического тестирования, которое проводится с помощью тестов, состоящих из тестовых заданий. Они конструируются, исходя из определённых принципов, и имеют определённые форму, от которой существенно зависит эффективность контроля знаний.

6.1 Краткие сведения о формах тестовых заданий

В пособии использованы те формы заданий, которые нашли широкое применение при разработке тестов централизованного тестирования и единого государственного экзамена (ЕГЭ). Это задания закрытой и открытой форм, задания на установление соответствия и задания на установление правильной последовательности.

Задание закрытой формы - тестовое задание с несколькими вариантами ответов, из которых один или несколько являются верными. Ответы даются на выбор. Задания сформулированы в логической форме утверждения. Выбор правильного ответа дает истинное суждение, а выбор неправильного - ложное суждение. В пособии использованы задания этой формы с выбором одного правильного ответа и с выбором одного наиболее правильного ответа из некоторого числа ответов, правильных в разной степени. Задания этих двух типов различаются формулировкой инструкции к ним. Инструкция к заданиям с выбором одного правильного ответа формулируется в виде: «УКАЖИТЕ НОМЕР ПРАВИЛЬНОГО ОТВЕТА». Для заданий с выбором одного наиболее правильного ответа инструкция имеет вид: «УКАЖИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА». Число ответов на задание выбрано равным четырём, как это принято в профессионально разработанных тестах. Результат выполнения задания оценивается дихотомически: правильный ответ оценивается единицей, неправильный - нулём. Подавляющее большинство заданий, представленных в пособии, относятся к заданиям этой формы.

Задание открытой формы - тестовое задание без указания возможных вариантов ответа. Задание сформулировано так, что готового ответа нет. Участник тестирования должен самостоятельно указать или сформулировать правильный ответ и вписать его в отведенном для этого месте. После дополнения задания определенным ответом получается истинное или ложное высказывание. Результат выполнения задания открытой формы оценивается дихотомически. Инструкция, которая использована в пособии для заданий этой формы, имеет вид: «ВПИШИТЕ ОТВЕТ В ВИДЕ ЦЕЛОГО ЧИСЛА». Или: «ДОПОЛНИТЕ».

Задание на установление соответствия - тестовое задание, при выполнении которого необходимо установить соответствие между элементами двух и более множеств. При выполнении такого задания элементам одного множества ставятся в соответствие элементы другого множества. В заданиях этого типа количество элементов одного множества может не совпадать с числом элементов другого. Результат выполнения задания представляется политомически: каждое верно установленное соответствие оценивается единицей, а все задание в целом - числом таких верно установленных соответствий. Инструкция к заданиям на установление соответствия сформулирована в виде: «УСТАНОВИТЕ СООТВЕТСТВИЕ».

С помощью заданий на соответствие проверяются более крупные элементы знаний, чем с помощью заданий открытой и закрытой форм. Поэтому заданиям такого типа отдаётся предпочтение при разработке тестов для проведения итогового или промежуточного контроля.

Задание на установление правильной последовательности - тестовое задание, выполнение которого состоит в установлении правильной последовательности операций, действий, событий. В пособии использованы задания этого типа на установление правильной последовательности действий. Результат выполнения задания оценивается политомически: каждому верно установленному этапу последовательности действий ставится в соответствие единица. Инструкция к заданиям этой формы представлена в виде: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ ДЕЙСТВИЙ».

Многообразие форм представленных в пособии тестовых заданий обусловлена тем, что каждая из них позволяет проверить специфические виды знаний.

При разработке заданий использованы практически все известные принципы композиции тестовых заданий [1], в особенности принцип фасетности. Задания, использующие этот принцип, содержат фасет, представляющий собой совокупность нескольких элементов в виде слов, знаков или цифр, расположенных в форме столбца и заключённых в фигурные скобки. Выбирая последовательно элементы из фасета, и добавляя их в задание, получаем столько параллельных по содержанию заданий, сколько элементов содержится в фасете. Число фасетов в задании варьируется в зависимости от богатства его содержания. Максимально возможное число вариантов заданий находится перемножением числа элементов во всех фасетах.

В заданиях настоящего пособия используется не более двух фасетов. В некоторых заданиях с одним фасетом, число элементов которого не превышает двух-трёх, эти элементы представлены не в форме столбца, а в виде строки, заключённой в фигурные скобки. Это сделано с целью предотвращения чрезмерного увеличения объёма пособия.

Параллельность заданий по содержанию, которая обеспечивается использованием принципа фасетности, позволяет разрабатывать параллельные тесты и устранить многие проблемы на этапе обработки, шкалирования и интерпретации результатов тестирования.

Примером фасетного является задание, которое представлено ниже.

0001. СОПРОТИВЛЕНИЕ Z₀. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ , ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО с, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R₂, ПРИ РЕЗОНАНСЕ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

Используя различные сочетания элементов фасета, из данного задания можно получить четыре варианта параллельных по содержанию заданий, не меняя спектр вариантов ответов.

0002. СОПРОТИВЛЕНИЕ Z₀. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ЁМКОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО с, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R₂, ПРИ РЕЗОНАНСЕ ТОКОВ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

000 СОПРОТИВЛЕНИЕ Z₀. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ЁМКОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО с, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R₂, ПРИ РЕЗОНАНСЕ НАПРЯЖЕНИЙ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

0004. СОПРОТИВЛЕНИЕ Z₀. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ИНДУКТИВНОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО с, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R₂, ПРИ РЕЗОНАНСЕ ТОКОВ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

0005. СОПРОТИВЛЕНИЕ Z₀. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ИНДУКТИВНОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО с, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R₂, ПРИ РЕЗОНАНСЕ НАПРЯЖЕНИЙ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

Первоначальная совокупность заданий в тестовой форме, когда неизвестны её количественные характеристики, называется предтестом, а сами задания - предтестовыми заданиями. Предтест становится тестом, а предтестовые задания тестовыми после того, как они пройдут эмпирическую проверку, будут рассчитаны их параметры и характеристики, причём их значения станут статистически устойчивы. Об этом необходимо помнить в процессе разработки теста.

6.2 Технология конструирования предтеста

Процесс создания как педагогического теста, который используется для оценки учебных достижений обучающихся, так и диагностического теста, с помощью которого оцениваются результативность процессов и подпроцессов СМК, требует больших затрат времени, поэтому его разбивают на ряд этапов. Основными из них являются [29, 34]:

1) определение целей тестирования, выбор вида теста;

2) анализ содержания учебной дисциплины;

3) отражение содержания дисциплины в содержание предтеста;

4) составление плана и спецификации предтеста, априорный выбор его длины и времени выполнения;

5) создание заданий в тестовой форме;

6) первоначальный отбор предтестовых заданий и их ранжирование в соответствии с выбранной стратегией предъявления на основании субъективных оценок разработчика;

7) экспертиза формы и содержания предтестовых заданий, экспертиза содержания предтеста;

8) корректировка предтестовых заданий и предтеста по результатам экспертизы;

9) составление инструкций для студентов и преподавателей, проводящих апробацию предтеста;

10) проведение апробационного тестирования;

11) подготовка результатов тестирования к обработке;

12) статистическая обработка результатов тестирования;

13) анализ результатов обработки и проверка соответствия характеристик предтеста научно обоснованным критериям качества с использованием классической теории тестов;

14) экспертиза качества заданий и предтеста на основе математических моделей ТМПП;

15) чистка предтеста путём удаления части заданий на основе полученных экспертных оценок;

16) корректировка формы и содержания предтестовых заданий по результатам экспертизы, добавление новых предтестовых заданий;

17) корректировка (при необходимости) плана и спецификации предтеста, уточнение времени выполнения предтеста;

18) повторение этапов апробации (10-17) с целью повышения качества предтеста и уточнения его характеристик;

19) интерпретация полученных в результате обработки данных, установление тестовой нормы (при необходимости), создание шкалы для оценки результатов участников тестирования.

Как видно из рассмотрения приведённого алгоритма, образуется своеобразный цикл, который начинается этапом сбора эмпирических данных и заканчивается корректировкой предтеста, причём, цикл этот повторяется многократно. Процесс конструирования теста достаточно трудоёмок, так как необходим всесторонний подход к оценкам его качества и качества входящих в него предтестовых заданий. Кроме того, многое при разработке теста зависит не только от качества тестового материала, но и от уровня подготовки контингента участников тестирования.

Кроме того, необходимо помнить, что для профессиональной разработки педагогических тестов на основе современных математических моделей необходимо иметь специализированные программные средства.

6.3 Определение целей тестирования и анализ содержания учебной дисциплины

Профессиональное создание теста начинается с определения цели тестирования, т.е. с ответа на вопрос - знание каких разделов дисциплины является наиболее существенным при подготовке студентов?

При этом внимание разработчика теста акцентируется, прежде всего, на том, как оптимально отобразить содержание учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определённой методики отбора материала дисциплины. Для правильной постановки целей создания теста и их реализации в тестовых заданиях необходимо пройти процесс операционализации (конкретизации) целей [29]. Под операционализацией понимается придание содержанию и форме представления целей характеристик, позволяющих отобразить образовательные цели в содержание средств измерения (тестовых заданий). Этапы процесса операционализации схематично представлены на рисун- ке 10.

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

31

Рис. 10. Этапы операционализации результатов обучения

Планируемые результаты обучения в сознании преподавателя преломляются сквозь призму содержания знаний по преподаваемой учебной дисциплине в содержание теста, в результате чего он обретает свои чёткие контуры.

Основные категории конкретизированных учебных целей, разработанные автором работы [35], приведены в несколько изменённом, удобном для задач измерения виде в таблице 6 [29].

Таблица 6. Конкретизированные цели обучения

Планируемые обобщённые учебные цели	Примеры конкретизированных учебных целей, достигнутых учеником
Знание на уровне запоминания и воспроизведения	Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы
Знания на уровне понимания	Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной ситуации	Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации
Умения по применению знаний в незнакомой ситуации	Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации
Анализ	Видит ошибки и упущения в логике рассуждений, корректирует неполные и избыточные постановки задач, выделяет скрытые предложения, проводит различия между фактами и следствиями

Используя таблицу 6, разработчик теста определяет, что именно он собирается проверить с помощью теста по данной учебной дисциплине и отображает это в предтестовых заданиях.

Длительность процедуры тестирования ограничивается обычно тремя часами, поэтому количество заданий по каждому разделу дисциплины, которые войдут в тест, должно быть ограничено. При этом необходимо быть уверенным в том, что выбранные разделы (темы) дисциплины охватывают все важные аспекты подготовки студента, а знание содержания этих разделов обеспечит достижение целей обучения студентов. Правильный выбор здесь осложняется тем, что некоторые дисциплины заметно связаны между собой и могут частично замещаться. Подходы и основания для такого выбора достаточно разнообразны.

Отражение содержания дисциплины в содержании предтеста

Достижение успеха в создании теста во многом зависит от качества начального тестового материала, которое обеспечивается правильным отбором содержания дисциплины и умением разработчика корректно отобразить это содержание в содержание предтеста. Для каждой дисциплины необходимо выбрать ту содержательную область, которая признаётся специалистами как важная, наиболее значимая, знание которой позволит выпускнику достичь успехов в будущей работе по специальности. После конкретизации целей тестирования отображение содержания дисциплины в содержание предтеста начинается с выделения укрупнённых единиц знаний. Если сделать это отображение слишком глубоким и полным, чрезмерно расширится число тем и разделов, включённых в предтест. Как следствие этого увеличится число предтестовых заданий, что разумно до определённых пределов. Поэтому при создании предтеста необходимо отобразить в нём самое главное - то, что студенты должны обязательно знать в результате обучения.

Укрупнённые единицы знаний подразделяются на более мелкие единицы, для которых и создаются предтестовые задания. Их разработку по конкретным темам рекомендуется начинать, исходя из целей тестирования и базируясь на содержании традиционно используемых контрольных материалов (экзаменационных билетов, контрольных заданий, задач и т.д.), а также опыте ведущих преподавателей учебной дисциплины. Число предтестовых заданий по каждой теме (разделу), которое планируется включить в предтест, не может быть произвольным. В противном случае содержание учебной дисциплины может быть неверно отображено в предтесте. Поэтому работе по созданию предтестовых заданий должна предшествовать разработка плана и спецификации предтеста по дисциплине [34, 36, 37].

6.4 План и спецификация теста

В плане теста определяется, какое количество заданий по конкретной теме учебной дисциплины должно войти в предтест. Это нужно сделать исходя из определённых критериев, например, можно экспертным путём определить важность каждой темы, а затем с учётом результатов экспертизы распределить предтестовые задания по темам. На наш взгляд, на начальных этапах работы по созданию предтеста важность или ранг тем учебной дисциплины можно определить исходя из количества аудиторных часов занятий, отводимых на изучение тем студентами дневной формы обучения. Этот критерий и был выбран автором для использования в качестве основного при разработке планов тестов. Общее число предтестовых заданий следует определять исходя из следующих соображений. В окончательном варианте теста количество заданий должно быть не меньше. При экспериментальной проверке предтеста и анализе на её основе параметров предтестовых заданий часть из них придётся из предтеста исключить. Поэтому первоначальное число заданий должно быть в 1,5-3 раза больше окончательного, т.е. 45-90. Далее это количество заданий распределяется по конкретным темам дисциплины с учётом учебного плана последней.

Не менее важно сформулировать чёткие требования по отбору заданий с точки зрения проверки выполнения требований государственного образовательного стандарта (ГОС). С помощью каждого тестового задания проверяется степень выполнения конкретного требования ГОС, поэтому точность такой проверки определяется, прежде всего, тем, насколько успешно удалось отразить требования стандарта в заданиях теста. Обычно требования ГОС по большинству блоков дисциплин предполагают проверку знаний испытуемых на трёх уровнях:

- иметь представление;

- знать, уметь использовать;

- иметь опыт, владеть.

В соответствии с этим и все задания предтеста должны быть разбиты на три группы, соответствующие этим уровням (назовем их условно первая, вторая и третья). Первоочередная проблема, которую должен решить разработчик предтеста, заключается в выборе пропорций между количеством заданий различных групп. Очевидно, эти количественные соотношения будут различными для дисциплин разных блоков, поэтому и решать её целесообразно экспертным путем, исходя из накопленного опыта препо-давания дисциплины.

Например, сделать это можно, как уже отмечалось выше, на основе содержания традиционно используемых контрольных материалов. В качестве примера в таблице 2.2 приведены полученные таким путём план и спецификация теста по дисциплине «Основы теории цепей», которая входит в блок общепрофессиональных дисциплин. Из таблицы видно, что число тестовых заданий по темам хорошо коррелирует с числом аудиторных часов занятий, отводимых на их изучение. Для проверки знаний на первом уровне в тесте отведено 10 % заданий, на втором уровне - 66 % и на третьем уровне - 24 %. Такая спецификация теста объясняется тем, что основной задачей дисциплины «Основы теории цепей» является изучение и освоение методов анализа и синтеза электрических цепей. Уточнение числа заданий по каждой группе может быть осуществлено по результатам экспериментальной проверки предтеста и дальнейшей работы с ним.

Согласно данным последних работ в области педагогических измерений [2] для проверки знаний на уровне иметь представление рекомендуется использовать 10 % от общего количества заданий предтеста.

Таблица 7. План и спецификация теста по дисциплине «Основы теории цепей»

Требова-ния ГОС	% от всех ТЗ	Чис-ло ТЗ	Распределение тестовых заданий (ТЗ) по темам
			1	2	3	4	5	6	7	8	9	10	11	12
1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Иметь представление	10	5	1 (5)	-	-	-	1 (18)	1 (27)	-	-	-	1 (42)	1 (46)	-
Знать, уметь использовать	66	33	3 (1-3)	4(6,7,11,12)	1 (14)	1 (15)	4 (17,19-21)	4 (22,23,25,28)	5 (29-33)	2 (34-35)	-	4 (38,39, 41, 44)	3 (45,47,48)	2 (49,50)
Иметь опыт, владеть	24	12	1 (4)	3 (8-10)	1 (13)	1 (16)	-	2 (24-26)	-	-	2 (36-37)	2 (40,43)	-	-
Всего:	100	50	5	7	2	2	5	7	5	2	2	7	4	2
Процент от всех заданий	10	14	4	4	10	14	10	4	4	14	8	4

После разработки плана и спецификации теста приступают к разработке предтестовых заданий. Учитывая необходимость дальнейшей экспертизы заданий и предтеста в целом, форму используемых предтестовых заданий желательно выбирать одинаковой в пределах одного предтеста. Как показывает опыт проведения централизованного тестирования и единого государственного экзамена (ЕГЭ), на первых этапах работы с предтестами предпочтительно использовать предтестовые задания закрытой формы с числом вариантов ответов не менее 4. Меньшее число вариантов ответов приводит к возрастанию вероятности угадывания правильного ответа. Создание заданий с большим числом ответов проблематично из-за трудности выполнения требования одинаковой правдоподобности отвлекающих ответов. При создании предтестовых заданий необходимо обеспечить выполнение предъявляемых к ним требований. Принципы конструирования заданий выбираются исходя из удобства отображения содержания элемента дисциплины в задание и эффективности его использования для контроля подготовленности студентов.

6.5 Критерии качества теста

Прежде чем перейти к экспериментальной проверке сконструированного предтеста, необходимо тщательно оценить качество его содержания. Как отмечалось ранее, успех в создании профессионального теста существенно зависит от качества материалов, отобранных на ранних стадиях разработки. Поэтому необходимо проверить соответствие полученного предтеста существующим критериям качества.

Первым из таких критериев является соответствие содержания теста сформулированным целям(и) его создания. Например, первые три теста являются рубежными и предназначены для проверки усвоения студентами содержания трёх модулей дисциплины «Основы теории цепей». Поэтому эти тесты являются содержательно-ориентированными и состоят из заданий, ориентированных на проверку содержания. Четвёртый тест этой же работы предназначен для проведения итоговой государственной аттестации ОП по дисциплине «Основы теории цепей». Он является критериально-ориентированным и применяется для проверки соответствия уровня усвоения материала дисциплины требованиям ГОС.

Второй критерий - полнота отображения материала дисциплины, которая оценивается на основании её программы. Необходимость оценки полноты связана с тем, что обычно содержание предтеста значительно уже, чем это предусмотрено соответствующей программой. Невозможно включить в предтест все вопросы программы, поскольку число предтестовых заданий ограничено. В то же время, чем полнее содержание предтеста, тем выше его содержательная валидность и тем больше уверенность в оценке знаний тестируемых, полученной с его помощью.

Третьим критерием качества является правильность пропорций содержания теста. Необходимо убедиться в том, что задания предтеста охватывают все важные аспекты предметной области и в правильной пропорции. Смещение пропорций может произойти, например, из-за того, что предтест легко перегрузить теми разделами содержания, по которым легче составить задания. Для исключения этого необходимо ещё раз оценить соответствие содержания заданий плану теста после окончания процесса их создания.

Четвёртый критерий - соответствие содержания тестовых заданий уровням знаний, планируемым в спецификации теста. При этом проверяется соответствие контролируемых заданиями предтеста знаний требованиям к уровню основных знаний и умений, предусмотренных ГОС. Фактически разработчик предтеста конкретизирует требования ГОС в отношении тех элементов содержания, которые проверяются предтестовыми заданиями. При этом необходимо провести анализ всех элементов содержания с целью ранжирования их по степени значимости.

Пятый критерий предполагает оценку определённости и предметной чистоты измеряемого элемента содержания. С помощью задания лучше проверить один конкретный элемент знаний. Попытка сделать это сразу для нескольких элементов знаний, как правило, отрицательно сказывается на качестве заданий и всего предтеста. Другой причиной неопределённости в измерении знания элемента содержания является двусмысленность формулировок, порождающая несколько правильных ответов.

Шестой критерий рассчитан на оценку значимости содержания каждого задания теста. Этот критерий указывает на необходимость включения в предтест только тех элементов содержания, которые являются наиболее важными, ключевыми. Такие элементы, ввиду их важности, называются структурными элементами знания. Правильное выполнение заданий предтеста, содержащих опорные, структурные элементы содержания, позволяет судить о знании предмета в целом. Включение в предтест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании содержания предмета.

6.6 Отбор тестовых заданий с помощью математических моделей теории моделирования и параметризации педагогических тестов

С помощью классической теории тестов можно провести первичный отбор предтестовых заданий. Более точно оценить параметры заданий и, следовательно, обосновать их отбор в предтест позволяет использование теории моделирования и параметризации педагогических тестов (ТМППТ), которая на Западе получила название теории IRT. Для этого созданы и с успехом используются различные программно-инструментальные средства, в основу которых положена однопараметрическая модель Г. Раша ТМППТ. Универсальным среди них является диалоговая система RUMM 2020, созданная в Мердокском университете (Австралия). Она позволяет рассчитать значения латентных переменных (трудность заданий и уровень подготовленности тестируемых в логитах) независимо от типа и формы используемых в тесте заданий, оценить статистические параметры и соответствие характеристических кривых заданий модели измерения, оценить качество отвлекающих ответов. Среди отечественных программно-инструментальных средств следует отметить программу R-Latent, созданную сотрудниками исследовательского центра проблем качества подготовки специалистов и ведущими тестологами страны, программный комплекс RILP-1, разработанный в Южно-Российском государственном университете экономики и сервиса. Параметры и характеристики тестовых заданий и тестов были рассчитаны автором, в основном, с использованием этих средств. Они позволяют получить основные статистические параметры, характеризующие уровень знаний тестируемых и трудность тестовых заданий. С их помощью строятся гистограммы распределения индивидуальных баллов X_i тестируемых и Y_j заданий, вычисляются оценки средних значений^*, ^*, стандартных отклонений _х^*, _Y^*, асимметрии _x^*, _Y^* и эксцессов _x^*, _Y^*, позволяющие оценить близость закона плотности распределения величин X_i и Y_j к нормальному. Кроме того, рассчитываются и строятся индивидуальные кривые участников тестирования и характеристические кривые заданий теста [2], рассчитываются оценки уровня знаний _i^* и трудности заданий в_ј^*, погрешности их вычислений. Строятся информационные функции заданий и всего теста в целом, позволяющие оценить валидность заданий и теста по отношению к контингенту тестируемых и к выбранным критериям оценки, определяются оценки коэффициентов корреляции задания с заданием и задания с индивидуальной суммой баллов (бисериальный коэффициент), которые необходимы при оценке системообразующих свойств заданий и надёжности теста. Все расчёты производятся на основе матрицы результатов тестирования [29, 37], которая формируется из полученных эмпирических данных. Правильному выполнению задания теста в этой матрице соответствует единица, неправильному - ноль.

Порядок анализа результатов тестирования и расчёта латентных переменных предтестовых заданий и тестируемых с помощью программных средств R-Latent или RILP-1 следующий.

1) Из предтеста удаляют те задания, на которые ответили все участники тестирования или не ответил никто. Параметры таких заданий не могут быть рассчитаны с помощью данных программных средств. О наличии в предтесте подобных заданий сообщается при представлении данных обработки матрицы результатов тестирования, причём, из обработки эти задания исключаются автоматически. При этом необходимо учитывать, что в некоторых программах (например, R-Latent) после исключения заданий может произойти изменение нумерации оставшихся заданий, которые первоначально были расположены после удалённых.

2) По оценкам средних значений количества правильных ответов на задания ^*, индивидуального балла тестируемых ^*, оценкам величин стандартных отклонений _х^*, _y^*, оценкам значений ассиметрии _x^*, _y^* и эксцесса _x^*, _y^*, гистограммам распределения величин X_i и Y_j оценивают соответствие законов плотности распределения этих величин нормальному. Чем ближе эти законы к нормальному, тем выше достоверность получаемой при обработке информации. О соответствии законов распределения нормальному можно судить по величинам _x^*, _y^* и _x^*, _y^*. Кроме того, для этих целей можно использовать также приближённое равенство между оценками среднего значения случайной величины ^* и её стандартного отклонения _х^*: ^* ? 3_х^*.

3) Анализируют матрицу оценок коэффициентов корреляции каждого предтестового задания с индивидуальной суммой баллов тестируемых. Удалению из предтеста подлежат те задания, для которых этот коэффициент ниже 0,2.

4) Анализируют матрицу оценок коэффициентов корреляции r_ij^* заданий друг с другом. В предтесте рекомендуется оставлять те задания, для которых значения оценок этих коэффициентов составляют от 0,1 до 0, Оценки коэффициента r_ij^* не должны быть отрицательными. Выявление предтестовых заданий, которые могут быть удалены из предтеста по данным критериям, рекомендуется начинать с тщательного анализа величины суммарных значений r_ij^* по тем заданиям, по которым она наименьшая. При этом необходимо учитывать, насколько родственными являются темы или разделы дисциплины, которые представляют рассматриваемые задания. Очевидно, не имеет смысла удалять задание из предтеста по причине малости значения r_ij^*, если темы не являются хотя бы родственными или близкими по содержанию.

5) Анализируют матрицу результатов тестирования на состоятельность и выявляют несостоятельные предтестовые задания и несостоятельных участников тестирования. Причём, важно как можно точнее выявить, чем обусловлена несостоятельность результатов: несостоятельностью отдельных предтестовых заданий или несостоятельностью некоторых тестируемых. Присутствие в предтесте несостоятельных заданий снижает его надёжность и искажает информацию о знаниях участников тестирования. Учёт при анализе результатов тестирования несостоятельных испытуемых искажает информацию о качестве предтеста и входящих в него заданий. Для получения информации о несостоятельности тестовых заданий и тестируемых используют упорядоченную матрицу результатов тестирования (матрицу Гутмана) [37]. В отличие от исходной матрицы тестовых результатов в упорядоченной матрице участники тестирования расположены в порядке возрастания индивидуального балла Х_i, а тестовые задания - в порядке убывания количества правильных ответов Y_j. В результате верхняя правая часть матрицы оказывается заполненной нулями, а нижняя левая часть - единицами. Процесс выявления несостоятельности заданий и тестируемых поясняется приведённым ниже примером [17].

В таблице 8 представлена упорядоченная матрица тестовых результатов для десяти заданий предтеста и десяти участников тестирования. Внимательный осмотр элементов матрицы позволяет выделить несколько случаев явной несостоятельности тестовых результатов. Они подчёркнуты в таблице 8. Первый случай связан с неудачной попыткой десятого тестируемого ответить на третье задание.

Таблица 8. Упорядоченная матрица результатов тестирования

Испытуемые	Номер задания в тесте	Индивид. балл xi
	1	2	3	4	5	6	7	8	9	10
1	0	0	0	0	0	0	0	1	0	0	1
2	1	1	0	0	0	0	0	0	0	0	2
3	1	1	1	0	0	0	0	0	0	0	3
4	1	0	1	0	1	1	0	0	0	0	4
5	1	1	1	1	0	0	0	0	0	0	4
6	1	1	1	1	0	0	0	0	0	0	4
7	1	1	1	1	1	0	1	0	0	0	6
8	1	1	1	1	1	1	1	0	0	0	7
9	1	1	1	1	1	1	1	1	1	0	9
10	1	1	0	1	1	1	1	1	1	1	9
Кол-во. прав. ответов yj	9	8	7	6	5	4	4	3	2	1

Учитывая правильные ответы этого тестируемого на все последующие задания и характер устойчивого распределения единичек в левой части таблицы, можно считать, что полученный ноль является, скорее всего, результатом случайной ошибки или недосмотра. Хотя не исключён и случай ошибки в формулировке задания, в результате чего допускается его двусмысленное толкование хорошо подготовленными студентами. Поэтому рекомендуется внимательно проверить содержательную часть третьего задания. Явно алогичен случай успешного ответа первого испытуемого на восьмое задание предтеста: вряд ли студент, не сумевший правильно ответить ни на одно из заданий, в том числе и более лёгких, сможет справиться с таким трудным заданием, каким является восьмое. Вот почему полученная им единичка является, скорее всего, результатом угадывания, списывания или других форм искажения данных. На этот же вывод наталкивает анализ ответов по восьмому столбцу, где есть всего две единицы в нижней части таблицы, полученные сильными студентами. Поэтому первого участника тестирования можно смело отнести к несостоятельному, и исключить его эмпирические данные из матрицы результатов тестирования. Представляет интерес анализ результатов четвёртого тестируемого. Для него характерна несостоятельность в ответах на лёгкие и трудные задания, причины которой целесообразно выяснить в процессе непосредственного общения с этим студентом. О том, что здесь имеет место несостоятельность тестируемого, а не заданий, свидетельствует распределение результатов остальных участников тестирования по пятому и шестому заданиям. Поэтому и тестируемого под номером четыре можно исключить из матрицы результатов тестирования.

О явной несостоятельности предтестовых заданий свидетельствует наличие неверных ответов на них у сильных студентов, которые на более трудные задания предтеста ответили правильно. Такие задания из дальнейшей обработки должны быть исключены.

В программе R-Latent предусмотрен автоматический анализ профилей ответов тестируемых в матрице Гутмана, обнаружение ошибок в профилях ответов и выявление на их основе заданий и тестируемых, не соответствующих принятой модели измерения (модели Раша). На основе анализа ошибок оцениваются эффективность заданий и адекватность участников тестирования, исходя из которых программой отбираются те задания и тестируемые, которые должны быть удалены из матрицы результатов тестирования из-за несоответствия принятой модели измерения.

При выполнении процедуры выявления несостоятельности заданий и тестируемых необходимо помнить, что число исключаемых из матрицы несостоятельных студентов не должно превышать 5 % от общего количества участников тестирования [17]. В противном случае это может привести к искусственному завышению качества предтестовых заданий.

6) Матрицу результатов тестирования, из которой удалены несостоятельные задания и несостоятельные испытуемые, снова обрабатывают программными средствами R-Latent или RILP-1. Проводят анализ результатов обработки. После этого переходят к анализу оценок трудности ^* предтестовых заданий. Для этого используются таблица начальных значений оценок трудности заданий в логитах и характеристические кривые заданий, каждая из которых представляет собой зависимость условной вероятности P_j правильного ответа тестируемых на j-е задание предтеста от их уровня знаний . Из всех заданий предтеста необходимо оставить те, уровень трудности которых попадает в интервал от -2 до 0,85 логит. Если разрабатывается критериально-ориентированный предтест, то трудность основной части заданий должна находиться в интервале от -0,85 до -0,4 логит. Если же предтест ориентирован на проверку содержательной части дисциплины, то трудность основной части заданий необходимо выбирать в диапазоне от -0,4 до 0 логит. Внутри этих интервалов характеристические кривые должны быть расположены или равномерно, или (что предпочтительнее) основная их часть должна располагаться вблизи пороговых значений -0,85 логит (для КОТ) и -0,4 логит (для СОТ). Лёгкие задания нужно стараться равномерно распределить в интервале от -2 логит до -0,85 логит, трудные - в интервале от -2 логит до -0,4 логит. Если характеристические кривые лёгких или трудных заданий совпадают (задания имеют одинаковую трудность), то вопрос об их оставлении в предтесте решается исходя из его плана. Если предтестовые задания представляют разные темы (разделы) дисциплины, то, очевидно, их в предтесте необходимо оставить. Если одинаковую трудность имеют два или более предтестовых заданий, относящихся к одной теме, то решение об их удалении принимается на основе спецификации теста. Изменение положения характеристической кривой на оси латентной переменной , если это требуется сделать, достигается за счёт изменения трудности предтестового задания путём его соответствующей переработки.

Из одинаковых по трудности и тематическому содержанию заданий в предтесте необходимо оставлять те, у которых больше крутизна (дифференцирующая способность) [2]. Однако этот критерий рекомендуется использовать на более поздних стадиях работы с тестами, поэтому при работе с предтестами его не стоит принимать во внимание.

7) Анализируются информационные кривые предтестовых заданий и определяется интервал уровня знаний Д_ј, в котором каждое из них работает. Если информационная кривая задания существенно выходит за рамки выбранного интервала, то, как правило, такие задания из предтеста удаляются. Исключение составляют случаи, когда задание должно быть оставлено в предтесте независимо от его трудности.

8) Анализируют информационную функцию предтеста. Она должна представлять собой плавную колоколообразную кривую, охватывающую интервал, в котором измеряется уровень знаний участников тестирования. Только в этом случае предтест будет давать максимум информации о знаниях в пределах выбранного диапазона и может быть использован для проверки подготовленности участников тестирования. Если в информационной кривой имеются провалы, то в предтест необходимо добавить задания, трудность которых соответствует интервалу изменения значений , для которых эти провалы наблюдаются. Добавление таких заданий приведёт к выравниванию информационной кривой предтеста.

9) После завершения процедуры анализа и чистки предтеста сверяют оставшиеся задания с его планом и спецификацией. При необходимости перерабатывают их и добавляют в предтест новые задания.

10) Проверяют скорректированный предтест на новой выборке тестируемых и обрабатывают полученные при этом эмпирические данные, как это описано выше.

6.7 Надёжность, валидность и разрешающая способность гомогенного теста

Важнейшими показателями, характеризующими качество разработанного теста, являются надёжность, которая определяется как степень точности измерения уровня знаний тестируемых, валидность и разрешающая способность. Они определяются, как правило, после неоднократной экспериментальной проверки предтеста, его доработки, в результате которой он превращается в тест. Более того, для их определения проводится специальная апробация предтеста. Не останавливаясь подробно на методах расчёта параметров, характеризующих названные показатели, ограничимся их определениями, заимствованными из работы [33].

Надёжность теста - показатель сходимости и устойчивости результатов тестирования в одинаково подготовленных группах тести-руемых.

Высокая надёжность теста обеспечивается, прежде всего, высокой однородностью содержания заданий, которые отбираются в тест. Содержание таких заданий направлено на измерение какой-то одной характеристики обучаемого, например, его подготовленности по предмету. Но, стремясь к однородности содержания заданий при создании гомогенного теста, необходимо помнить о недопустимости нарушения правильности пропорций представления содержательных элементов. Вторым важным фактором, влияющим на надёжность теста, является его длина. Чем больше заданий содержится в тесте, тем выше его надёжность. Однако чрезмерное увеличение длины теста приведёт к неоправданному возрастанию длительности тестирования, из-за чего возрастёт утомляемость участников тестирования и, как следствие этого, ошибка измерения. Поэтому длину теста необходимо выбирать оптимальной. По данным международных сравнительных исследований (IAEP, TIMSS) для выполнения заданий с выбором ответа из четырёх-пяти рекомендуется отводить до одной минуты, с кратким дополняемым ответом - в среднем, до 2 минут, с полным свободно конструируемым ответом - до 5 минут. Исходя из этого, можно заключить, что число заданий с выбором ответа в тесте длительностью 90 минут должно быть, в среднем, порядка 50. Приемлемую надёжность теста нельзя обеспечить, если число заданий в нём меньше 30 [19]. При оценке надёжности теста очень важно иметь адекватную выборку тестируемых. Прежде всего, нужно обеспечить необходимый объём выборки. Чем она больше, тем выше надёжность теста. По мнению Гилфорда [9], при оценке надёжности теста минимальный объём выборки должен составлять не менее 200 участников тестирования. Ньюнелли [4] считает, что их должно быть не менее 300. Наряду с объёмом выборки важное значение имеет её состав. Большая, но неверно подобранная по составу выборка может дать искажённые представления о надёжности теста. Чтобы этого не произошло, выборка тестируемых должна полностью отражать разнообразие параметров, присущих генеральной совокупности тестируемых.

Коэффициент надёжности теста - количественная характеристика надёжности педагогического теста, изменяющаяся от нуля до единицы и показывающая меру реального результата тестирования и меру влияния на этот результат случайных ошибок.

Коэффициент надёжности представляет собой отношение дисперсии результатов тестирования в выборке тестируемых, как правило, дисперсии истинных баллов тестируемых к реально полученной полной дисперсии, включающей ошибки тестирования, как правило, дисперсии тестовых баллов тестируемых.

Существуют различные методы оценки надёжности теста по результатам его эмпирической проверки, которые описаны в соответствующей литературе.

Вторым важным показателем качества теста является его валидность.

Валидность теста - комплексная характеристика, отражающая способность теста служить той цели, для которой он создавался. Различают несколько видов валидности теста. Важнейшим из них является содержательная валидность.

Содержательная валидность теста - характеристика, выражающая показатель полноты охвата его тестовыми заданиями той области знания, учебные достижения тестируемых в которой этот тест оценивает. Это основной вид валидности для тестов достижений, когда должен быть точно определён материал учебной дисциплины, который необходимо отразить в содержание теста, и когда существует достаточная ясность смысла измеряемого параметра. Тест считается валидным по отношению к контролируемому содержанию учебной дисциплины, если он позволяет проверить всё то, что указано в его плане и спецификации. Для КОТ и СОТ содержательная валидность выражает фактически второй из перечисленных выше критериев качества теста. Для повышения содержательной валидности в тест лучше включать задания с низкими значениями коэффициента взаимной корреляции, поскольку при прочих равных условиях в этом случае повышается полнота охвата содержания учебной дисциплины. Но чрезмерное перенасыщение теста такими заданиями неминуемо приведёт к снижению его надёжности, поскольку обеспечение высокой надёжности теста связано с отбором заданий, имеющих большие значения коэффициентов взаимной корреляции [1]. Для разрешения этого противоречия необходимо стремиться к повышению надёжности гомогенного теста в разумных пределах. По мнению авторов работы [9] максимум содержательной валидности достигается тогда, когда все задания слабо, но положительно коррелируют друг с другом, но каждое из них имеет высокую корреляцию с критерием по тесту. Поэтому для повышения валидности в тест необходимо включать задания с большими значениями бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых. Обычно на практике значения коэффициента интеркорреляции рекомендуется выбирать в интервале от 0,15 до 0,3, а значения бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых - в пределах от 0,5 до 0,8 [7].