Тестирование при организации текущего контроля

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Самарский филиал Государственного образовательного учреждения

Московский городской педагогический университет

Факультет информатики

Кафедра высшей математики и информатики

Диплом

в курсе «Дискретная математика»

Тестирование при организации текущего контроля

Студента 5 курса

А.Е. Бросалина

Самара 2005

Содержание

компьютерный тест оценивание математика

Введение

Глава I. Функции, место и виды контроля в обучении

1.1 Контроль в педагогическом процессе

1.2 Тест как инструмент измерения качества знаний

1.3 Формы тестовых заданий

1.4 Балльно-рейтинговая система оценивания студентов

Глава II. Разработка компьютерных тестов по математике на базе Конструктора Distance Learning Studio

2.1. Функциональные возможности программы для реализации различных форм тестов и контроля знаний обучающихся

2.2 Рекуррентные последовательности и производящие функции в курсе «Дискретная математика»

2.3 Создание тестов по теме «Рекуррентные последовательности и производящие функции» на базе программы eAuthor

Заключение

Библиографический список

Приложение

Введение

Одним из основных направлений модернизации высшей школы является увеличение в учебных планах всех типах учебных заведений доли самостоятельной работы студентов. Реализация поставленной задачи потребует реорганизации традиционной для вуза системы контроля и оценки качества обучения; контроль и оценка должны иметь регулярный систематический характер. Хорошо известно, что подавляющее большинство выпускников общеобразовательной школы не получает в период школьного обучения достаточного опыта самостоятельной работы с учебной литературой, навыков самоконтроля, самооценки и саморегуляции. Поэтому требуется специальное обучение студентов младших курсов приемам самостоятельной аудиторной и внеаудиторной работы различных видов и уровней, равномерное распределение самостоятельной работы во всех звеньях учебного процесса, разработка для этих целей соответствующего учебно-методического обеспечения. В частности, учебно-методического обеспечения, позволяющего осуществлять текущий контроль деятельности студентов по каждому тематическому модулю учебного курса.

Принято считать, что для оперативного и объективного контроля больше других подходит тестовая форма контроля, использование которой позволяет оценить работу обучающегося и без непосредственного участия преподавателя. Используемые при этом задания можно разделить на пригодные по своей форме для автоматизированного контроля и непригодные для этого. Преимущества проведения тестирования и обработки его результатов с помощью компьютера не подлежат сомнению. Однако создание компьютерных тестов зачастую значительно отличается от разработки обычных бланочных тестов. Одной из важных проблем является качество и функциональные возможности программной тестовой оболочки. Большинство имеющихся оболочек позволяет прекрасно реализовать тест в текстовом виде и, тем самым, может использоваться при создании материалов для оценки уровня обученнности по гуманитарным дисциплинам. Для создания же полноценных тестов по математике и дисциплинам естественно-научного цикла, как правило, необходим встроенный в программу формульный редактор. Программные продукты, имеющие такие возможности, для преподавателя-предметника менее доступны. В связи с этим возникаетпроблема использования более распространенных и менее дорогостоящих тестовых оболочек, пригодных для гуманитарных дисциплин и не имеющих редактора математических формул, при создании тестов по математике.

Университетом закуплен программный пакет «eLearning Office 3000» компании «Гипер Метод», предназначенный для создания дистанционных электронных учебных курсов. Для создания учебных материалов, в частности, тестов предназначен блок «eAuthor» этого пакета. К сожалению, возможности компонента eAuthor для создания тестов оказались ограниченными; он не позволяет использовать редактор математических формул. Поэтому технологии разработки и использования тестов по математике для преподавателей математики является актуальной. Это и обусловило тему предлагаемой дипломной работы.

Объектом дипломной работы является обучение математике в высшей школе.

Предмет исследования - организация автоматизированного текущего контроля при преподавании математических курсов в высшей школе.

Цель дипломной работы - разработка тестов для организации текущего контроля в среде Конструктора Distance Learning Studio в курсе «Дискретная математика» для студентов факультета информатики.

В основу дипломной работы была положена следующая гипотеза: если удачно выбрать формы составления тестов и тестовых заданий, то на базе Конструктора можно создать учебный продукт вполне пригодный для организации текущего контроля при изучении дискретной математики.

Сформулированная проблема, выбор предмета исследования и выдвинутая гипотеза обусловили необходимость решения следующих задач:

- изучение и анализ литературы по организации контроля в обучении и теоретическим основам тестирования;

- изучение программного пакета eAuthor для создания учебных курсов;

- анализ и выбор учебного материала для тестовой проверки в разделе «Рекуррентные соотношения и производящие функции»;

- создание тестов для текущего и/или рубежного контроля по названному разделу.

Внедрение - разработанные материалы были использованы при проведении зачета по курсу «Элементы дискретной математики» на IV курсе заочного отделения факультета информатики. Использовался, правда, безмашинный вариант, т.е. проводилось обычное бланочное тестирование.

Дипломная работа имеет практическую значимость. Разработанные в ходе ее выполнения тесты могут быть использованы при организации текущего и рубежного контроля в курсе «Дискретная математика» на факультете информатики университета. Кроме того, при создании тестов по избранной теме удалось выявить особенности фактического учебного материала, усвоение которого может быть проверено с помощью тестов, созданных на базе программной оболочки, предназначенной для гуманитарных дисциплин и не имеющей математического редактора. Полученные результаты могут быть полезны при создании тестов на базе подобных оболочек и проведении последующего тестирования по другим математическим курсам.

Глава I. Функции, место и виды контроля в обучении

1.1 Контроль в педагогическом процессе

Обычно педагогический контроль рассматривают в широком и узком смысле. В первом случае под педагогическим контролем понимают систему научно обоснованной проверки результатов образования студентов, во втором - он означает выявление, измерение, оценку знаний, умений и навыков [11].

Контроль является одним из системообразующих компонентов педагогической системы. Поэтому вопросам контроля всегда уделялось большое внимание как учёными-педагогами, психологами, так и практиками, ибо обучение начинается, сопровождается и заканчивается контролем.

Проблема диагностического целеобразования и объективного контроля качества усвоения обучающимися учебного материала - одна из центральных проблем современного образования.

Многочисленные исследования, посвященные методам и формам контроля (Ю.К. Бабанского, М.И. Зарецкого, Т.А. Ильиной, В.М. Полонского и др.), уровням усвоения учебной информации (И.Я. Лернера, М.Н. Скаткина, Н.В. Кузьминой и др.), чаще всего рассматривают узкие аспекты. Системно же решали эту задачу единицы исследователей, к которым относится и В.П. Беспалько. Правда, многие педагоги-ученые, авторы педагогических изданий по проблемам контроля, замечают в основном «уровни усвоения», предложенные им.

Современные исследователи всё чаще склоняются к выводу, что «так как традиционно качество обучения измеряют либо по результатам контрольных работ в баллах, либо по результатам тестирования в процентах решённых задач, то такие методы диагностики качества подготовки специалистов в высшей и средней профессиональной школе ведут к нивелированию и уравниванию всех студентов и как личностей, и как будущих специалистов» [32].

Учебный процесс не может быть полноценным без регулярной и объективной информации о том, как усваивается обучающимися материал, как они применяют полученные знания для решения практических задач. Для оптимального управления познавательной деятельностью студентов необходима чёткая обратная связь.

В педагогической литературе большинство авторов выделяют текущий, тематический, рубежный и итоговый контроль, ряд авторов дополняют указанные виды экспресс-контролем, входным и отсроченным контролем [11].

Рассмотрим классификацию видов педагогического контроля, предложенную Э.В. Лузиком и Д.В. Чернилевским [32].

Нулевой (пропедевтический) - контроль знаний и умений, необходимых для изучения учебных дисциплин первого курса.

Входной - контроль знаний и умений учащихся по предыдущим учебным дисциплинам, необходимых для эффективного обучения очередной дисциплине.

Текущий контроль - непрерывно осуществляемое «отслеживание» уровня усвоения знаний и умений студентами на уроках, лабораторно-практических занятиях, при самостоятельной работе и др. Правильно организованный текущий контроль позволяет наладить обратную связь и управлять познавательной деятельностью обучаемых.

Рубежный - контроль умений и знаний студентов по окончании изучения темы раздела, модуля. Рубежный контроль по учебному модулю дисциплины является формирующим элементом модульной технологии учебного процесса.

Итоговый (обобщающий) - контроль знаний, умений, навыков и поддающихся критериально-оценочной процедуре личностных качеств (проводится он на зачётах и экзаменах).

6. Отсроченный - контроль остаточных знаний, умений спустя какое-то время после изучения темы, раздела, курса (срок может колебаться от трёх месяцев до полугода и более). Этот вид контроля не влияет на результативность (оценку) обучения студента и проводится выборочно в интересах внешнего контроля качества обучения (или внутреннего, с целью изучения сохранения знания студентов).

Различные виды аттестации предполагают применение разных контрольно-измерительных материалов (КИМов), среди которых особое место занимают тесты, обладающие наибольшей объективностью из известных способов контроля и значительно большей возможностью охвата контролируемого материала.

Но наряду с тестами (как правило, стандартизированными) в практике применяются и нетестовые задания, включающие в себя традиционные средства контроля, а также так называемые «псевдотесты».

В традиционной теории педагогического контроля к основным функциям контроля относят диагностическую, контролирующую, обучающую, организующую, мотивирующую. В связи с появлением тестовой технологии введена ещё одна функция - прогностическая, реализация которой позволяет предсказать потенциальные возможности обучаемого в освоении нового материала [20].

Диагностическая функция вытекает из самой сути текущего контроля, направленного на выявление пробелов в подготовке студентов и принятие по результатам диагностики определённых управленческих решений, позволяющих внести коррекцию в процесс усвоения учебного материала и обеспечить оптимальное протекание познавательной деятельности.

Как справедливо отмечает М.Б. Челышкова, активизация роли диагностической функции является важнейшим условием повышения качества современного учебного процесса путём его индивидуализации [45]. Для осуществления диагностической функции контроля необходимо внедрять более эффективные средства диагностики, позволяющие не только выявлять пробелы в подготовке учеников, но и устанавливать причины пробелов, получать научно обоснованную информацию о характере трудностей, возникающих у обучаемых в процессе усвоения новых знаний. К таким средствам относятся диагностические тесты.

Обучающая функция реализуется в процессе устного опроса, при проведении зачётов и других форм контроля. Но в большей степени это характерно для обучающих программ, где студент получает дополнительные разъяснения в случае выдачи неправильного ответа. Обсуждения, возникающие при ответах студентов на вопрос преподавателя, самоконтроль и самооценка студентов при подготовке к зачёту выполняют в определенной мере обучающую функцию. Конечно, обучающая функция в большей степени может быть реализована при использовании педагогических тестов, которые помогут защитить «сократовский метод» обучения.

К сожалению, с внедрением тестирования в современном образовании усилились тенденции «разрыва» теории и практики: теоретики-тестологи занимаются в основном созданием тестов нормативно-ориентированных, а преподавателям нужны тесты предметно-ориентированные (критериально-ориентирован-ные). Поэтому практикам нередко приходится самим конструировать тесты, которые теоретики пренебрежительно назовут дилетантскими, ученическими, псевдотестами и т. п.

Воспитывающая функция контроля призвана формировать интерес к знаниям, умение работать систематически, осуществлять самоконтроль и самооценку, мотивационную основу деятельности студентов.

Организующая функция контроля заключается в его влиянии на всю организацию учебно-воспитательного процесса в учебном заведении.

Контроль развивает память и мышление, способствует формированию умений и навыков, другими словами, выполняет ещё одну функцию - развивающую.

Процесс контроля регламентируется рядом известных дидактических принципов: научности, эффективности, иерархической организации, объективности, систематичности, справедливости, всесторонности [1]. Определяющую роль играет принцип научности, который в первую очередь определяет возможность эффективного осуществления контроля. Принцип научности предполагает применение в практике контроля научно обоснованных средств оценки знаний обучающихся. К сожалению, традиционные средства контроля к таковым отнести нельзя.

Принцип научности предусматривает проверку соответствия контрольно-измерительных материалов (КИМов) двум критериям качества: надёжности и валидности.

Валидностъ - это соответствие предъявляемых контрольных заданий тому, что намечено проверить. Контролю подлежат предметные задания и те виды познавательной деятельности, в которой эти знания должны функционировать [41].

Различают валидность содержательную и функциональную. Содержательная валидность связана с предметными знаниями - в контрольных заданиях должно быть отражено всё основное содержание данной учебной дисциплины. Практика контроля, применяющая традиционные средства, это требование, как правило, не реализует. Известно, что в экзаменационные билеты включается два-три вопроса, которые не могут охватить всего содержания дисциплины. Такой экзамен не валиден.

Тесты успешности (достижений), которые начинают внедряться в практику, дают возможность более полно затронуть все основные разделы дисциплины.

Функциональная валидность может быть раскрыта как соответствие контрольного задания тому познавательному действию, которое подлежит контролю. Одни и те же предметные знания могут быть использованы в различных видах деятельности, поэтому при разработке контрольных заданий надо руководствоваться содержанием целей обучения: составлять такие задания, выполнение которых требует использования специфических и общедеятельных приёмов познавательной деятельности, предусмотренных целями обучения. А для того чтобы выполнить требования одновременно содержательной и функциональной валидности, необходимо предварительно проанализировать как систему предметных знаний, так и систему предусмотренных целями специфических и логических приёмов познавательной деятельности.

В результате этой работы должны быть определены связи между знаниями, специфическими и логическими приёмами познавательной деятельности. Только после этого могут быть разработаны задания, требующие применения данных знаний в контролируемых видах деятельности. Повышения валидности контроля можно достичь путём использования так называемого синтезированного метода контроля системы знаний - на практике это различные технологические задачи, сквозные задачи, в которых контролируются знания с помощью частных видов деятельности.

Надёжность контроля понимается как устойчивость результатов, получаемых при повторном контроле.

Между валидностью и надёжностью контроля существуют определённые зависимости. Если контроль имеет достаточную степень содержательной и функциональной валидности, он будет и надёжным. Однако из надёжности контроля не следует его валидность.

Принцип эффективности также предполагает выбор определённой методики проведения контроля, обеспечивающий полноценную реализацию функций контроля при минимальных затратах времени, усилий и средств со стороны учителя. Повышению эффективности способствует выполнение набора требований, на основании которых производится поиск наилучшего сочетания форм и методов контроля.

Принцип иерархической организации нацеливает на определённую иерархию знаний, умений и навыков при отборе содержания контроля (например, уровни усвоения) в соответствии с требованиями образовательных стандартов: представления, знания, умения. Принцип иерархической организации влияет и на сферу практической разработки средств измерения. Согласно этому принципу оценивается не убывание знаний, а прирост знаний, поэтому ученик должен выполнить обязательный минимум требований образовательных стандартов, что даёт основание для выставления удовлетворительной оценки, а затем - задания повышенного и высокого уровня.

Принцип систематичности контроля находится в определенной зависимости от его плановости. Частота контроля зависит от этапа усвоения: при освоении основных форм действия необходим внешний систематический контроль, после усвоения форм действия систематический контроль не нужен. Систематический контроль оказывает положительное влияние только при пооперационном контроле [41].

Принципы объективности и справедливости тесно связаны между собой. В теории педагогических измерений понятие «объективная оценка» трактуется как истинный компонент измеряемого свойства или просто истинная оценка (истинные баллы в отличие от «сырых» баллов, набранных при решении тестов).

Принцип всесторонности предусматривает необходимость тщательного отбора содержания контроля, которое должно репрезентативно отражать содержание подготовки. Задания, предназначенные для итоговой проверки, не должны дублировать друг друга, охватывая по возможности все вопросы, подлежащие контролю. Первостепенное внимание уделяется проверке освоения основных знаний, умений и навыков, а второстепенные элементы исключаются из числа проверяемых.

Целью контроля являются установление состояния усвоения знаний, умений на различных временных этапах учебного процесса; выявление соответствия уровня усвоения целям подготовки; использование результатов контроля для управления познавательной деятельностью обучаемых. Все эти три составляющие присутствуют в «цели контроля» [40]:

Ш целеполагание - в содержании информации, средствах контроля;

Ш целеосуществление - в процессе контроля;

Ш целеутверждение - в управлении познавательной деятельностью обучаемых.

Согласно общей теории управления, эффективное управление процессом учения (познавательной деятельности) возможно при выполнении следующей системы требований:

1) указать цели управления;

2) установить исходное состояние управляемого объекта;

3) определить и реализовать программу воздействий с учётом основных переходных состояний процесса, т.е. обеспечить систематическую обратную связь;

4) переработать информацию, полученную по каналу обратной связи;

5) выработать корректирующие (регулирующие) воздействия;

6) обеспечить их реализацию.

Поэтому выше приведённое полностью согласуется с теорией управления познавательной деятельностью студентов.

Для разработки контрольных заданий П.Ф. Анисимов и А.Е. Сосонко [11] рекомендуют использовать классификатор знаний и способностей Б. Блума-Р. Гагна-В.С. Аванесова, включающий знания:

названий и имён;

смысла названий и имён;

фактов;

определений, формулировок законов;

сравнительные, сопоставительные;

противоречий;

ассоциативные;

причинно-следственных отношений;

принципов классификации;

алгоритмические;

технологические;

системные;

метрологические;

математико-статистические;

структурные (умение структурировать);

методологические (знание научного аппарата исследовательской работы).

По утверждению Н.Ф. Талызиной: «Применительно к целям обучения положение о неразрывной связи знаний с действиями (умениями) уже давно нашло своё отражение в теории педагогики в виде уровней усвоения (точнее, уровней усвоенности) знаний. Так, В.П. Беспалько выделяет четыре уровня:

- уровень узнавания,

- уровень воспроизведения,

- уровень применения знаний в привычных условиях,

- уровень применения в новых условиях (творческое применение знаний).

В основу выделения этих уровней положено содержание деятельности, в которой должны использоваться усваиваемые знания, характер решаемых с их помощью задач: например, на первом уровне это задачи узнавания, а на втором - воспроизведения» [41].

Следует отметить, что многие авторы современных учебников, пособий, педагогических трудов при классификации целей используют уровневый системный подход описания достижений обучающихся.

К контрольно-измерительным материалам (КИМам) относятся все существующие формы контрольных педагогических материалов, используемые для организации самостоятельной работы, самоконтроля и педагогического контроля в учебном процессе.

Проанализируем КИМы с точки зрения теории педагогических тестов [3].

В.С. Аванесов в качестве основного (родового) в теории педагогических тестов рассматривает понятие «задание», которое включает в себя задачи, упражнения, вопросы, задания в тестовой и нетестовой формах.

Педагогическое задание - средство обучения и контроля уровня подготовленности, способствующее активизации, повышению качества и эффективности учебного процесса. Активизация означает оживление, усиление учебной деятельности студентов и обучающей деятельности студента. Эффективность учебного процесса оценивается из соотношения цели, достигнутых результатов и проведённых затрат времени и средств, а качество учебного процесса - в зависимости от степени его соответствия заранее установленной цели, раскрываемой системой измеряемых критериев.

Исходя из вышеизложенного, все задания можно разделить (условно) на две группы: задания для обучения и задания для контроля (нередко встречаются задания, применяемые и для обучения, и для контроля).

Известно, что для объективного контроля больше других подходят тестовые задания, использование которых позволяет оценить контрольную работу и без непосредственного участия преподавателя. Задания можно разделить на пригодные по своей форме для автоматизированного контроля и непригодные для этого. Они также делятся на тестовые, нетестовые и псевдотестовые.

Тестовые задания должны отвечать требованиям предметной чистоты содержания (или одномерности), логической правильности содержания задания, правильности формы, приемлемости геометрического образа задания по любой учебной дисциплине, локальной независимости, технологичности, эффективности, известной трудности и коррелируемости задания с критерием. Это свидетельствует об обязательности эмпирической проверки тестовых заданий.

Следует, отметить, что такие жёсткие (но необходимые) требования относятся лишь к тем заданиям, которые связаны с нормативно-ориентированным тестированием. Для предметно-ориентированных (критериально-ориентированных) тестовых заданий требования менее жёсткие, о чём говорят сами теоретики новой теории конструирования тестов.

Нетестовые задания охватывают группу традиционных средств контроля - задачи, вопросы, викторины, кроссворды и др. К ним же относятся задания, хотя и представленные в тестовой форме, но не являющиеся тестовыми по требованиям статистической теории тестов.

С такой постановкой вопроса можно соглашаться и не соглашаться, но так как практически вся издаваемая литература по проблемам тестирования и конструирования тестов посвящена в основном нормативно-ориентированному тестированию, задачей которого является выявление того, как выглядит испытуемый на фоне других, то другие формы заданий не исследовались. Особенно это касается следующей группы заданий.

Псевдотестовые задания объединяют так называемые цепные, тематические, тестовые и ситуационные задания.

Цепные - это задания, в которых вероятность правильного ответа на последующие задания зависит от вероятности правильного ответа на предыдущее задание (здесь имеет место связь содержания одного задания с содержанием другого). В программированном обучении они назывались «парными тестами», которые вводились для диагностики понимания испытуемым материала, внесённого в первый «тест». Если ответы не совпадали («правильный - неправильный» или «неправильный - правильный»), испытуемый получал «0» баллов. Конечно, применять такого рода задания при итоговом контроле нельзя, но ведь есть текущий контроль, обучающие программы, в применении которых ничего предосудительного быть не может.

Тематические задания, по мнению В.С. Аванесова, - это совокупность заданий любой формы, созданных для контроля знаний по одной изученной теме. Кстати, тематический контроль - один из самых распространённых в школе. И такая вывеска - псевдотесты - выгодна только противникам тестового контроля, так как нередко под псевдотестами понимают нестандартизированные, опубликованные в специальных сборниках [45]. По целому ряду причин [22] преподаватель не будет заниматься сложнейшей работой, связанной с подготовкой педагогических тестовых материалов к сертификации, поэтому он и впредь будет применять свои «тесты» для тематического и другого контроля, поскольку централизованно этой проблеме не уделяется никакого внимания.

1.2 Тест как инструмент измерения качества знаний

Прежде чем приступить к классификации тестов, рассмотрим определения тестов, наиболее часто встречаемые в литературе.

1. Тест - научно обоснованный метод измерения интересующих качеств и свойств личности.

2. Педагогический тест - система заданий возрастающей трудности и специфической формы, позволяющая качественно оценить структуру и измерить уровень знаний (В.С. Аванесов) [3].

3. Итоговый нормативно-ориентированный тест - система тестовых заданий, упорядоченных в рамках определённой стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых (М.Б. Челышкова) [45].

4. Тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения (А.Н. Майоров) [33].

5. Тест (англ. test - проба, испытание, исследование) - стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого (Советский энциклопедический словарь, 1987).

6. Педагогический тест - некоторое множество специально составленных заданий специфической формы, позволяющее по ответам испытуемых объективно измерить на определённой шкале уровень их подготовленности по разделам конкретной области знания [11].

7. Психологический тест, в сущности, представляет собой объективное и стандартизированное измерение образцов (или проб) поведения [9].

8. Тест - это задания на деятельность и эталон ответов [14].

Сколько теоретиков, столько же и определений теста. Поэтому и не существует чёткой классификации тестов.

В зависимости от общего подхода к разработке (от общей ориентации замысла разработчика) тесты делят на: нормативно-ориентированные и предметно-ориентированные (ранее они назывались критериально-ориентированные) [9].

При нормативно-ориентированном подходе разрабатываются тесты для сравнения испытуемых по уровню учебных достижений.

Главным отличительным признаком предметно-ориентированного тестирования является интерпретация выполнения теста с точки зрения его смыслового содержания. Упор делается на то, что тестируемые могут и что знают, а не на то, как они выглядят на фоне других, что имеет место при нормативно-ориентированном тестировании.

Для предметно-ориентированного тестирования типично использовать в качестве интерпретационной системы отчёта не заранее оговоренную совокупность людей, а строго определённую содержательную область.

К сожалению, предметно-ориентированные тесты имеют ограниченное применение - все силы отдаются нормативно-ориентированным. Но разработка и применение предметно-ориентированных тестов архиважны для оценки уровня учебных достижений студентов при сравнивании его с требованиями, заложенными в государственных образовательных стандартах.

Проведение эксперимента по единому государственному экзамену (ЕГЭ) заставляет усиленными темпами решать задачи проведения в школах, а применение тестирования при аттестации в высших учебных заведениях ставит серьёзные задачи и перед вузовскими преподавателями. Кроме того, всё возрастающая роль самостоятельной работы, проводимый эксперимент «по введению рейтинговой системы оценки успеваемости студентов вузов» предполагают широкое применение тестирования.

В настоящее время подавляющее большинство тестов разрабатывают сами преподаватели для использования в своих группах.

Процесс создания предметно-ориентированных тестов значительно упрощён по сравнению с нормативно-ориентированными тестами и включает три этапа:

1) проектирование теста,

2) написание заданий,

3) анализ заданий [9].

Взяв за основу характер задач, решаемых преподавателем в процессе обучения, М.Б. Челышкова предлагает следующую классификацию видов педагогических тестов [45]:

1. входные тесты (тестирование на входе в обучение);

2. формирующие и диагностические тесты (тестирование в процессе обучения);

3. итоговые тесты (тестирование на выходе из обучения).

Входное тестирование позволяет получить ответ на следующие важные вопросы: а) владеют ли учащиеся необходимыми базовыми знаниями, умениями, навыками для начала обучения; б) какова степень владения новым материалом на начало его изучения.

Безусловно, ограничиться только одной беседой мало, необходимо подключать предварительные тесты (предтесты). Предварительное тестирование поможет не только выявить исходный уровень знаний, но и разделить тестируемых на две группы, в одну из которых попадают студенты, готовые к изучению нового материала, а в другую - те, кто нуждается в дополнительной подготовке. Для решения второй задачи тестологи предлагают использовать итоговый тест.

Формирующее тестирование преследует цель осуществления дифференцированного подхода к обучающимся в повседневном учебном процессе. Для хорошо успевающих студентов программа обучения сокращается по сравнению с программой для слабо успевающих, или с помощью формирующего тестирования определяется круг задач повышенной трудности, чтобы сделать обучение для них более интересным и соизмеримым по времени. Для неуспевающих - строится более разветвлённая программа с обилием консультаций (в обучающей программе или со стороны самого преподавателя), что позволяет за отведенное время освоить обязательный минимум, предусмотренный государственными образовательными стандартами. Таким образом, в отличие от традиционного учебного процесса, где ориентируются чаще всего на среднего успевающего, при использовании формирующих тестов обучение более дифференцированно.

Формирующие тесты имеют много общего с тестами для текущего контроля, но они несут в себе большую обучающую нагрузку.

При обычном, традиционном, обучении, когда на преподавателе лежит работа по выявлению пробелов и коррекции процесса усвоения, возможности произведения этих важнейших операций ограничены как по времени, так и в связи с перегрузкой преподавателей. Другое дело тесты, которые представлены на бумаге или в компьютерной версии. В этих случаях коррекция проводится незамедлительно, и каждый обучающийся работает в своём ритме.

В случае появления систематических затруднений при работе с учебным материалом на помощь обучающемуся приходят диагностические тесты, позволяющие установить причины пробелов и наметить пути их устранения. Эти тесты по сравнению с формирующими являются более сложными как с точки зрения их разработки, так и содержания.

Итоговые тесты (тесты учебных достижений), как правило, применяются при завершении курса обучения. Здесь оценка по отношению к итоговым результатам изучения «зачетной единицы» может иметь две трактовки, зависящие от цели создания теста и интерпретации результатов его выполнения:

а) оценка ориентирована на характеристику степени освоения содержания «зачетной единицы» (предметно-ориентированный подход);

б) оценка ориентирована на дифференциацию учащихся по результатам выполнения теста (нормативно-ориентированный подход).

Различают тесты гомогенные и гетерогенные. По определению В.С. Аванесова [3], гомогенный педагогический тест - это система фасетных заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по одной учебной дисциплине. Фасетность задания означает варьирование элементов его содержания в пределах укрупненной единицы знания, возможность замены одних элементов другими. Использование фасетной формы позволяет увеличить количество вариантов теста, а, следовательно, исключить списывание правильных ответов одними студентами у других. Гетерогенный педагогический тест, по его же определению - это система фасетных заданий специфичной формы, определенного содержания, позволяющая эффективно измерить уровень знаний, умений, навыков и представлений по нескольким учебным дисциплинам.

В зависимости от характера деятельности испытуемого выделяют устные, письменные тесты и тесты действия.

По форме выделяют тесты с эклективными заданиями (с выбором верного ответа - закрытая форма) и с конструируемым ответом (открытая форма).

Форма теста целиком зависит от формы входящих в него заданий. Если тест состоит из заданий одной формы, то он относится к моноформным, если из двух и более форм - к полиформным.

Рассмотрим этапы конструирования тестов, предложенные М.Б. Челышковой [36].

Определение цели тестирования, выбор вида теста и подхода к его созданию.

Анализ содержания учебной дисциплины.

Определение структуры теста и стратегии расположения заданий.

Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

Создание предтестовых заданий.

Отбор заданий в тест и их ранжирование - согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

Экспертиза содержания предтестовых заданий и теста.

Экспертиза формы предтестовых заданий.

Переработка содержания и формы заданий по результатам экспертизы.

Разработка методики апробационного тестирования.

Разработка инструкций для испытуемых и преподавателей, проводящих апробацию.

Проведение апробационного тестирования.

Сбор эмпирических результатов.

Статистическая обработка результатов выполнения теста.

Интерпретация результатов обработки с целью улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16. Коррекция содержания формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Таким образом, возникает своеобразный цикл, который практически бесконечен, так как бесконечно и совершенствование теста.

Валидность содержания - это соответствие требований, которые предъявляются к измерению, содержанию и сущности объекта измерения. Валидность содержания часто иллюстрируют примерами педагогических измерений уровня успешности (усвоения, обученности). В этом случае содержание определяется учебным планом и методами обучения, а требования - совокупностью знаний, умений и навыков выпускников. Нарушение необходимого соответствия требованиям (целям) и содержанию обучения (и контроля) приводит к недостоверности результатов измерения.

Валидность соответствия - совпадение результатов измерения одного признака различными методами. Для обеспечения валидности соответствия на начальной стадии сравнивают полученные с его помощью результаты с данными эталонных способов (если эталон отсутствует, валидность соответствия оценивается с уже существующими методами, которые удовлетворяют критериям качества).

Валидность прогноза - соответствие полученных результатов прогнозируемым.

Точность метода определяет минимальную или систематическую ошибку, с которой можно провести измерения. При условии устранения систематических ошибок постороннего характера колебания измерения подчинены чётким статистическим закономерностям. Это и позволяет количественно определить меру точности и пользоваться ею в дальнейшем. Несмотря на то, что тестирование нельзя рассматривать как идеальный метод, тесты лучше других средств удовлетворяют основным методическим критериям качества, обеспечивают приемлемую объективность всех трёх стадий процесса оценки - измерения, обработки данных и их интерпретации. Коэффициент надежности - от 0,7 до 0,9, что считается достаточно высоким показателем [28].

Важным этапом при использовании любых способов педагогического измерения является оценивание - процедура, заключающаяся в преобразовании полученного во время измерений первичного результата в нормированную шкалу баллов - оценку.

В основе современной процедуры оценки результатов тестирования лежит теория шкалирования, обеспечивающая получение достоверных данных об уровне знаний, умений и навыков студентов. Для использования преимуществ этого метода достаточно перейти от старой 5-балльной (фактически 4-балльной) к многобалльной шкале.

Министерство образования и науки РФ инициировало обсуждение с педагогической общественностью возможности и необходимости принятия оптимальной для России модели оценки -- 10-, 12-, 20- или 100-балльной.

Свыше 40 стран используют 100-балльную шкалу (точнее, шкалу «0-100»), имеются страны, применяющие 3-, 4-, 5-, 6-, 12-, 13-, 15-, 20-, 30-балльные шкалы, а также шкалы «0-10», «0-12».

По законам математической статистики для измерения подходят шкалы, имеющие нечётное количество баллов (при условии качественного измерения гистограмма оценок должна иметь симметричную форму с одновершинной кривой распределения Гаусса).

По утверждению К. Корсака, «шкалы оценки не играют значительной роли в педагогических измерениях» [28], по-видимому, если шкалы содержат выше 11-15 баллов (лучшим вариантом он считает 11-балльную шкалу - «0-10»).

Изменение шкал - достаточно дорогая операция: увеличиваются затраты времени на опрашивание, возрастает напряженность труда преподавателя. Конечно, это наиболее ярко выражено в период внедрения новой системы.

Так как тестовая методика контроля не может решить полностью все задачи, стоящие перед процессом обучения, не следует отбрасывать методы контроля, применяемые в настоящее время.

Приведем ещё один пример. В.С. Аванесов предлагает следующие направления по разработке тестов и тестовых заданий [3].

Первое направление - определение целей разработки и применения теста. Такая работа носит методологический характер и выходит за пределы учебно-дисциплинарного анализа, что требует управленческого подхода, но это относится к разработке теста для итоговой аттестации. Цели и задачи разработки теста для итоговой аттестации формулируются не преподавателями на местах, а для преподавателей, и делает это организация, финансирующая создание теста (преподаватели могут быть приглашены для разработки тестов).

Второе направление - разработка требований к тесту (спецификация теста). Среди основных требований - обязательность описания концепции содержания теста, формы и примерного числа тестовых заданий, предельно допустимого времени тестирования, условий автоматизации тестового контроля. Такая проблема не входит в компетенцию преподавателей, этим занимается заказчик, что и получает отражение в техническом задании по разработке теста. Другое дело, что найти компетентных заказчиков весьма трудно, из-за чего преподаватель начинает выступать в разных лицах.

Третье направление - разработка содержания тестовых заданий. Это чисто предметная деятельность, осуществляемая опытными преподавателями - экспертами в своей области. Они решают, усвоение какого учебного материала, в каком объёме, с какой степенью аргументации должно проверяться с помощью разрабатываемого теста. Содержание каждого задания оценивается с точки зрения таких факторов, как полнота, глубина, обобщённость, систематичность, оперативность, осознанность, прочность. Главным критерием правильности отобранного контролирующего материала является соответствие утверждённым образовательным стандартам.

Четвёртое направление - разработка заданий в тестовой форме. Тест - это система заданий, представленных, для начала, в тестовой форме.

Пятое направление -- логический контроль качества заданий. С точки зрения логики, тестовое задание представляет собой высказывание, которое, в зависимости от ответа, может быть истинным или ложным.

Шестое направление - эмпирическая проверка возможности превращения заданий в тестовой форме в тестовые задания на валидность и надёжность.

Седьмое направление - математико-статистическое обоснование качества теста и тестовых заданий.

Восьмое направление - программно-инструментальное обеспечение тестового процесса. В него входит разработка инструментальных средств автоматизированного сбора, обработка и хранение информации в форме компьютеризированных банков, создание программ для моделирования тестов, а также программ адаптивного контроля.

Девятое направление -- интерпретация результатов тестирования. Чисто педагогическое истолкование этих результатов характерно для предметно-ориентированных тестов, точнее, для диагностической интерпретации результатов педагогического тестирования. Цель создания тестов при такой интерпретации - выявление того содержания учебного предмета, которое усвоено учеником, в то время как основная цель так называемой нормативно-ориентированной интерпретации тестовых результатов - управленческое определение места (рейтинга) студента среди других на основе объективного педагогического измерения их учебных достижений.

А. Анастази и С. Урбина для упрощения процедуры разработки предметно-ориентированных тестов рекомендуют процесс создания таких тестов осуществлять в три этапа [11]: проектирование теста, написание заданий и анализ заданий.

При разработке теста внимание разработчика прежде всего должно быть направлено на вопросы отбора формулирования, оптимально отображающего содержание учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора: целеполагания, планирования и оценки качества теста [45].

Этап целеполагания является наиболее ответственным, ибо от результатов его выполнения зависит качество содержания теста. Требования к минимуму содержания обучения, продекларированные в государственных образовательных стандартах, не всегда удовлетворяют преподавателя. Поэтому ему в процессе целеполагания необходимо решать вопрос о том, какие результаты учеников он хочет оценить с помощью теста, конечно, учитывая его возможности.

При создании теста содержание контроля должно преломляться сквозь призму поставленных целей. Если цели сформулированы правильно, то есть большая уверенность, что тест будет хорошо работать.

Нередко на практике тест составляется на основе возможностей содержания выносимого на контроль учебного материала (таких тестов создано немало). В этом случае необходимо провести обратную задачу - проверить тест на целеполагание, сравнив достигаемые цели с запланированными в государственных образовательных стандартах, и уточнить их.

При целеполагании можно взять за основу описанные ранее цели контроля, проведя определенную «конкретизацию целей» по методике М.В. Кларина, которая должна начинаться с описания направленности воздействия обучения на студента, прояснения характера воздействия и детализации его результата [25].

Процесс операционализации (конкретизации) результатов обучения представлен М.Б. Челышковой в виде схемы [45].

Общая образовательная цель	-->	Цель обучения в общих терминах	-->	Планируемый результат обучения	-->	Диагностируемый результат обучения

После постановки целей в общем виде приступают к операционализации планируемых результатов обучения, которая строится на описании учебных целей (имеются в виду результаты учебной деятельности) так, чтобы о степени их достижения можно было судить вполне однозначно.

Для конкретизации описания результатов учебной деятельности М.В. Кларин предлагает ряд глаголов, непосредственно характеризующих действия учащегося: анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, преобразовывать, применять, создавать и др., а для конкретизации целей творческого типа - варьировать, видоизменять, модифицировать, перегруппировывать, перестраивать, предсказывать, синтезировать, систематизировать [25].

Очередной этап операционализации связан с переходом от планируемых результатов обучения к отображению в средствах педагогического измерения, в данном случае - в тесте. Здесь можно структурировать, расчленять для его отображения в содержании теста.

Последний этап операционализации связан с задачами планирования содержания теста.

При разработке плана делается примерная раскладка процентного соотношения содержания разделов (тем) и определяется необходимое число заданий по каждому разделу (теме) дисциплины исходя из важности раздела и числа часов, отведенных на изучение учебного материала. Обычно предельное число не превышает 60-80 заданий, рассчитанных на 1,5-2 часа работы (на одно задание - 1,5-2 минуты).

Затем разрабатывается спецификация, включающая в себя [45]:

1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.);

описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

число параллельных вариантов теста;

вес каждого задания, рекомендуемый автором теста;

рекомендуемое время выполнения теста (в том числе на каждый субтест), среднее время выполнения одного задания с учётом спецификации формы;

соотношение заданий по различным разделам (темам) и видам учебной деятельности;

рекомендации по контингенту студентов для апробации теста;

охват требований стандартов (для аттестационных тестов);

перечень требований, не вошедших в тест (для аттестационных тестов);

12) рекомендуемую автором стратегию расположения заданий в тесте.

Безусловно, обилие пунктов, требований всегда настораживает, отталкивает начинающих разработчиков (и не только их), но, по мнению многих тестологов, спецификацию теста надо разрабатывать даже для предметно-ориентированных тестов, сокращая до минимума другие этапы их конструирования [9].

Качество начального материала, обеспечиваемое правильным планированием содержания в спецификации теста и умением разработчика корректно реализовать этот план при конструировании теста, во многом обеспечивает успех создания теста.

Обычно автор теста стремится сделать отображение содержания дисциплины в содержании теста глубже и полнее, так как все вопросы кажутся важными и значимыми. Но расширение числа тем и разделов ведет к увеличению длины теста, что не всегда рационально. Поэтому при создании теста ставится задача отобразить самое главное, без чего качественная проверка результатов немыслима. Относится это, в первую очередь, к нормативно-ориентированным тестам. Что касается предметно-ориентированных, то все решается в зависимости от того, какой вид контроля обеспечивают эти тесты. Но определение «главного» имеет место и здесь. На основании структурно-логических схем дисциплин можно определить «выходные знания тем, разделов и всей дисциплины» - они и могут стать основой для отображения главного в тесте [22].

Оценку качества обычно проводят независимые эксперты в количестве трёх человек, не участвовавшие в разработке теста. Экспертиза ведётся по трём направлениям:

1) анализ содержания отдельных заданий теста;

2) анализ качества содержания всего теста, имеющего несколько параллельных вариантов;

3) подготовка обобщённых выводов и рекомендаций по улучшению содержания теста [45].

Выделяются следующие принципы отбора содержания тестовых заданий:

1. Значимость - принцип, указывающий на необходимость включения в тест только тех элементов знания, которые можно отнести к наиболее важным, ключевым, без которых знания становятся неполными, с многочисленными пробелами. Эти элементы знания называются структурными элементами. Следовательно, в тест надо включать только те материалы, которые выполняют роль таких элементов в индивидуальном знании.

2. Научная достоверность - принцип, требующий включения объективно истинного содержания учебной дисциплины, поддающегося рациональной аргументации. Все спорные точки зрения, вполне нормальные в науке, не рекомендуется включать в тестовые задания. Это позволит включать в них материал, который требует чёткого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.

3. Соответствие содержания теста уровню современного состояния науки, вытекающее из необходимости готовить специалистов на современном научном материале.

4. Репрезентативность предполагает включать в тест не только значимые элементы содержания, но и обращать внимание на полноту и их достаточность для контроля. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания, ведь многие из них связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, многие элементы в структуре знаний иерархически соподчинены. Этому принципу соответствуют основные задания, называемые структурными.