Метод тестирования в системе педагогических измерений

1

СОДЕРЖАНИЕ.

I. Введение--------------------------------------------------------------------------------1-2

II. Метод тестирования в системе педагогических измерений.

1.Развитие педагогического тестирования в России и за рубежом.

1.1. Исторические предпосылки современного тестирования в отечественном образовании--------------------------------------------------------------------------------3-5

1.2.Развитие тестирования в зарубежных странах---------------------------------6-8

2. Классификация видов педагогических тестов.

Виды тестов. Тесты входного контроля--------------------------------------------9-12

Тестирование в текущем контроле-------------------------------------------------12-13

Итоговое тестирование-------------------------------------------------------------------13

Основные определения понятийного аппарата---------------------------------13-14

3. Классификация предтестовых заданий и общие требования к ним.

Предтестовые задания с выбором одного или нескольких ответов---------14-20

Предтестовые задания с конструируемым ответом----------------------------20-23

Предтестовые задания на установление соответствия-------------------------23-24

Задания на установление правильной последовательности----------------------24

Сравнительная характеристика форм предтестовых заданий--------------------25

4. Компьютерное тестирование в образовании.

Специфика компьютерного тестирования и его формы-----------------------26-29

Инновационные формы тестовых заданий --------------------------------------29-32

Тесты фиксированной длины-------------------------------------------------------32-33

Компьютерное адаптивное тестирование---------------------------------------33-36

III. Заключение-------------------------------------------------------------------------37-38

IV. Cписок литературы----------------------------------------------------------------------

Методы обучения в их традиционных вариантах подразделены на методы преподавания, методы учения и методы контроля .

Педагогический контроль выполняет целый ряд функций в педагогическом процессе: оценочную, стимулирующую, развивающую, обучающую, диагностическую, воспитательную и др.

В сложившемся педагогическом процессе различают несколько видов контроля: предварительный, текущий, тематический, рубежный, итоговый и выпускной .

Систему контроля образуют экзамены и зачеты, устный опрос, контрольные работы, коллоквиумы, рефераты, семинары, лабораторные работы, отчеты по производственной практике. Такие методы контролирования успеваемости студентов в настоящее время используют большинство учебных заведений. Выбор форм контроля зависит от цели, содержания, методов, времени и места .

Перечисленные методы диагностирования успеваемости учащихся имеют определенные недостатки. Рассмотрим некоторые из них

Могут возникать трудности, связанные с особенностями преподавательской работы:

довольно часто проявляются несовпадение требований разных преподавателей, отличия в их уровне строгости при оценке одного и того же ответа;

различие в профессиональной квалификации;

при организации текущих проверок знаний большого числа студентов, когда оценивание проводится, главным образом, лишь по формальным критериям, наблюдается загруженность преподавателя работой, связанной с большим объемом информации, которую требуется подготовить, обработать и проанализировать за относительно короткий промежуток времени;

возможная небеспристрастность преподавателя (по психологическим и иным причинам) к оценке ответов некоторых студентов;

иногда оценки, выставляемые студентам, оказываются недостоверными из-за опасения преподавателя, что они будут использованы для оценивания работы самого преподавателя.

Трудности, связанные со спецификой традиционной формы проверки знаний. Такие, как отсутствие четко сформулированных стандартов знаний и конкретно очерченных объемов умений, достаточных для каждой положительной оценки (часто преподаватель мучается с вопросом: "Какую оценку поставить - "неуд" или все же можно оценить как "удовлетворительно"?”).

Трудности, связанные со студентами: использование шпаргалок, списывание, "взаимопомощь" на экзамене, что искажает достоверность оценки знаний студентов и мешает преподавателю объективно взглянуть на качество своей педагогической работы.

Отсутствие объективных критериев оценки и эффективных механизмов сравнения результатов обучения по данной дисциплине (специальности) в различных ВУЗах, что особенно актуально для выработки верной стратегии подготовки кадров. Принятая, преимущественно, методика приема экзаменов по 3-4 вопросам в билете не позволяет оценить полноту освоения материала и провоцирует списывание.

На современном этапе при оценке знаний студентов перечисленные проблемы в большей степени решаются использованием такой формы контроля, как тестирование.

1.РАЗВИТИЕ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ В РОССИИ И ЗА РУБЕЖОМ

1.1.Исторические предпосылки современного тестирования в отечественном образовании

Тесты в России в конце XIX первой половины XX в. История тестов началась в России, как и в других странах, в конце XIX -- начала XX в. В этот период тесты широко применялись сторонниками экспериментальной педагогики, которые всячески пропагандировали их наравне с другими психометрическими методиками в педологии. Видные специалисты того времени (А.П. Болтунов, А.Ф.Лазурский, А.П. Нечаев, Ф.Е.Рыбаков и др.) в своих исследованиях личности обучаемого широко использовали тесты .

На волне стремления к прогрессу в России в первые годы советской власти был востребован потенциал, накопленный российской наукой в образовании. У истоков советской педологии, в рамках которой развивались тестовые методики, стояли известные ученые того времени (М.Я.Басо, Л.С. Выготский, А.П. Болтунов, П.П. Блонский, К.Н. Корнилов, А.П. Нечаев, А.Р. Лурия и др.), посвятившие ряд своих работ оценке результатов обучения и развития детей. Однако период активной деятельности педологов и тестологов в советской России оказался коротким. В 1936 г. вышло известное постановление ВКП(б) «О педологических извращениях в системе Наркомпросов» ,в котором тесты были объявлены вредным методом. Многие годы, вплоть до начала 90-х гг. XX в., отношение к тестам было негативным. Педагоги-практики вернулись к тестам в период прекращения массовых по-литических репрессий. Уже к началу 60-х гг. XX в. многие учителя, заботящиеся не о формальных показателях, а о реальном качестве учебного процесса, стали использовать при контроле наборы заданий в тестовой форме, которые чаще всего назывались по-разному, но только не словом «тест».

Промежуток времени с 60-х гг. до начала 90-х гг. XX в. был для отечественной школы периодом постепенной либерализации, когда учителя изыскивали различные резервы в борьбе за повышение качества обучения на фоне снижения авторитарного характера учебного процесса. Тесты в это время существовали полулегально, официально запрет на них не был отменен, но уже предпринимались попытки диссертационных исследований по проблемам тестирования, появлялись работы педагогов-новаторов, в которых тесты и анкетные опросы использовались как инструментарий для подтверждения эффективности нововведений. В это время тесты разрабатывались без должного знания теории педагогических измерений, на основе опыта и здравого смысла, поэтому чаще всего тестами их было можно назвать лишь условно.

Столь же необоснованными по надежности и валидности были наборы заданий с выбором ответов, создаваемые практически повсеместно на рубеже 60 --70-х гг. XX в. в связи с интенсивным развитием программированного обучения. Только к середине 80-х гг. XX в. в нашей стране в научных и методических работах преподавателей стали утверждаться основные положения теории педагогических измерений.

В целом рассматриваемый временной промежуток в развитии тестов был периодом прогресса, когда на смену представлениям о тесте как о простом наборе заданий пришло научное понимание этого термина. В этот период появляются научные издания по тестовой и смежной с ней проблематике, учебные пособия и многочисленные статьи отечественных авторов, как поддерживающие, так и осуждающие тесты в образовании.

Развитие тестов в конце XX в. и в наши дни. Новая история тестов в России началась в 90-е гг. XX в., когда стали больше говорить не о руководстве, а о научно обоснованном управлении учебным процессом, в информационном обеспечении которого важная роль по праву принадлежит тестам.Новое понимание возможностей тестов в образовании способствовало росту научных исследований. В 90-е гг. XX в. появляются работы по пробле-мам измерений и тестирования в образовании, защищаются многочисленные кандидатские и докторские диссертации, издаются монографии, учебные пособия, журналы, проводятся конференции и симпозиумы.

Последнее десятилетие XX в. в нашей стране совпало с периодом бурного развития структур, занимающихся практической работой по созданию и применению тестов. К основным событиям этого периода можно отнести открытие в 1990 г. первой в стране кафедры педагогических измерений в Исследовательском центре проблем качества подготовки специалистов (директор Н.А. Селезнева) Московского института стали и сплавов; создание при Московском государственном университете в этом же году Центра тестирования «Гуманитарные технологии» (проект по компью-терному аттестационному тестированию для старшеклассников «Телетестинг» -- научный руководитель А.Г. Шмелев); привлечение в 1991 г. Центра качества образования Института общего среднего образования РАО к участию в сравнительных международных исследованиях по оценке учебных достижений (директор Центра -- Г.С.Ковалева); открытие в 1995 г. Центра тестирования выпускников общеобразовательных учреждений, преобразованного впоследствии в Федеральный центр тестирования со статусом государственного учреждения Министерства образования и науки Российской Федерации; основание в 1998 г. государственной системы тестирования иностранных граждан по русскому языку как иностранному при поддержке ведущих вузов Москвы, Санкт-Петербурга и других городов России. Перечень этот можно было бы смело продолжить. Начиная с 90-х гг. XX в. практически во всех регионах России создаются центры тестирования и аттестации учащихся, методические лаборатории по диагностике и центры качества образования.

Значимым событием в области подготовки кадров по педагогическим измерениям стало открытие в 2001 г. на факультете повышения квалификации Российского университета дружбы народов (декан Т. М.Балыхина) кафедры тестологии (заведующая кафедрой М.Б. Мельникова). На этой кафедре впервые в нашей стране началась реализация профессиональной образовательной программы, рассчитанной на 1480 часов, для получения дополнительной квалификации «Тестолог (специалист в области педагогических измерений)».

Для повышения качества тестовых материалов, разрабатываемых в России, в 2000 г. при Исследовательском центре проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) был открыт Центр сертификации педагогических тестовых материалов (ПТМ) (директор В.И. Звонников) и создан Координационный совет Минобразования России (в настоящий момент -- Минобрнауки) по вопросам сертификации качества педагогических тестовых материалов.

Коренные изменения в отношении учителей к тестам произошли в 2001 г. в связи с началом эксперимента по введению единого государственного экзамена, благодаря которому тесты получили официальное признание в России. За годы эксперимента значительно повысилась степень доверия к результатам тестирования со стороны органов управления образованием, образовательных учреждений, самих учителей, которые убедились в высокой объективности и обоснованности баллов ЕГЭ, в их высокой прогностичности при отборе абитуриентов вузов. В 2002 г. был открыт Федеральный институт педагогических измерений (директор А.Г.Ершов), приоритетным направлением деятельности которого является научное, методическое и организационное сопровождение процесса создания контрольных измерительных материалов (КИМ) для ЕГЭ.

В целом, подводя итоги развития тестирования в России, можно сказать, что на сегодняшний день среди ученых-педагогов в нашей стране наконец появилось понимание того, что теория педагогических измерений -- наука, обладающая своей методологией, методами и аппаратом, необходимым для разработки качественных педагогических тестов. Сегодня большими тиражами издаются инновационные работы по педагогическим тестам отечественных ученых и зарубежных авторов, а также сборники ма-териалов КИМ ЕГЭ, специальные журналы по тестовой проблематике. Таким образом, можно считать, что на данный момент в России сформировалось сообщество профессионалов -- специалистов по разработке и применению тестов.

1.2.Развитие тестирования в зарубежных странах

Становление тестов в психологии, образовании и армии. Появление педагогических тестов за рубежом нередко связывают с именем французского врача и психолога А. Бине. Его работа по диагностике интеллектуальных способностей, вышедшая в 1905 г., считается точкой отсчета в становлении основных науч-ных подходов к измерениям в психологии и образовании .

Немного позднее идеи А. Бине были использованы немецким психологом и философом В. Штерном,который предложил специальный коэффициент для оценивания интеллекта -- коэффициент IQ. Этот термин используется до сих пор, правда, несколько в ином контексте. В США работы А. Бине по измерениям продолжил Л.Терман. Он создал новые тесты,представляющие собой оригинальную модификацию работы его предшественника [1].

Достижения второго десятилетия XX в. в сфере измерений были связаны с проблемой распределения большого количества призывников по различным родам войск в США во время Первой мировой войны. Правительство Соединенных Штатов организовало «мозговой центр» из специалистов - составителей тестов, статистиков и экспертов по измерениям -- и направило его работу на решение задач, продиктованных военной необходимостью. В этом центре свои усилия по отбору и распределению новобранцев объединили такие известные специалисты, как Э. Торндайк, Р. Годцар, П. Йеркс и Л. Терман. Результатом их работы стали знаменитые батареи Альфа и Бета тестов для армии, которые после стали использовать (вплоть до настоящего времени) в качестве примеров при обучении разработчиков тестов в образовании.

Первые стандартизированные измерители в образовании США были созданы для оценки качества почерка, правописания и выполнения арифметических действий в конце 20-х гг. XX в. Тогда же в Америке появилась батарея тестов SАТ, разработанных по инициативе Совета колледжей и предназначенных для отбора абитуриентов [1]. Несколько позже, в конце 40~х гг. XX в., были созданы батареи тестов достижений, реализующие идеи многомерных измерений и обеспечивающие сопоставимость результатов по разным школьным предметам.

Развитие классической (традиционной) теории педагогических измерений и тестирования в XX в. В 1904 г. англичанин Ч. Спирмен опубликовал фундаментальный теоретический труд по исследованию общих интеллектуальных способностей. Используя школьные оценки по различным предметам, Ч.Спирмен применил к данным тестирования аппарат новой для того времени теории корреляции и выявил примеры ковариации оценок школь-ников. Тем самым он заложил основы научных подходов к обо-снованию качества тестов, соединив в своем исследовании теорию физических измерений, корреляционные методы и накопленный его предшественниками-психологами опыт оценивания способностей детей.

Прообразом научных положений теории педагогических измерений послужила далекая от образования работа Н.Р. Кэмпбелла «Основы физики» (1920), благодаря которой был разработан теоретический аппарат для анализа качества измерений, а обыденное представление о тесте и его научное определение стали заметно различаться. Для обоснования качества педагогических измерений, их надежности и валидности была создана классическая теория тестов, получившая впоследствии название традиционной, и базирующаяся на концепции параллельных измерений и теории корреляции. На основе этой теории в 30 --40-е гг. XX в. интенсивно разрабатывались количественные методы для анализа качества тестовых заданий, строились стандартизованные тесты учебных достижений и осваивались методы шкалирования результатов вы-полнения тестов.

В конце 40-х гг. XX в. увлечение чистой теорией сменилось по-ниманием важности правильного применения измерений в сфере психологии и образования. Исследователи осознали тот факт, что к тестируемым нужно относиться бережно и осторожно и что любая ошибка в оценках может привести к необратимым последствиям. В этой связи в теории педагогических измерений активизировался поиск эффективных методов повышения надежности результатов тестирования, стали разрабатываться методы факторного, дисперсионного и корреляционного анализа данных, получили широкое развитие методы формирования репрезентативных выборок, необходимых для стандартизации тестов.

Значимым событием конца 40-х гг. XX в. для развития теории и практики измерений в образовании стало создание в 1947 г. в США Службы образовательного тестирования -- Еducational Testing Service(ETS).Сегодня эта организация имеет представительства практически во всех странах мира. Из числа тестов, созданных ЕТS, наибольшую известность в связи с расширением программ международного обмена в обучении приобрел ТОЕFL, выявляющий уровни владения различными видами речевой деятельности для обучения в англоязычных странах.

Создание современной теории тестов. В истории тестов были этапы подъемов и спадов. В частности период ожесточенной критики пе-дагогических тестов наблюдался в США в конце 60-х гг. XX в. Широкая публичная дискуссия по проблемам использования тестирования совпала по времени с научной критикой, вызванной недостатками классической теории тестов. Высказывались опасения в том, что тестирование служит инструментом подавления инициативы и творчества учащихся, слишком упрощенно трактует такие сложные конструкты, какими являются учебные умения, не объективно оценивает учебные достижения. Приводились и другие аргументы против широкого использования тестов. Ученые-тестологи занимались в основном конструктивной научной критикой традиционных методов разработки тестов, что привело к построению новой теории -- Item Response Theory(IRТ), которую нередко в наши дни называют современной теорией тестов.

Неоспоримые преимущества IRТ, связанные с возможностью прогноза надежности измерений, увеличения эффективности тестирования и получением оценки параметров подготовленности учащихся, не зависящих от трудности заданий теста, стали широко применяться на практике с конца 80-х гг. XX в. В это время были разработаны алгоритмы оценивания параметров испытуемых и заданий на основе математических моделей IRТ, создано программное обеспечение и стали широко использоваться ПК. Сочетание аппарата классической теории и IRТ при разработке тестов открыло новые возможности повышения качества педагогических измерений и применения тестирования в образовании.

Современный период в истории развития тестов. Современный период в истории развития тестов характеризуется интенсивным развитием теории IRТ, созданием новых моделей и методик ее применения, внедрением в тестирование компьютерных технологий адаптивного тестирования, различных инноваций в областиразработки и применения гестов. В настоящий момент наметился ряд направлений исследований, нацеленных на расширение возможностей педагогических измерений, разработку инновационных измерителей и повышение качества тестов. К их числу относится создание новых моделей педагогического измерения, инновационных форм тестовых заданий для проверки творческих и практико-ориентированных аспектов подготовленности учащихся, методов калибровки тестовых заданий и методик компьютерного моделирования тестов, обеспечивающих планируемую точность измерений.

Большое внимание уделяется психолого-педагогическим проблемам тестирования (проблемам тревожности, мотивации), развитию специальных процедур для выявления размерности пространства измерений, созданию специальных методик, позволяющих обоснованно использовать результаты педагогических измерений в управлении качеством образования.

2.Классификация видов педагогических тестов.

2.1. Тест (от англ. test -- испытание, проверка) -- стандартизованные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий [2].

По мере использования тестов была сформирована их классификация по цели и содержанию:

* тесты личности -- для оценки эмоционально-волевых качеств индивидуума;

* тесты интеллекта -- для анализа уровня развития познавательных процессов и функций мышления;

* тесты способностей -- для оценки возможности в овладе нии различной деятельностью;

* тесты достижений, с помощью которых оценивают разви тие знаний, умений, навыков после обучения.

Из всего многообразия типов стандартизованных тестов в образовании используют тесты достижений. Они создавались для проверки результатов обучения на разных ступенях получения образования, измерения эффективности программ и процесса обучения. Тесты достижений принято противопоставлять тестам способностей, состоящим из тестов общего интеллекта, комплексных батарей способностей и тестов специальных спосо бностей. Можно сказать, что тесты способностей измеряют эффективность обучения в относительно неконтролируемых и неизвестных условиях, в то время как тесты достижений измеряют эффективность обучения при частично известных и контролируемых условиях [1].

* По процедуре создания могут быть выделены стандартизированные и не стандартизированные тесты.

Стандартизация -- последовательный ряд процедур по планированию, проведению оценивания и выставлению баллов. Цель стандартизации состоит в том, чтобы обеспечить всем учащимся возможность проходить оценивание в равных условиях, чтобы их оценки имели одинаковое значение и не подвергались влиянию различных условий. Это важная процедура, когда оценки планируется использовать для сравнения отдельных людей или групп.

В образовании можно выделить и ряд задач, которые могут быть решены не стандартизированными тестами, -- в том числе текущий контроль знаний на этапе обучения. Однако для итоговой аттестации учащихся используются только стандартизованные тесты.

По способу предъявления различают тесты:

бланковые (машиночитаемые бланки, тестовые тетради);

предметные (манипуляция материальными объектами рассчитана на быстроту реакции и четкость действий);

аппаратурные (с использованием специальной аппаратуры -- датчиков для фиксации сигналов);

практические (аналоги лабораторных работ, но с тестовыми условиями заданий);

компьютерные (как частный случай -- адаптивные).

По характеру действий тесты делят на:

вербальные;

невербальные.

По ведущей ориентации выделяют:

тесты на скорость;

тесты на результативность (мощность);

смешанные тесты.

По степени однородности задач тесты делят на:

гомогенные, позволяющие измерить одно качество (уровень подготовки по одному предмету) однородными по составу заданиями;

гетерогенные (многомерные) -- для измерения уровня подготовленности учащихся по нескольким учебным предметам и (или) свойствам личности.

Гетерогенные тесты бывают полидисциплинарными и междисциплинарными[4].Полидисциплинарные тесты состоят из гомогенных субтестов по отдельным дисциплинам. Результаты учеников по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны , их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По целям использования в системе образования:

определяющий (знания или поведение обучаемого в начале обучения).

Для отечественной системы образования наиболее приемлемый и используемый педагогами термин -- «тестирование во входном контроле». При входном контроле с помощью педагогических тестов можно ответить на вопрос -- насколько обучаемые владеют базовыми знаниями, умениями и навыками, чтобы успешно освоить новый материал, а также определить степень владения новым материалом до начала его изучения.

Учащиеся в классе имеют разную подготовку, различные способности и раз-личаются по мотивирующему фактору. В этой ситуации реализовать в большей мере личностно ориентированное обучение возможно при следующем подходе. Сначала следует провести входное тестирование, которое позволит разделить учащихся на две подгруппы. В первую попадают сильные учащиеся; при анализе выполнения ими входного теста прежде всего важна не степень их готовности к изучению нового материала, а оценка степени владения новым материалом, которая поможет учителю организовать его изучение на приемлемом уровне. Для второй группы учащихся на начальном этапе важно определить, каких базовых компонентов знаний им не хватает для успешного продолжения учения, и принять меры по устранению выявленных пробелов еще на первоначальном этапе. В этом случае учитель может подобрать такой метод обучения, который был бы наиболее эффективным для всей группы и позволил бы получить высокие результаты по окончании обучения. Сравнение же начального и конечного состояния обучаемых позволяет оценить прирост знаний; тогда во входном тестировании используется тестовый материал, незначительно отличающийся от материала для итогового контроля по изучаемой теме.

При первоначальном изучении материала учителю педстоит большая подготовительная работа по разработке собтвенного проверочного материала или по адаптации уже существующего; в дальнейшем же используется уже готовый материал и необходимы только незначительные его корректировки. Входное тестирование бесполезно, когда:

учитель хорошо знает возможности обучаемых, поскольку давно работает с классом;

специфика содержания нового материала такова, что не позволяет выделить круг базовых знаний, умений и навыков, необходимых к началу обучения;

область планируемых к усвоению знаний достаточно новая, так что у учащихся не может быть никаких «заделов», либо трудно пока выделить качественный уровень усвоения .

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. Они разрабатываются в рамках критериально-ориентированного подхода и содержат задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала, В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те,кто может двигаться дальше, а в другую -- те, кто нуждается в дополнительной работе и консультациях педагога.

П р е т е с т ы второго типа разрабатываются в рамках нормативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче-ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

2.2. Тестирование в текущем контроле.

Для текущего контроля разрабатывают корректирующие и диагностические тесты. Корректирующие тесты, как правило, являются критериально-ориентированными: если процент ошибок учащегося превышает критериальный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в освоении нового материала. Корректирующие тесты не следует путать со средствами текущего контроля знаний учеников, однако они в какой-то мере близки, хотя бы по целям применения. Однако между первыми и вторыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего контроля менее эффективны и в основном ориентированы на проверку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных единиц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения ученика при выполнении заданий носят систе-матический характер, то педагог может прибегнуть к помощи диаг-ностических тестов. Основная цель диагностики -- установление причин пробелов в знаниях учеников -- достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная детализация позволяет выявить причины устойчивых ошибок учеников, конкретизировать характер возникающих затруднений и получить выводы о несформированности тех или иных учебных умений.

Подбор заданий в диагностический тест осуществляется в ин-дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны контроле при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб-ного материала. В этом случае коррекция проводится незамедлительно, поскольку после выявления очередного пробела и установления его причины компьютер сам подбирает обучающий модуль и сразу же выдает его ученику.

2.3.Итоговое тестирование.

Основная цель итогового тестирования -- обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты).

Итоговые тесты обычно пподвергаются стандартизации, поскольку чаще всего они применяются для принятия административных управленческих решеений в образовании. Если проведение входного и текущего тестирования -- функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аттестации школ и т. д. Внутри школы итоговые тесты можно использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекцион-ные классы и т.д.

2.4.Основные определения понятийного аппарата

Предтестовое задание. Определение предтестового задания является базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Предтестовое задание -- это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки [4].

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правильным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме предтестовых заданий, можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относительно выбранной формы. Согласно общим требованиям задание должно иметь определенный порядковый номер, стандартную инструкции по выполнению, адекватную форме, эталон правильного ответа, стандартизованные правила по оценке результатов его выполнения и т.д.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок учащихся по тесту.

Тестовое задание. Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое задание превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результатам которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризующих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового задания проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов анализа -- это всегда сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентировано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест -- это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Итоговый критериально-ориентированный тест -- это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статистически обоснованным критериям выполнения [1].

3.Классификация предтестовых заданий и общие требования к ним.

Классификация предтестовых заданий. В соответствии с наиболее часто встречающейся в отечественной и зарубежной литературе классификацией предтестовых заданий выделяют:

задания с выбором, в которых учащиеся выбирают правильный ответ из данного набора ответов;

задания с конструируемым ответом, требующие при выполнении от ученика самостоятельного получения ответов;

задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

задания на установление правильной последовательности, в которых от учащегося требуется указать порядок элементов, действий или процессов, перечисленных педагогом [ 4].

Названные четыре формы тестовых заданий являются основными и наиболее распространенными. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов основных форм.

Общие требования к предтестовым заданиям и процедурам их применения. Вне зависимости от формы предтестовые задания должны удовлетворять следующим общим требованиям:

каждое предтестовое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

каждое предтестовое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

-для предтестовых заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

- для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке и подсчету сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

ни одному ученику не дается никаких преимуществ перед другими;

заранее разработанная система подсчета баллов применяется ко всем ответам учеников без исключения;

в тест включены задания одной формы либо разных форм с оптимальными весовыми коэффициентами, значения которых получены статистическим путем;

тестирование различных групп испытуемых проводится в одинаковое время, в сходных условиях;

группа тестируемых выравнена по мотивации;

- все испытуемые выполняют одни и те же задания.

3.1. Предтестовые задания с выбором одного или нескольких правильных ответов

Основные элементы предтестовых заданий с выбором ответов.

В предтестовых заданиях с выбором (закрытых заданиях) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных (в том числе и в разной степени) ответов.

Неправильные, но правдоподобные ответы называются дистракторами [4]. Если в задании два ответа, один из которых является дистрактором, то вероятность случайного выбора пра-вильного ответа путем угадывания равна 50%. Число дистракторов подбирается таким образом, чтобы задание не было слишком громоздким. Вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

Задания с двумя и тремя ответами обычно используют для экспресс-диагностики, например, в автоматизированных контрольно-обучающих программах для входа в обучающий модуль при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Однако из-за высокой вероятности угадывания задания с двумя объектами не включают в итоговые тесты.

Преимущества предтестовых заданий с выбором ответов. Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов учеников, возможностью автоматизации процедур проверки ответов учащихся и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность; она годится практически для любого предмета.

Недостатки предтестовых заданий с выбором ответов. К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабоподготовленных учеников при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с помощью различных ме-тодов научились избегать подобных ситуаций. Для этого вводятся специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. При подсчете баллов слабых учеников, полученных по наиболее трудным заданиям теста, добавляются специальные весовые коэффициен-ты, близкие к нулю, или увеличивается число заданий теста. Иногда применяется специальная формула для коррекции индивидуальных баллов с поправкой на догадку.

Сложности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний учащимися в незнакомой ситуации, творческими аспектами подготовки, а также в случаях, когда требуется преобразование условий поставленной пе-ред учащимся задачи. В таких ситуациях задания с выбором готовых ответов использовать чаще всего невозможно. В условиях же массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов учеников и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых тестов.

Примеры предтестовых заданий с двумя и тремя ответами. В заданиях с двумя ответами проще всего подбирать дистракторы посредством отрицания того, что является верным. Не рекомендуется использовать вместо дистракторов слова «да», «нет», поскольку в противном случае будет довольно трудно сформулировать утверждения, на которые можно дать однозначный ответ.

Задания с тремя ответами обычно используют в экспресс-диагностике в тех случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда они появляются вследствие удаления «неработающих» дистракторов. В целом такие задания неудачны, поскольку они недостаточно кратки и в них высока вероятность угадывания правильного ответа. Например:

Задание 1

Импульс, поступающий по блуждающему нерву

учащает работу сердца

замедляет работу сердца

не влияет на деятельность сердца.

Предтестовые задания с четырьмя и пятью ответами. В большинстве тестов встречаются задания с четырьмя -- пятью ответами, из которых один верный. При умелой разработке они могут быть достаточно краткими, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти). Например:

3адание 2

Кадеты считали главным методом решения основных проблем России

революционное восстание масс

политический террор

тактику давления на правительство через представительные органы, парламент

всеобщую политическую стачку.

Наиболее удачными можно считать задания, выполнение которых помимо традиционного длинного пути предполагает возможность довольно быстрого (3 -- 4 с) ответа. Разумеется, быстрое решение по силам только учащемуся с четкой структурой знаний и твердыми навыками по проверяемому разделу. Слабо подготовленные ученики пойдут по традиционному пути и истратят на задание не 3 -- 4 с, а положенные 1 -- 2 мин.

Фасетные задания в тесте. Даже в условиях хорошо организованного процесса тестирования при наличии единственного варианта теста велика вероятность списывания, подсказок и других нежелательных моментов. Поэтому обычно разрабатывают 5 --8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста [4].

Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов, предлагаемых различным ученикам. В приведенном далее примере содержатся два задания, одно из которых предназначено для выбора архитектурных комплексов окрестностей Москвы, а другое -- Санкт-Петербурга:

Задание 3

К дворцовым комплексам окрестностям Москвы,Санкт-Петербурга

относятся

Павловск, Ораниенбаум

Архангельское, Царицыно

Петергоф, Гатчина

Царское село, Стрельня.

Предтестовые задания с выбором нескольких правильных ответов. Задания с несколькими правильными ответами обычно стараются не включать в итоговые тесты, результаты которых используются для административно-управленческих решений в образовании. Появление частично правильных ответов учащихся, возникающих при выборе не всех запланированных верных ответов, приводит к снижению объективности и сопоставимости оценок, получаемых учениками по тесту.

В текущем контроле такие задания, наоборот, желательны, поскольку ученик должен не только найти правильные ответы, но и сам определить их число, что значительно разнообразит и усложняет задачу.

Предтестовые задания на выбор неправильного ответа. Ориентация учащихся на выбор неправильного ответа часто вызывает негативную реакцию у многих педагогов. Особенно неуместны задания на выбор неправильного ответа в тестах по русскому языку или по истории. Недопустимо, например, когда задание нацеливает ученика на неправильное написание слов либо на неверную оценку исторических событий. Однако если нужно проверить знание учеником определенных правил по технике безопасности, например во время проведения химических опытов, то выбор не-правильного ответа становится просто находкой.

В случае когда большая часть заданий в тесте ориентирована на выбор правильного ответа, заданий с противоположной инструкцией в тесте должно быть не более двух-трех.

Оценка результатов выполнения заданий, первичный, или сырой, балл. При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает «1», а за неправильный ответ или пропуск -- «О». Суммирование всех единиц позволяет вычислить индивидуальный (первичный, или сырой) балл испытуемого, который в случае дихотомической оценки равен количеству правильно выполненных заданий в тесте.

Если правильный ответ не один, то чаще всего используется полигамическая оценка, которая пропорциональна числу правильно выбранных ответов.

Коррекция на догадку первичных тестовых баллов. Из-за эффекта угадывания ответов в заданиях с выбором сырые баллы стараются скорректировать путем ввода поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с k-ответами, из которых только один верный, имеет следующий вид:

Где i-- номер любого испытуемого группы;

X -- скорректированный балл i-го испытуемого;

Х{ -- тестовый балл до коррекции;

W -- число невыполненных (неправильно выполненных, пропущенных, недостигнутых) заданий теста, а Х1 + W = N, где N -- число заданий в тесте.

Если в заданиях только один дистрактор и один верный ответ то k - 1 = 1, поэтому коррекция баллов осуществляется довольно просто. Для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. Например, если в тесте из 60 заданий испытуемый выполнил правильно 50, а неправильно - 10, то скорректированный балл будет равен 50 - 10 = 40. Для более слабого ученика, выполнившего правильно всего 30 заданий из 60, балл после коррекции станет равен 30 - 30 = 0. Таким образом, балл сильного ученика уменьшился в результате коррекции весьма незначительно, всего на 10 единиц. Иначе обстоит дело с баллом учащегося, который выполнил правильно всего половину заданий теста. После коррекции он получит 0 баллов, так как в половине заданий с двумя ответами он вполне мог угадать правильный ответ.

Формула коррекции имеет определенные недостатки, снижающие точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

3.2. Предтестовые задания с конструируемым ответом

Общая характеристика. В заданиях с конструируемым ответом (заданиях на дополнение, открытых заданиях) готовые ответы не даются, их должен придумать или получить сам ученик. Задания с конструируемым ответом бывают двух видов. Первый предполагает получение учащимся строго регламентированных по содержанию и форме представления правильных ответов. Второй -- задания со свободно конструируемыми ответами, в которых учащиеся составляют развернутые ответы, произвольные по длине и форме представления и содержащие полное решения задачи с пояснениями, микросочинения (эссе) и т.д. [4].

Предтестовые задания с конструируемым регламентированным ответом. В заданиях первого вида заранее определяется то, что однозначно считается правильным ответом, и задается степень полноты его представления. Обычно ответ бывает достаточно кратким -- в виде слова, числа, формулы, символа и т.д. Регламентированная краткость ответов накладывает определенные ограничения на сферу применения, поэтому задания первого вида в основном используются для оценки довольно узкого круга учебных умений. Обычно с их помощью проверяются умения воспроизводить и применять знания в знакомой ситуации, а также выявля-ются уровень понимания изученного фактологического материала, знание понятийного аппарата и т.д.

Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов учащихся экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся учащимся в специальный бланк.

Например:

Задание 4

Процесс, для которого теплоемкость постоянна, называется

Задания с конструируемым регламентированным ответом малотехнологичны. В них нередко появляются частично правильные и правильные в разной степени ответы. Вписывая ответ на место прочерка, ученик может выбрать синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов.

Предтестовые задания со свободно конструируемым ответом. Задания второго вида не имеют ограничений по содержанию и форме представления ответов. За отпущенное время на специальных бланках для ответов ученик может писать что угодно и как угодно. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, поэтому задания со свободно конструируемым ответом воспринимаются положитель-но абсолютным большинством педагогов. Они интересны и раз-нообразны в содержательном плане. С их помощью можно выявить способы решения учебных задач, вычленить этапы мыслительного процесса и подвести итоги отдельных этапов, что особенно важно для анализа типичных ошибок учеников.