Особенности использования тестового метода контроля при обучении математике в старшей школе

Этот способ чаще используют, когда априори экспертные оценки сложности носят сугубо субъективный характер и не учитывают особенности контингента учащихся, условия тестирования. Тогда окончательные итоги тестирования подводят на основе статической обработки их результатов. [8]

Для создания тестов по предметной области разработаны и разрабатываются специальные инструментальные программы - оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди них Адонис (Москва), Фея (Томск), Linknay. Специализированные тестовые оболочки предназначены для формирования тестов. Это Аист, Тестум (Москва), I-Know (Иркутск), Тест (Красноярск) и др.

Порядок создания компьютерных тестов и проведения тестового эксперимента можно представить как последовательность следующих этапов:

В большинстве случаев тестовые оболочки (ТО) построены на принципах однозначного распознавания ответов тестированного: выбор, шаблонный ответ, конструирование ответа. По математическим дисциплинам, необходимо решать проблему распознавания вариантов ответа.

Другим важным свойством то должно быть наличие возможности передачи результатов и протокола тестирования какому-либо, статистическому пакету для дальнейшей обработки, что неполно представлено в существующих тестовых оболочках.

Способом однозначной идентификации математического ответа является любая система компьютерной алгебры. Например: Reduce, Maple, Mu PAD.

Главным условиям создания эффективного и объективного теста является его массовое экспертное формирование и актуализация. Предполагается, что объективность измерения уровня обученности с помощью тестирования может быть достигнуто при условии, что банк педагогических тестов наполняется и анализируется большим числом специалистов-предметников. Выбор критериев и меры оценки результатов тестирования осуществляется путем анализа экспертных предложений, полученных на основе статических данных тестирующего эксперимента.

Для этих целей предлагается создать телекоммуникационную систему компьютерного тестирования. Структура и телекоммуникационные возможности сетей передачи данных Министерства образования и Министерства науки, а также учреждений среднего и педагогического образования могут позволить обеспечить массовый сбор тестовых заданий и их экспериментальную апробацию на большом числе испытуемых.

Разрабатывается экспериментальная модель знаний предметной области. Предлагается форма тестовых заданий и технология их формирования. Создается план-график проведения тестирующего эксперимента и сбора его результатов. [6]

Организуется республиканская телеконференция по разработки и сборы тестовых заданий. На этой основе формируется банк тестовых заданий (тестовое пространство), а затем происходит компьютерное наполнении (после фильтрации тестового пространства) интегрированной тестовой системы.

Тестовый эксперимент с участием большого числа экспертов и испытуемых в различных учреждениях образования и в разных регионах позволит сформировать объективный и качественный тест с хорошим уровнем измерения знаний и умений тестируемого. Затем тест подвергается сертификации экспертной комиссии по образовательным стандартам.

Принимая во внимание рассмотренную выше теорию педагогического тестирования, создана региональная телекоммуникационная система компьютерного тестирования школьников.

Структура базы данных ТЗ:

1. Шифр (номер ТЗ, тема, раздел)

2. Класс эквивалентности

3. Форма ТЗ (открытая, каноническая)

4. Задание

5. Ответ 1

6. Ответ 2

7. Ответ 3

8. Ответ 4

9. Ответ 5

10. Ключ правильного(-ых) ответа(-ов)

11. Тип ТЗ (информативный, аналитический, алгоритмический)

12. Сложность по знаниям информативным

13. Сложность по знаниям аналитическим

14. Сложность по умениям (алгоритмические знания)

15. Вес 1

16. Вес 2

17. Вес 3

18. Вес 4

19. Вес 5

20. …

21. Балл (по сложности + весовые коэффициенты)

22. Время выполнения

Критерии (веса) по качествам ТЗ позволяют проводить фильтрацию ТЗ. Какие-то свойства должны влиять на сложность (балл), а какие-то являются фильтрами для включения в банк ТЗ.

Общая система разработчика:

1.4. Использование информационных технологий в процедуре оценивания

Информационные технологии могут использоваться в процедурах оценивания на различных уровнях -- от средства управления информацией об оценках, полученных традиционными способами, до полностью автоматизированных систем контроля качества знаний, включающих в себя диагностический, обобщающий и коррекционный модули. В первом случае можно обеспечить представление имеющейся информации в соответствии с потребностями самых различных лиц -- педагогов, обучаемых, администрации учебного заведения и пр. При этом с помощью современных программных средств (электронные таблицы, системы управления базами данных, пакеты статистической обработки) можно улучшить не только внешние характеристики, но, что более важно, содержательную часть имеющихся данных [23]. Если для самих обучаемых важно узнать набранные баллы или полученные отметки, то для администрации учебного заведения наиболее подходящей формой представления, возможно, будут диаграммы и графики с иллюстрацией тенденций изучения определенной дисциплины, сравнением результатов, полученных в разных учебных группах, и т.д. Компьютеризация тестирования по сравнению с использованием бумажных технологий открывает ряд интересных возможностей. Создание и развитие базы данных с вопросами позволяет постоянно совершенствовать контроль знаний (но здесь имеются свои проблемы, связанные с идентификацией сложности вопросов и валидности, т.е. значимости получаемых тестов). Мы уже отмечали возможности современных тестирующих систем по созданию и ведению базы данных с результатами прохождения тестов. Такой электронный «классный журнал» благодаря возможностям обобщения и анализа информации помогает преподавателю осуществлять оперативное управление учебным процессом.

Применение ИТО позволяет педагогу привлечь новые и улучшить традиционные методы оценивания, гарантирует качественное выполнение процедуры оценивания. (Педагоги явно ощущают недостатки традиционной системы контроля, которые вполне очевидны и являются во многом продолжением ее достоинств.)

Устный опрос достаточно универсален и его реализация, на первый взгляд, не представляет никаких проблем. Однако он может быть только выборочным и не давать педагогу возможности проверить знания всех обучаемых, а в случае слабых ответов иногда превращается в своеобразное выяснение отношений. Тестовый контроль в такой ситуации имеет явные преимущества, позволяя без особых затрат времени опросить всех обучаемых по всем темам изучаемой дисциплины и способствуя повышению рентабельности образования за счет экономии времени преподавателей. Такая форма контроля как экзамен в силу субъективности педагогов часто не позволяет обоснованно оценить уровень знаний обучаемых, а тестовый контроль достаточно универсален и может использоваться как в средней школе, так и в высшей. Преимущество тестового контроля состоит в том, что он является научно обоснованным методом эмпирического исследования и позволяет преодолеть субъективные оценки знаний обучаемых. [17]

Нельзя отрицать тот факт, что в точных науках, где и учебный материал, и требования к качеству обучения структурируются и формализуются естественным образом, составлять тестовые задания легче. Но преподавание всех учебных дисциплин основано на требованиях к базовым знаниям. Например, для такой учебной дисциплины, как история, важно «знание событий, дат, имен, определений основных понятий и многого другого. Проверка базовых знаний средствами тестового контроля позволяет преподавателю в оставшееся время уделить больше внимания общению с обучаемыми на уровне концепций и выводов, проверить традиционными формами не столько знание, сколько понимание проблематики той или иной учебной дисциплины. Следует подчеркнуть, что именно проверка базовых знаний является наиболее доступной сферой для применения тестового контроля».

Современные системы тестирования отличает определенная гибкость, когда обучаемым можно выбрать индивидуальный график прохождения контрольных точек, а при тестировании -- конкретный режим: попытаться ответить на большее число вопросов за большее время или, наоборот, ограничить количество вопросов, но получить меньшее время; выбрать меньшее число трудных вопросов или большее число простых и т.п. Системы тестирования часто предлагают испытуемым работу в режиме самоконтроля с заданиями, аналогичными тем, что будут предложены им впоследствии в качестве контрольных. В этой связи выделяют репетиционные тесты, позволяющие проверить степень готовности испытуемого к педагогическому тестированию, знакомящие с порядком работы, объемом и сложностью заданий, иногда даже предлагающие справочные материалы, подсказки и т.п. Проведение таких тестов одинаково важно и для педагогов, и для обучаемых, поскольку по их результатам можно судить о качестве полученных знаний и самих тестовых заданий. [21]

Опытные преподаватели знают, как разнообразит учебный процесс и повышает познавательную мотивацию обучаемых использование каких-то новых элементов в преподавании. Автоматизированные тесты привлекают своей необычностью по сравнению с традиционными формами контроля, возможностью проведения быстрого и объективного оценивания качества знаний. Педагогические тесты при регулярном использовании побуждают к систематическим занятиям по предмету, что способствует формированию дополнительной мотивации к обучению. Оперативность обработки тестов обеспечивает эффективную обратную связь, а в условиях, когда обучаемые могут проходить испытания так часто, как им это потребуется, педагог может добиться гарантированного усвоения базовых знаний, умений и навыков.

Для решения вопросов о конструкции контролирующей системы, стратегии оценивания, использующихся для этого методов необходим анализ того, какой тип обучения будет реализовываться в каждом конкретном случае, поскольку, например, для воспроизводящего типа обучения сами принципы контроля должны в корне отличаться от тех, что могут быть использованы для поискового типа. Далее, существуют проблемы, связанные с чисто измерительными аспектами в процедуре оценивания. Это и выбор валидных материалов для тестирования, и определение подходящих единиц измерения, а также обеспечение того, чтобы процедура оценивания измеряла именно то, что должно быть измерено, надежность оценок и адекватность использующихся для их обработки статистических методов и т. д.'[10]

Автоматизированное тестирование.

Предметные тесты. Говоря об эффективности информационных технологий для организации процедуры оценивания на основе педагогических тестов по определенным предметам, или предметных тестов, ведут речь об использовании вопросов с набором вариантов возможного единственного ответа -- тесты типа MCQ (англ. Multi Choice Question, т.е. вопрос с множественным выбором). Но может потребоваться применение и других вариантов опроса, например, необходимость допускать многократные ответы, ввод текста, чисел в фиксированном или в свободном формате, когда сравнение введенного ответа с эталоном ведется по так называемым ключевым словам.

Автоматизированные тесты типа MCQ представляют достаточно эффективный метод массовой проверки уровня фактических знаний за относительно короткое время. Однако педагоги должны понимать ограниченность возможностей подобного тестирования. Это касается, в первую очередь, использования тестов MCQ для оценки знаний, умений и навыков, связанных с продуктивной деятельностью обучаемого, поскольку подобное тестирование способно выполнить оценку лишь на уровне узнавания или воспроизведения изученных ранее объектов. Но это не отрицает возможности тестов для объективной проверки качества обучения в ходе диагностического и обобщающего тестирования, разумеется, при условии использования большого количества продуманных вопросов с таким количеством вариантов, которое бы поставило в затруднительное положение тех обучаемых, которые рассчитывали угадать ответ.

Современные контролирующие программы обычно не знают ограничений, связанных с необходимостью использования формул (математика, химия и др.): в этих случаях используются или специальные символы, или в текст вопроса включаются графические объекты. [18]

Структурирование вопросов и адаптивные тесты. Автоматизированное тестирование может основываться на различных алгоритмах предъявления вопросов испытуемому, в том числе и на изменяющих ход опроса в зависимости от успешности ответов. Современные контролирующие системы способны адаптироваться и к неверным ответам, предъявляя в этом случае так называемые наводящие вопросы или даже вопросы, содержащие подсказку. Такие функции превращают подобную систему уже в обучающую. Естественно, что алгоритм экзамена или обучения должен быть запрограммирован заранее, так, чтобы с помощью одной и той же программы на одной и той же базе данных с вопросами можно было реализовать и контроль, и обучение. Для наполнения таких систем от преподавателя требуется большая работа по структурированию вопросов: сложный вопрос в случае неверного ответа должен предъявляться в несколько приемов, с тем, чтобы даже более Длинным путем, но подвести обучаемого к правильному ответу.

Традиционно экзамен или зачет, проводящийся с помощью системы автоматизированного тестирования, состоит в том, что экзаменуемому задается определенное количество вопросов независимо от того, насколько хорошо или плохо он на них отвечает, количество набранных баллов при использовании теста такого рода зависит от количества правильных ответов. При этом делается естественное предположение -- чем выше качество знаний тем на большее количество вопросов экзаменуемый отвечает правильно. Такая форма тестирования распространена и используется весьма успешно, однако в применении к конкретному испытуемому количество заданных вопросов может оказаться больше или меньше, чем необходимо для получения адекватной оценки качества его знаний. На практике сложно подготовить тест с вопросами одинаковой степени сложности: в тесте фиксированной длины могут быть вопросы, которые для определенного человека окажутся слишком легкими, и вопросы слишком трудные для него. И в этом случае верные ответы на легкие вопросы и неправильные ответы на трудные вопросы не придадут такому тесту должной степени валидности.

Гораздо лучше, если бы нелинейная тестирующая система могла определять тот уровень сложности вопросов, на котором у экзаменуемого начинают возникать проблемы. Этот уровень мог бы как определить оценку (для экзаменатора), так и выявить сложные места (для экзаменуемого). Целесообразность подобного контроля, адаптирующегося к возможностям обучаемого, следует также из необходимости оптимизировать традиционное тестирование. Для каждого педагога очевиден тот факт, что для обучаемых с хорошей подготовкой легкие задания просто неинтересны, и, наоборот, трудные задания снижают мотивацию к обучению у имеющих относительно слабую подготовку. [26]

Новым шагом в этом направлении стал CAT (англ. computer adaptive test -- компьютерный адаптивный тест). Это тест, в который заложена приспособляемость к возможностям экзаменуемого. Принцип тестирования с использованием СА Т состоит в следующем: при выполнении одного и того же адаптивного теста экзаменуемые с высоким и низким уровнями подготовки получат совершенно разные наборы вопросов: первому будут предложены сложные вопросы, а второму -- легкие. Если в итоге доли правильных ответов у обоих даже совпадут, то первый наберет большее количество баллов, так как он отвечал на более сложные вопросы.

Фирма Microsoft, разрабатывающая и широко использующая такую форму тестов, предлагает для иллюстрации их особенностей сопоставление с соревнованиями по прыжкам в высоту. Прыгун, независимо от его способностей, быстро достигает такого уровня планки, на котором он имеет примерно равные шансы как взять высоту, так и сбить планку. «Баллом» для прыгуна является последняя взятая высота. Для получения высокого балла прыгун не должен брать каждую возможную более низкую высоту, также он не должен пытаться брать более высокий уровень планки.

Пример из области образования будет более наглядным. В ходе устного экзамена учитель обычно сначала задает вопрос средней сложности, и если ученик отвечает правильно, то ему предлагается более сложное задание. В случае же первого неправильного ответа в качестве следующего задается более легкий вопрос. Этот процесс продолжается, и в течение короткого периода времени у учителя постепенно складывается правильное представление о качестве знаний ученика. При этом ему не надо задавать каждому испытуемому слишком легких или слишком сложных вопросов, а достаточно отталкиваться от того уровня сложности вопросов, на которые ученик дал правильные ответы. [33]

Точно так же должен быть организован нелинейный тест типа CAT, обеспечивающий проведение контроля качества обучения на уровне квалифицированного устного экзаменатора. В таком тесте первоначально задается вопрос средней сложности, и полученный ответ немедленно влияет на постепенно формируемую будущую общую оценку. Если ответ правильный, то предполагаемая оценка возможностей экзаменуемого повышается на определенную величину. Затем выбирается и задается более сложный вопрос. Если же ответ на него дан неправильно, то предполагаемая оценка возможностей экзаменуемого снижается, а в качестве следующего вопроса снова предлагается более легкий. По мере того как задаются все новые и новые вопросы, все более точной становится оценка уровня знаний экзаменуемого. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня (или когда будет задано максимальное количество вопросов). Так как точно неизвестно, когда адаптивный тест закончится, то обычно он состоит из переменного количества вопросов, причем минимальное и максимальное значения для количества вопросов устанавливаются заранее.

При прохождении адаптивного теста, возможно, что к моменту завершения испытания менее подготовленный человек может ответить на такое же количество вопросов, что и более подготовленный. Сравнение вопросов, на которые даны правильные ответы, покажет, что более подготовленный ответил правильно и на более сложные вопросы. Следовательно, он получит более высокие баллы. Количество набранных баллов не основано на количестве правильных ответов, а зависит от уровня сложности вопросов, на которые даны правильные ответы.

Главное преимущество адаптивного теста перед традиционным -- его эффективность. Адаптивный тест может определить баллы экзаменуемого с помощью меньшего количества вопросов иногда уменьшая длину теста на 60 %, это -- главная причина, по которой следует отдавать предпочтение адаптивным тестам. [15]

Критериально - ориентированные тесты. Для объективной оценки достигнутого качества обучения, в том числе и при работе с обучающими программами, особый интерес представляют критериально - ориентированные тесты. Проект отраслевого терминологического стандарта Центра тестирования1 определяет критериально - ориентированный тест как частный случай теста, предназначенного для абсолютного, т.е. персонального, тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала. При этом результаты тестирования сравниваются с некоторым заранее заданным критерием уровня подготовленности. Таким образом, речь идет не столько о самих тестах, сколько об интерпретации тестовых результатов.

Педагог может получить ответ на вопрос о том, какие элементы содержания учебной дисциплины усвоены конкретным испытуемым, по сути дела, только в виде вероятностной оценки. При подготовке таких тестов на основе содержания учебной дисциплины строится генеральная совокупность, т.е. однородное множество заданий для измерения качества полученных знаний, умений, навыков. Затем испытуемому предлагается тест -- некая выборка заданий из этой совокупности. Наконец, на основе ответов делается вероятностный вывод о знаниях учебной дисциплины данным испытуемым. Подобные тесты в оригинале носят название Domain-Referenced Tests, что дословно означает содержательно-ориентированные тесты. Понятно, что для надежности результатов требуется основательное определение содержания изучаемой дисциплины и большое число заданий. При этом необходимо, чтобы соблюдались: а) полнота отображения материала образовательной программы при отборе содержания; б) правильность пропорций отдельных разделов и тем предмета (содержательных линий); в) полнота охвата требований государственных образовательных стандартов; г) соответствие содержания заданий знаниям, умениям и навыкам, запланированным для проверки в спецификации тестовых материалов; д) значимость содержания каждого задания для целей проверки. [19]

Подобные тесты можно использовать при проведении экзаменов с точной дифференциацией результатов, поскольку они позволяют получить абсолютную оценку качества обучения. Задания для такого тестирования должны быть ориентированы на диагностику различных уровней усвоения учебного материала: от воспроизведения фактов, понятий, законов и их применения в типовых ситуациях до систематизации и обобщения знаний, позволяющих найти ответ на проблемные вопросы, решить нестандартную задачу и т.д. В таком тесте задания разного уровня имеют разный «вес» -- и по тому, как оценивается их выполнение, и по их относительному числу в общей массе заданий. Подобная особенность характеризует, например, тесты, использующиеся в Централизованном тестировании и при проведении Единого государственного экзамена.

В некоторых случаях испытуемым может быть предложена и относительно небольшая выборка однородных заданий. Такое тестирование можно использовать, например, для проверки овладения (на уровне узнавания и воспроизведения) сравнительно ограниченным набором знаний, умений и навыков, выступающих в качестве заданного стандарта или критерия усвоения учебной дисциплины при проведении зачетов. Здесь можно говорить не только об объективном измерении разноуровневой подготовки, а и о достижении тем или иным испытуемым минимально допустимого уровня. Такой подход удобен для педагогов и организаторов образования в тех случаях, когда необходимо проверить достижение большой группой обучаемых предельно допустимого уровня требований (например, при аттестации учебного заведения). В таких случаях и говорят о критериально - ориентированной интерпретации результатов тестирования, позволяющей сделать основной вывод: что из заданного стандарта и на каком уровне реально усвоено. [22]

Мы затронули только основные моменты, связанные с местом критериально - ориентированных тестов в организации контроля качества обучения. Более подробный ответ на эти и многие другие вопросы можно найти в монографии В.Ю. Переверзева. В этой книге уделяется большое внимание организации не только контроля, но и качественного обучения в школе и вузе с помощью соответствующим образом подобранных тестовых заданий.

Дополнительные возможности ИТО в процессе оценивания качества обучения и развития. Перечислим еще ряд возможностей, открывающихся благодаря использованию ИТО. Помимо непсредственного тестирования имеются и другие направления в процессе оценивания уровня обучения и развития, где информационные технологии могут обеспечить качественно новые результаты.

Случайный выбор параметров вопроса. Автоматизация тестирования открывает, по существу, альтернативный метод создания вопросов (чаще -- контрольных заданий) с помощью вариаций случайно подбираемых параметров вопроса. Такие вопросы имеют фиксированный формат, включающий одну или несколько переменных составляющих, которые могут изменяться при составлении вопроса или в ходе тестирования -- случайным образом или по некоторой формуле. Например, для расчетных заданий могут задаваться случайным образом значения исходных данных, в тестовых заданиях на знание тех или иных определений словосочетания «необходимое условие» на «достаточное условие» и т. п. В таких тестах сами вопросы, по существу, носят формальный характер, однако для многих обучаемых подобные тесты оказываются очень полезными, особенно в тех случаях, когда необходимо отработать определенный автоматизм реакции на ту или иную ситуацию; тогда речь идет, скорее, о тренировочной, чем контролирующей системе. [25]

Создание сетевой базы данных для хранения вопросов. Организация коллективного доступа к базе данных, хранящих тестовые задания и вопросы, очень актуальна при создании единой образовательной среды для учебных заведений любого уровня. С помощью современных коммуникационных технологий (электронная почта, электронные конференции, дискуссионные группы на образовательных Web-camax) ее пополнением и развитием могут заниматься все заинтересованные педагоги, что значительно улучшает качество тестирования.

Автоматизированные системы регистрации и анализа результатов оценивания обученности. Говоря о возможностях информационных технологий для оценивания качества обучения, довольно часто оставляют без внимания как раз ту сферу их применения, которая позволяет добиться быстрых и эффективных результатов. Речь идет о регистрации, хранении, анализе данных по контролю обученности, а также их использовании для оперативного и долгосрочного управления образовательным процессом. Для этой цели педагоги и администрация учебного заведения могут использовать электронные таблицы, системы управления базами данных, пакеты статистической обработки. Все эти программные средства позволяют вносить имеющиеся данные вручную -- в том случае, когда нет возможности автоматически их сгенерировать в электронном виде (например, если соответствующий контроль проводится традиционно -- письменная контрольная работа или сочинение, опрос на уроке и т.п.). Практически все современные программные средства, относящиеся к перечисленным категориям, воспринимают данные, подготовленные с помощью других программ (в нашем случае -- тестирующих) и имеющие какой-либо из стандартных форматов (текстовый, табличный и т.п.), что потенциально расширяет их возможности [8]. Подобная автоматизация позволяет сопоставлять и анализировать качество усвоения различных учебных дисциплин, выявлять и прослеживать те или иные тенденции, проявляющиеся при оценке обученности, что обеспечивает высокий уровень обратной связи и управляемости образовательным процессом.

Итоговые оценки и другая информация -- что важнее. В ряде случаев, особенно для формирующего тестирования, только лишь информация о том, на какое количество вопросов был дан правильный ответ, явно недостаточна для управления образовательным процессом по данной учебной дисциплине конкретного обучаемого. И здесь на помощь преподавателю может придти динамическое отслеживание хода тестирования, когда в специальный файл или базу данных записываются все ответы обучаемого, которые впоследствии могут использоваться для более глубокого анализа и диагностики усвоения учебного материала. Кроме того, в подобных системах фиксируется полный протокол работы испытуемого: количество попыток, предпринятых для прохождения теста, время, затраченное на ответы, на отдельные вопросы и тест в целом.

Протоколирование хода тестирования открывает возможность анализировать не только качество усвоения знаний, умений и навыков, но личностные особенности обучаемых, проявляющиеся в своеобразии прохождения тестирования. Например, протоколирование полных данных позволяет выделить среди «неудачников» тех, кто стремится к наилучшему результату, затрачивая много времени и делая неоднократные попытки. Противоположной можно считать категорию лиц, которые ограничиваются более низкими результатами, но тратят на тестирование значительно меньше времени, чем представители первой группы. Обсуждение с обучаемыми не только самих результатов прохождения теста, но и использованной стратегии поможет педагогу сориентировать их в нужном направлении: в случае недостаточно высоких результатов при первой попытке желательно направить силы обучаемого на устранение пробелов в подготовке, а затем пройти повторное тестирование. [11]

Подобный анализ особенно уместен на этапе промежуточного, диагностического тестирования для улучшения обратной связи. И если на стадии итоговой проверки качества обучения вышеперечисленные параметры (количество попыток, время, затраченное на ответы) играют решающую роль, педагог сможет лучше подготовить обучаемых, уже зная слабые стороны каждого из них и руководствуясь целями проводимого тестирования.

Вопросы безопасности. При переходе к автоматизированному тестированию преподавателей волнуют вопросы безопасности, защиты тех материалов, на основе которых проводится тестирование, и данных, представляющих его результаты. При подготовке соответствующего программного обеспечения разработчики обычно предусматривают определенные средства защиты: доступ к базе данных с вопросами теста осуществляется по паролю, который обновляется по прошествии определенного промежутка времени. При наличии достаточного числа компьютеров эффективным оказывается проведение одномоментного тестирования для всех обучаемых или, в крайнем случае, с разбивкой потока на две группы, проходящих тестирование непосредственно друг за другом. Кроме того, при одновременном тестировании группы обучаемых можно использовать один и тот же набор вопросов, но предъявлять их в различном порядке. Еще лучше эта проблема может быть решена при наличии базы данных с вопросами, обеспечивающими проведение сопоставимых, но не идентичных испытаний. Информационные технологии в качестве инструмента управления. Имеется множество примеров интегрированных обучающих систем, включающих полную структуру учебного курса: лекции, задания для практической работы, средства проверки качества усвоенных знаний, дополнительные ресурсы для самостоятельной и творческой работы в виде демонстрационных и моделирующих программ. Однако управление контролирующим модулем даже для таких систем может оказаться более эффективным на основе других, самостоятельных технологических средств. Например, в системе дистанционного обучения или при организации самостоятельной работы обучаемый может получить в свое распоряжение программу, но для более эффективной работы необходимо взаимодействие с педагогом-наставником, который очно или с помощью электронной почты может вовремя напомнить о необходимости подготовки к очередному тестированию, ответить на имеющиеся вопросы, оптимизируя тем самым ход образовательного процесса [16].

Компьютеры представляют собой идеальный инструмент для мониторинга частоты обращения к тем или иным электронным образовательным ресурсам (образовательный сервер, электронная библиотека, обучающие программы и т.п.) для улавливания тенденций в ходе образовательного процесса как на уровне отдельных обучаемых, так и групп, раннего обнаружения многих проблем, связанных с успеваемостью. Последовательное занесение на протяжении нескольких лет в электронный классный журнал результатов обучения по отдельным разделам изучаемой учебной дисциплины дает педагогу и администрации учебного заведения возможность провести анализ и сделать выводы о достоинствах и недостатках использующихся учебников и об адекватности методических приемов. Наличие такой информации особенно полезно для начинающих педагогов, способных ориентироваться на объективные данные о результатах работы своих более опытных коллег.

Психологическая диагностика обучаемых. Помимо оценивания обученности педагогу очень важно иметь ясное представление об индивидуальных особенностях обучаемых, о формировании и развитии их личностных качеств: общих и специальных способностей, обучаемости, интеллекта, креативности, памяти, быстроты реакции, коммуникабельности и т.д. Только такое комплексное исследование может обеспечить полное представление о ходе образовательного процесса и его результатах. Речь идет о психологической диагностике, которая также может быть проведена с помощью автоматизированного тестирования. Разумеется, речь не идет о том, чтобы учи гель заменил собой психолога, но представлять себе возможности, достоинства и недостатки автоматизированной психодиагностики должен каждый педагог [6].

Необходимо различать компьютерные версии уже известных «бумажных» тестов и компьютерные тесты, специально разработанные с учетом возможностей современных технологий. В большинстве случаев тесты последнего типа в бумажном виде уже непригодны, так как они могут использовать мультимедиа-информацию, динамически адаптироваться к действиям испытуемого и т.д. Автоматизируется;психологическая диагностика и в тех случаях, когда «бумажного» прототипа не может существовать в принципе. Так, при диагностике параметров внимания, памяти, реакции технология мультимедиа позволяет предъявлять испытуемым различные стимулы. И в зрительном, и в слуховом вариантах. Еще одна новая область приложения возможностей мультимедиа-технологии -- это ситуационные тесты, основанные на ролевых играх. Сама ситуация, в которой должен проявить себя испытуемый, задается предельно реалистично с использованием аудио-, видеоэффектов, анимации. Но, что более важно, аналогичный же характер носит и представление вариантов возможных реакций испытуемого. Такие тесты помимо диагностической функции могут носить и обучающий характер, наглядно показывая испытуемому последствия его выбора и подсказывая, как можно исправить совершенную ошибку [3].

Использование информационных и коммуникационных технологий в той или иной мере коснулось всех этапов психодиагностического тестирования: упростилось создание тестов благодаря использованию специальных систем-конструкторов, облегчилось проведение группового тестирования, резко повысилась оперативность первичной обработки и интерпретации результатов. Прослеживается также тенденция передачи управления тестированием компьютерным программам: если ранее автоматизировались лишь определенные стадии тестирования, например, предъявление материала, первичная обработка данных, интерпретация результатов, то на современном этапе все чаще можно встретить программы, выполняющие целиком все исследование вплоть до конечных выводов. На первый взгляд, кажется, что это сводит необходимость участия психолога к минимуму, однако все не так просто и пользоваться такими программами нужно очень осторожно.

С одной стороны, безусловными преимуществами компьютерной психодиагностики являются оперативная и безошибочная обработка данных, обеспечение стандартных и объективных условий тестирования для всех испытуемых, автоматизированный контроль за самой процедурой тестирования (хронометраж, отслеживание недопустимых или пропущенных ответов). Кроме того, можно обеспечить наглядность и занимательность процесса тестирования, поддерживая внимание с помощью цвета, звука, игровых моментов, что особенно важно для учащихся младшего возраста. Специалист-психолог также высоко оценит возможность объединения тестов в «батареи», т.е. общие комплексы с единой итоговой интерпретацией, возможность проведения массовых исследований через локальные сети или Internet [9].

С другой же стороны, испытуемых нужно готовить к работе за компьютером и особенности этой работы будут накладываться на данные тестирования. Далее, часть психодиагностической информации просто теряется без личного контакта психолога с испытуемым. Наконец, качество и полнота интерпретации результатов тестирования также могут быть весьма ограниченными. Поэтому если педагогу совместно с психологом предстоит принять важное решение в отношении конкретного испытуемого (зачисление в профильный класс, обучение по особой программе, выбор профессии и т.п.), нужно использовать самую разностороннюю информацию, не ограничиваясь компьютерной диагностикой: личное общение с испытуемым, анализ результатов предыдущих тестирований, психологическая диагностика родителей и т.д. Компьютерные психодиагностические программы не заменяют собой психологов, и с ними должны работать профессионалы, умеющие точно определить границы их применимости.

Компьютерные тесты, поставляющиеся на компакт-дисках или доступные в сети Internet, реализуют как традиционные и надежные методики, заслужившие доверие среди практических психологов, так и требующие длительной проверки. В последнем случае необходимо перед заказом программы ознакомиться с демонстрационной версией. Разобраться в многочисленных предложениях, исчисляемых сотнями тестов, довольно трудно. Поэтому на практике была бы удобной определенная классификация соответствующих программных продуктов. Можно выделить разновидности тестов по следующим признакам. По структуре:

а)аналоги бланковых тестов;

б)собственно компьютерные тесты (КТ). По количеству испытуемых:

а)КТ индивидуального тестирования;

б)КТ группового тестирования (компьютеры объединены в локальную сеть, на все компьютеры идет подача материала теста, на сервере локальной сети проводится обработка и создание базы данных).

По степени автоматизации тестирования:

а)автоматизирующие один или несколько этапов исследования;

б)автоматизирующие все исследования. По решаемой задаче:

а)диагностические КТ;

б)обучающие КТ (тесты-тренажеры, развивающие программы, совмещающие диагностику с возможностью тренировки, обучения).

По адресату:

а)профессиональные психологические (пользователь -- психолог);

б)полупрофессиональные (пользователь -- не психолог, например, в помощь педагогу или менеджеру по персоналу), с упрощенной интерпретацией;

в)непрофессиональные (развлекательные).

Наиболее широко на российском рынке программного обеспечения представлены в различных вариантах следующие компьютерные психодиагностические тесты:

СМИЛ -- многофакторный метод исследования личности (отечественный вариант MMPI, Minnesota Multiphasic Personality Inventory -- Миннесотский многофазный личностный опросник) на основе диагностики психического состояния, его динамики под воздействием внешних факторов, широкого спектра типологических особенностей личности и поведения, уровня и качества социальной адаптации, специфики защитных механизмов и эмоциональных реакций в стрессовых ситуациях;

цветовой тест Люшера (диагностика актуального состояния на основе цветовых предпочтений);

диагностика межличностных отношений Лири (выделяет восемь типов межличностного поведения и их сочетаний и личностных особенностей, существенных для межличностного взаимодействия, выявляет зоны актуальных личностных конфликтов, уровень и направленность межличностных притязаний, а также причины нарушения общения в малых группах; позволяет определить степень удовлетворенности собой в межличностных контактах и изменение социально-психологических свойств личности под влиянием различных факторов);

- интеллектуальные тесты Айзенка и Векслера (диагностика уровня интеллекта и преобладающего стиля мышления);

- интеллектуальный тест Кеттелла для измерения уровня так называемого «флюидного интеллекта», который является относительно независимым от внешних факторов и в большей степени связан с прирожденными интеллектуальными способностями;

- множество тестов относительно частного характера, использующих методики зарубежных и отечественных психологов (проверяющих невротические нарушения, тревожность, взаимоотношения в семье, самоконтроль, активность и т.д.).

Подобное программное обеспечение разрабатывается и специализированными фирмами, и непосредственно в учебных заведениях и научно-исследовательских институтах. Но в любом случае официальная поставка программ предусматривает предоставление методических рекомендаций по их установке и использованию, а при необходимости и обучение работе с ними. [7]

Очень важно то, что благодаря возможностям информационных технологий удается совместить диагностику развития и обученности, учитывать личностные особенности испытуемых при проведении автоматизированного предметного тестирования. Например, исходя из показаний диагностики быстроты реакции обучаемого, его психоэмоционального состояния, можно индивидуально подбирать контрольное время, выделяемое для прохождения предметного тестирования, тип заданий (известно, что у некоторых испытуемых тестовые задания открытого типа вызывают состояние тревожности, влияющее на показатели2). Очень интересным направлением является создание обучающих программ, настраивающихся на определенного обучаемого и выводящих итоговые результаты процесса обучения, исходя из комплексной диагностики его личностных качеств и обученности: определение социотипа, креативности, уровня компетентности учащихся в заданной тематике.

Почти все разновидности существующих тестов могут найти применение в учебных заведениях: тесты интеллекта, общих и специальных способностей, личностные тесты. Все они постепенно становятся необходимым инструментом школьных психологов, а педагогам и администрации часто приходится действовать в соответствии с тем, какие результаты дало их проведение.

1.5 Значение тестового контроля в условиях реформы российского образования

Тестирование - очень эффективный и популярный сегодня в мире метод. Он позволяет (в режиме лимитированного времени):

ѕ небольшими «порциями» проверять знания по достаточно большим разделам;

ѕ помогает в процессе обучения на уроке, например, при обучении решению текстовых задач с меняющимся сюжетом, что приводит к созданию динамических математических моделей;

ѕ самостоятельно тренироваться в решении задач теста и при этом иметь возможность самоконтроля;

ѕ готовиться к математическим соревнованиям, конкурсам, олимпиадам с помощью тестов нестандартных задач и т.д.

Педагогические тесты становятся все более популярными и используемыми в процессе обучения математике. Использование компьютера для тестирования ведет к существенному изменению роли пользователя вплоть до приобретения учения решать с помощью программного обеспечения различные информационные задачи. При этом предусматривается, что компьютерная грамотность и информационная культура должны быть для современных старшеклассников важными общеучебными умениями и навыками. [12]

Компьютерное тестирование является компонентом компьютерной учебной математической средой. В силу этого открываются большие методические возможности при работе с самой разнообразной информацией в процессе обучения. Внедрение сопровождается следующими инновациями:

1. применение уровневой дифференциации (вариантность как дидактическая инновации);

2. использование профильной дифференциации (различные системы задач в зависимости от профиля образования);

3. осуществление контроля знаний на качественно новом уровне дидактического принципа наглядности.

Одна из сред тестирования, которую можно с успехом применять для контроля знаний на уроках математики - это АСТ.

АСТ - адаптивная среда тестирования.

Применение АСТ:

1) аттестация выпускников;

2) типологическая классификация и рациональная аттестация студентов и учащихся;

3) репетиционное тестирование;

4) создание банка тестовых заданий.

АСТ состоит из следующих программ:

1) Конструктор тестовых заданий - предназначен для создания и формирования семейства тестов на его основе.

2) Система тестирования - предназначена для тестирования студентов в заданном ритме.

3) Администратор - предназначена для задания графика тестов и доступа к ним учащихся.

Используемая в АСТ модель генерации теста сводится к поиску подходящей по определенным критериям комбинации тестовых заданий, имеющихся в ИТЗ. Среда позволяет осуществлять динамическую структуризацию накопителя тестовых заданий и настройку на различные алгоритмы оценивания результатов тестирования. Одни и те же задания могут быть использованы в различных тестах.

Для формирования заданий в тестовой форме и занесения его в накопитель тестовых заданий используется мастер тестовых заданий, встроенный в конструктор тестов. [8]

Генератор тестов определяет значения параметров, на основе которых динамически в процессе тестирования, формируются тесты из тестовых заданий, содержащихся в накопителе.

АСТ позволяет создавать тесты 4 форм: открытой, закрытой, на упорядочение, на соответствие.

Генератор тестов позволяет задать:

Алгоритм тестирования:

Строго последовательный - задания будут предъявляться в соответствии с их номерами (№ в с.п.), которые можно просмотреть (изменить) в расширенном списке ТЗ.

По возрастанию сложности - задания будут предъявляться в порядке возрастания их трудности (мера трудности), которую можно просмотреть (изменить) в расширенном списке ТЗ.

Случайного выбора - задания предъявляются в случайном порядке.

Адаптивная классификация - используется алгоритм адаптивного предъявления заданий для определения класса уровня знаний тестируемого.

Адаптивная аттестация - используется алгоритм адаптивного предъявления заданий, которые выбираются только для заданного тестируемым класса трудности (или соответствующего ему уровня знаний).

Режимы контроля

Самоконтроль - используется при контроле уровня знаний, допускается прерывание процесса тестирования, результаты тестирования не регистрируются.

Мягкий контроль - используется при контроле уровня знаний, допускается прерывание процесса тестирования, регистрация результатов тестирования обязательна и осуществляется по желанию тестируемого.

Жёсткий контроль - используется при контроле уровня знаний, не допускается прерывание процесса тестирования, регистрация результатов тестирования обязательна.

Для того чтобы провести тестирование необходимо:

ѕ из созданных тестовых заданий составить тест;

ѕ выбрать алгоритм тестирования;

ѕ выбрать способ оценивания, задать шкалу тестирования;

ѕ установить временные ограничения;

ѕ выбрать доступный режим контроля;

ѕ задать день тестирования в графике (администратор).

Актуальность применения АСТ на уроках математики:

1) При создании тестового задания существует возможность, используя редактор формул, вставлять формулы, как в формулировку вопроса, так и в варианты ответов (кроме открытой формы).

Возможность использования графических изображений (в цвете, сканированных, созданных с помощью графических редакторов). Это имеет большое преимущество при изучении графиков, геометрических фигур [21].

Единый государственный экзамен (ЕГЭ) по математике значительно отличается от выпускного экзамена, который обычно проводится в школе по окончании 11 класса. Прежде всего, отличие состоит в том, что ЕГЭ совмещает два экзамена - выпускной школьный и вступительный в высшее учебное заведение (вуз), а пересдавать ЕГЭ пока невозможно в отличие от вступительных экзаменов в вуз.

Поэтому при подготовке к сдаче ЕГЭ необходимо повторять не только курс «Алгебры и начал анализа», но и некоторых разделов курса математики основной и средней школы: проценты; пропорции; арифметическая и геометрическая прогрессии; планиметрия 7-9 классов и стереометрия 10-11 классов.

Чтобы повторить практически весь школьный курс математики нужно серьезно потрудиться. Тест ЕГЭ по математике представляет собой тесты успеваемости, которые подразделяются на два вида: тесты скорости и тесты мощности. В тестах скорости у испытуемых обычно не хватает времени ответить на все вопросы, а в тестах мощности содержатся заведомо трудные задания, непосильные для большинства испытуемых.

В тесты ЕГЭ по алгебре в 2007 году включены задания двух направлений. Решить все задания абсолютно правильно за отведенное время может лишь один из десяти тысяч школьников. При подготовке к экзамену нужно определить планируемый результат экзамена. Если школьник честно сформировал ответ, то можно получить «актуальный потолок» обучаемого.

В педагогической практике сложилось мнение, что всякая данная ученику задача должна быть решена и правильно оформлена. Учитывая, что традиции ЕГЭ еще не сложились, нетрудно догадаться, перед какой сложной задачей поставлены наши школьники [8]. Следовательно, для достижения хороших результатов важна техническая подготовка и методическая подготовка учащихся.

При подготовке к ЕГЭ мы учим школьников технике сдачи теста. Одним из моментов данной техники является обучение постоянному самоконтролю времени, стараемся научить школьников экономить время для решения более сложных заданий. В среднем на выполнение одного задания требуется девять минут, а это время надо рационально использовать. Практика показывает, что на решение заданий части 1 рекомендуется отводить от одной до двух минут, на решение заданий части 2 - от пяти до семи минут, а остальное время отвести на решение заданий части 3.

Следующим моментом техники сдачи теста является оценка объективной и субъективной трудности заданий и, соответственно, разумный выбор этих заданий для первоочередного решения.

Также необходимо учить школьников минимальной проверке выполненных заданий, проводимой сразу после решения задания.

И, наконец, необходимо уделить внимание обучению приему «спирального движения» по тесту. Задания теста надо просмотреть от начала до конца и отметить для себя то, что кажется простым, понятным и легким, т.е. выполнить те задания, которые можно выполнить сходу, без особых раздумий. После выполнения данных заданий следует еще раз просмотреть тест и определить следующие задания, которые можно попробовать решить. Возможно, найдется задание, которое к данному моменту «созрело». Чтобы это произошло, при подготовке к экзамену особое внимание надо уделить на «западающие» темы, такие как:

- нахождение области определения, области значения функции;

- исследование функции;

- производная и первообразная функции;

- решение задач на проценты;

- решение геометрических задач.

Результаты ЕГЭ по алгебре показали, что при решении заданий по указанным темам учащиеся получают низкие баллы. Особенно это прослеживается в результатах выполнения заданий части 2. Выполнение этих заданий дает возможность достаточно точно выделить тех учащихся, которые могут успешно справиться с более сложными заданиями.

Учитывая тот факт, что выполнение заданий типа В дает ученику наибольшее количество баллов, целесообразно уделить внимание на подготовку именно по этому разделу.

Часть 3 состоит из трех заданий высокого уровня сложности. Их сложность определяется необходимостью использования материала, который относится к различным разделам курса математики средней школы и разработать новый метод решения. При решении этих заданий требуется умение не только найти правильный ответ, но и обосновать полученные выводы, построить логически грамотную цепочку рассуждений, а также математически грамотно записать решение.

Результаты ЕГЭ по математике показали, что к решению заданий части 3 приступают около 10% тестируемых, следовательно, эту категорию легко выявить на подготовительных курсах ЕГЭ по математике.