Размещено на http://www.allbest.ru/

Московский центр качества образования

Гущин Ю.Ф.

Психологические факторы тестовых заданий

1. Факторы, определяющие понимание тестовых заданий

Тестовые задания можно рассматривать как разновидность сообщений или текстов, адресованных учащимся с определенной целью. Цель этих сообщений состоит в том, чтобы проверить и оценить их знания по соответствующим разделам учебного материала. Но вначале эти сообщения должны быть правильно (адекватно) поняты учащимся. Если этого нет, то трудно ожидать, что цели оценки будут реализованы и достигнуты.

Подход к тестовым заданиям как информационному сообщению, которое вначале должно быть воспринято и понято учащимся, а затем на него должна последовать ответная реакция соответствует информационному подходу к рассмотрению общения. По модели общения, как деятельности по обмену информацией, в его структуре различают следующие составляющие: источник информации, сообщение, передающие каналы и тот или те, кто эту информацию принимает (индивид, группа индивидов, аудитория слушателей). По этой модели эффективность общения зависит от характеристик этих составляющих. Так, например, источник информации оценивается в этом случае по шкале «доверие - недоверие», а сообщение - по шкале «понимание-непонимание». Доверие или недоверие к источнику информации зависит в основном от того, воспринимают ли те, кому предназначена информация, как «своего» или «чужого».

Этот фактор имеет незначительное влияние в ситуациях обучения и проверки знаний. Более того, психологи считают, что в ситуациях проверки знаний наиболее благоприятным является нейтральное отношение к источнику информации (что, собственно, и реализуется в полной мере при использовании тестов и тестирования). Хотя, заметим, и этот фактор нельзя недоучитывать. Неизвестный в данном случае источник информации (авторами тестов является, как правило, группа или коллектив специалистов) не означает то же самое, что «нейтральный». Неизвестность часто ассоциируется учащимися с тревожным фактором и угрозой. Неизвестность и неизвестное многих страшит, а поэтому для снижения отрицательного влияния этого фактора следует, видимо, сообщать учащимся, кто является автором тестов - учитель-предметник, или группа учителей-предметников данной школы, или опытные специалисты специального центра по разработке тестов. Имеет смысл сообщать также, что данные тесты были уже опробованы в других классах или школах и в них заложено только то содержание, которое уже освоено школьниками. При этом целесообразно конкретизировать те темы и разделы, по которым проводится проверка знаний. понимание тестовый задание логика

Более значимыми для контроля с помощью тестов являются характеристики сообщения. В тестах функция сообщений представлена в формулировках (утверждениях, вопросах и/или текстах) тестовых заданий. Сообщения, как уже отмечалось выше, оцениваются по шкале понимания-непонимания. С этой точки зрения понимание может быть полным, неполным, частично или значительно затрудненным, искаженным и т.д. Эти характеристики зависят от того, какие барьеры возникают у учащихся на пути понимания сообщений. Известный советский историк и психолог Б.Ф. Поршнев предложил следующую классификацию этих барьеров: он выделяет фонетический, семантический, стилистический и логический факторы (уровни), определяющие понимание-непонимание. Рассмотрим, что означают эти уровни применительно к тестам и тестированию [4].

Фонетический уровень. Обусловленное этим фактором влияние на понимание возникает в ситуации, когда затруднения возникают на фонетическом уровне. Наиболее типичным является случай, когда непонятен сам язык сообщения. Неполное понимание или искаженное понимание может возникать, когда говорят быстро, невнятно, с акцентом или когда используются незнакомые или несоответствующие контексту слова, затрудняющие правильное понимание текста в целом. С учетом сказанного трудно предположить, что формулировка какого-то задания окажется непонятной на фонетическом уровне. Поэтому и примеры такого рода формулировок практически невозможно воспроизвести. Исключение представляют задания на языке, не известном тестируемому. Такое может быть в тестах по иностранному языку. Однако в этом случае это не недостаток теста или отдельных формулировок, а показатель неподготовленности по данному предмету самого учащегося.

Семантический уровень. Такое непонимание возникает, например, в связи с многозначностью слов языка. Некоторые слова многозначны по смыслу и их понимание зависит часто от контекста и его понимания. «Смысловые поля» слов у разных людей различны. Поэтому одни и те же слова могут пониматься по разному. Непонимание на стилистическом уровне может возникать и при использовании текста, в котором используются специальные научные термины или профессиональный жаргон. В этом случае специалистам такой тест будет совершенно понятен, а неспециалистам (к числу которых можно отнести и учащихся) - нет.

Пример 1. «В полемике против сенатора от штата Флорида К. Пеппера, его противник заявил: «…все ФБР и каждый член конгресса знают, что Клод Пеппер бесстыдный экстраверт. Более того, есть основания считать, что он практикует непотизм по отношению к свояченице, сестра его была феспианкой в греховном Нью-Йорке. Наконец, и этому трудно поверить, хорошо известно, что до женитьбы Пеппер практиковал целибат». В результате этого К. Пеппер потерпел поражение на очередных выборах. Что, на ваш взгляд, сыграло решающую роль в поражении сенатора?» [5].

В данном примере используются такие понятия, как «экстраверт» - общительный человек, «непотизм» - покровительство родственникам, «феспианка» - поклонница драматического искусства, целибат - безбрачие. В этом случае наблюдается перегруженность текста терминами и выражениями, которые, вероятно, могут быть известны и понятны только специалистам в данной узкой области. Все это конечно, существенно затрудняет понимание данного текста.

В одной из публикаций приводятся результаты исследования, проводившегося со студентами первого курса в г. Новокузнецке. Им предложили дать определения словам, входящим в обычную газетную лексику: бундесвер, экскалация, левые силы, вояж и др. Всего в эксперименте участвовало 112 человек; было получено 1120 ответов. Результаты эксперимента таковы: правильными оказались 7% ответов, неточными - 39%, неправильными 54%. Из 112 человек не знали значения слова «вояж» - 57 человек, «координация» - 66, «либерал» - 65; не смогли правильно объяснить, что такое «курс акций» - 94 человека, 54 - не дали определения понятию «левые силы».

В ЕГЭ в заданиях категории «С» (с развернутым ответом) часто используются оригинальные тексты из научных, научно-популярных, газетных и др. типа публикаций. Поэтому в них могут встречаться термины и слова, непонятные тестируемым, что может приводить к непониманию или искаженному пониманию всего текста. В результате это скажется на качестве выполнения задания.

Стилистический уровень. Непонимание в этом случае возникает из-за несовпадения содержания и формы сообщения: нарушаются синтаксические нормы письменной речи.

Пример 2. Специалиста, окончившего вуз, просят написать «Резюме», которое содержало бы его профессиональную историю, а он в ответ излагает свою автобиографию.

Несовпадение стиля и содержания может встречаться в заданиях «С», когда выпускника просят написать сочинение-рассуждение, эссе или отзыв, а он демонстрирует непонимание стилевых особенностей и пишет в ответ текст, в котором отсутствуют признаки рассуждения, или отзыв, в котором отсутствуют оценки и/или обоснования.

К непониманию может приводить, кроме того, стилевое пере усложнение текста.

Логический уровень непонимания. В этом случае непонимание может быть связано или с нарушением логических норм и правил построения текста или с неприятием учащимися логики коммуникатора (источника информации). При этом следует учитывать, что существуют разные логики и разные люди не в одинаковой степени владеют этими логиками. Уже в самом по себе разнообразии логик заложены основания для непонимания. Логика может восприниматься как «своя» и чужая». «Чужая логика - «неправильная», как могут считать некоторые люди, и, следовательно, к ней следует относиться недоверчиво или пренебрежительно. Если мы отказываем логике сообщения в правильности, то на нас не произведут никакого впечатления разнообразные «следовательно», «исходя из ..», «мы можем заключить..», «потому что ..» и т. п., так как это может рассматриваться как подделка под логику и ей поэтому выражается недоверие. В таких случаях сообщение натыкается на логический барьер непонимания.

Возможны ли логические барьеры в педагогических тестах? Вероятно да, поскольку логические нормы (правила) построения тестов иили отдельных предложений (утверждений) известны далеко не всем составителям тестовых заданий и не все умеют ими пользоваться.

Логические барьеры, затрудняющие понимание, иногда встречаются в тексте инструкций к заданиям с развернутым ответом. Первое, что требуется от учащегося при выполнении заданий группы «С», это - правильно понять, что нужно делать. Если инструкция или формулировка задания недостаточно четки и определенны, то это может повлечь за собой непонимание и как следствие ошибки при выполнении задания. Если инструкция адресована учителю или лицам, ответственным за проведение тестирования, то неверное ее прочтение также в конечном счете отразится на качестве деятельности учащихся.

Пример 3. «Желательно, чтобы в сочинении в той или иной форме

- были отражены основные мысли автора: в условиях «многолюдства» особенно важно поддерживать выработанные человечеством этические нормы, быть воспитанным человеком - вежливым и внимательным при любых обстоятельствах по отношению ко всем окружающим, не только знакомым, но и посторонним, чужим людям;

- отмечены разнообразные языковые средства и стилистические приёмы, характерные для данного текста: парцелляция, неожиданные сочетания слов и сравнения, придающие фразам ироническое и саркастическое звучание, пародируется динамичный стиль репортажа и т.п.». (один из вариантов инструкции к заданиям «С» демо-версии 2003 г.). Здесь есть, на наш взгляд, почва для неоднозначной трактовки текста инструкции. В частности, четко не говорится о том, что означает в данном случае «желательно» и «в той или иной форме …»? Можно по разному понимать и трактовать эти требования. Если возможны разные трактовки (в том числе экспертов, проверяющих задания), то это будет влиять на результат и оценку.

Пример 4. «Если одаренность понимать как высокий темп антропологического роста и высокий уровень обучаемости (последнее соответствует идеям Л.С. Выготского), и если предположить, что в ходе обучения даже в обычных школах дети могут сталкиваться с ситуациями, способствующими развитию у них вышеназванных способностей, например, когда педагоги более или менее целенаправленно демонстрируют свое собственное понимание или рефлексию, (а также развитие способностей могло идти через книги, через взаимодействие с другими взрослыми и т.д.), то, если старшеклассник это «взял», то есть взял образцы - соответствующие способы рефлексии и понимания, особенно взял достаточно сложные культурные образцы, он может считаться одаренным (по крайней мере в данной сфере своих проявлений) Текст из статьи Н.М. Амяги «Исследование развития способностей рефлексии, понимания и мировозренческого самоопределения старшеклассников».».

В данном случае причиной непонимания (или затрудненного понимания) является смысловая перегруженность текста, т.е. когда разные смысловые единицы объединены в одном предложении и представляют собой «поток сознания».

2. Учет психологии тестируемых

При проведении тестировании нередки случаи, когда учащиеся пытаются угадать правильный ответ. Это происходит в том случае, когда учащиеся не готовы к контролю, а тест содержит «закрытые» задания (с несколькими вариантами ответа, один из которых правильный). В этой ситуации предлагаемые варианты как бы провоцируют угадать правильный ответ. При этом, как правило, угадывание происходит не «вслепую», а опирается на определенную логику. По сути говоря, учащийся пытается использовать какие-то рациональные и иррациональные признаки и стратегии поведения, которые позволяют определить правильный вариант ответа.

Психологию необходимо учитывать при разработке и отборе заданий для теста. Приведем некоторые типичные психологии. В этом разделе используется материал из кн. «Основы психодиагностики» по ред А.Г. Шмелева - «Феникс», Р-на-Дону, 1996, ч. 2, р. 3.7. .

1) Выбирай «золотую середину. В соответствии с этой логикой учащийся полает, что автор задания всегда располагает правильный ответ между двумя неправильными. Поэтому целесообразно ставить правильный ответ так, чтобы он не совпадал с этой логикой. Например:

1.1 При условии экономического развития Эфиопии естественный прирост населения в ней

а) повысится

б) понизится

в) останется без изменений.

Клубни картофеля образуются на концах

а) боковых корней