В этой связи важным является вопрос о принципиальной возможности измерения качества усвоенной учебной информации и типе числовой шкалы, по которой оно производится.

С развитием информационных телекоммуникаций и компьютерной техники открываются новые возможности в образовательных технологиях. Можно выделить пять этапов эволюции развития контроля знаний, которые отражают формы его организации и роль преподавателя (тьютора) в этом процессе (рисунок 3.1.1). Применение в учебном процессе того или иного подхода зависит от технического и/или методического обеспечения учебного заведения, а также от возможности использования преподавателем в своей работе компьютерных технологий [7].

По сравнению с традиционными формами контроля знаний, компьютерный контроль знаний, умений и навыков имеет ряд преимуществ: использование новейших методик проверки и оценки знаний студентов, современных информационных технологий, возможная адаптация к индивидуальным характеристикам студентов [24].

Однако, применение компьютерных технологий в учебном процессе требует более четкого и однозначного определения целей контроля, отбора методического материала для оценки знаний и умений студентов, с учетом цели проводимой проверки, а также разработки модели(ей) контроля и оценки знаний [13].

Рис.3.1.1. Эволюция контроля знаний

В традиционных формах обучения любая проверка знаний обучаемого проводится исключительно с тем, чтобы помочь ему выявить пробелы в его образовании и адекватно оценить уровень его знаний. Однако когда мы начинаем рассматривать дистанционное обучение как равноценный традиционному обучению способ подготовки квалифицированных специалистов, тогда извечная для системы образования проблема контроля знаний и умений может возникнуть и в системе дистанционного образования. Ведь признание за пределами учебного заведения выдаваемых им дипломов и сертификатов в первую очередь зависит от того, насколько реальные знаниями обладает их владелец. Причем сама форма дистанционного обучения значительно усложняет полноценный контроль знаний, из-за разнесенности в пространстве, а иногда и во времени обучающегося и преподавателя [11].

Разумеется контроль знаний в системах дистанционного обучения имеет ряд своих преимуществ:

· Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов проводится через компьютер.

· Демократичность. Все экзаменуемые находятся в равных условиях.

· Массовость и кратковременность. Возможность за определенный промежуток времени проверить знания у большего количества экзаменуемых [25].

Но так же, например, остаётся проблема идентификации личности при дистанционном обучении, в частности при прохождении контроля знаний. Пусть мы уверены, что экзаменуемый не мошенничает во время проверки знаний, но откуда мы знаем, что с нами взаимодействует именно тот человек, который является обучающимся, а не кто-нибудь другой? Этот вопрос до сих пор остаётся нерешённым, и пока что в системах открытого дистанционного обучения данное обстоятельство можно регулировать лишь принуждая обучающихся к периодическим чат-общениям и видеоконференциях, что не всегда возможно и приемлемо, как для обучающихся так и для организаторов той или иной системы дистанционного обучения.

Надо отметить, что в таких системах контроль может базироваться на одном из двух подходов. Первым подходом является контролирование активности обучающегося. Такая система иногда применяется преподавателями, где обучающемуся для того, чтобы ему был засчитан курс, необходимо посетить какое-то определенное число лекций и практических занятий или отработать лабораторные работы. Подобный подход был бы самым простым в реализации. Но недостаток такого подхода очевиден: это отсутствие гарантии того, что обучающийся, действительно, получает от занятий, которые он посещает, необходимые ему знания. Другой подход основан на выявлении компетентности обучающегося в изучаемом предмете, т.е. важно не то, сколько занятий посетил обучающийся, а именно то, насколько хорошо он разбирается в материале и умеет его использовать. Именно такой подход к контролю знаний наиболее часто используется в системе дистанционного образования. Использование второго подхода является более прогрессивным.[14]

Вообще при проектировании системы дистанционного обучения, в особенности открытого, к контролю знаний следует подойти очень серьёзно, т.к. контроль знаний в таких системах требует тщательной проработки как методов контроля так и их реализации. Современная система контроля знаний в дистанционном обучении предполагает следующее:

· последовательное функциональное проектирование автоматизированной системы (каждый этап разработки интеллектуальных агентов требует подробного схематического описания с указанием последовательности производимых этим агентом действий);

· подробную спецификацию архитектуры распределенных интеллектуальных агентов, входящих в автоматизированную систему (интеллектуальные агенты, входящие в состав мультиагентной системы, проектируются локально, с учетом выполнения ими конкретно поставленной задачи);

· целостное функциональное взаимодействие всех внутренних процессов, составляющих автоматизированную систему (интеллектуальные агенты взаимодействуют между собой по запланированной схеме в пределах всей автоматизированной системы);

· формализуемость представления знаний человека (интеллектуальные агенты оперируют формализованными знаниями человека, и от степени формализованности этих знаний зависит успешность работы всей автоматизированной системы в целом) [27].

Здесь под «интеллектуальными агентами» понимаются программные части (скрипты) системы контроля знаний. Другой специфической особенностью автоматизированной системы оценки и контроля знаний при дистанционном обучении является интегрирование в среду данной автоматизированной системы сетевых технологий, позволяющих реализовать основной принцип дистанционного обучения. Универсальным решением этой проблемы является построение серверных агентов, отслеживающих запросы, направляемые на сервер и динамически формирующих соответствующие серверные ответы [11].

Помимо серверных агентов в автоматизированной системе должны быть предусмотрены специальные криптографические агенты, реализующие задачу сокрытия контрольной информации от свободного доступа обучаемого пользователя автоматизированной системы. Примером рассматриваемой автоматизированной системы оценки и контроля знаний является комплекс программного обеспечения, состоящий из электронного учебника, содержащего формальные данные в конкретной области знания, и из тестирующей системы, разработанной на основе архитектуры «клиент-сервер».

Как и в традиционном обучении, контроль знаний в дистанционном обучении имеет свои методы и модели. Процесс контроля знаний здесь состоит из трех этапов: формирование вопросов для контроля знаний на основе контрольных заданий, хранящихся в базе данных; выдача их обучающемуся и получение его ответа, возможно, с обратной связью; выставление оценки за контроль. Первые два этапа относятся к организации процесса компьютерного контроля [7].

Методы организации контроля знаний в дистанционном обучении можно разделить на три класса:

· неадаптивные методы;

· частично адаптивные методы;

· полностью адаптивные методы.

К неадаптивным методам контроля относятся:

Строгая последовательность. Набор заданий для контроля заранее подготавливается тьютором курса или разработчиком контрольной работы и помещается в базу данных системы. Как правило, это одинаковая последовательность вопросов для всех студентов. Недостатки данного метода очевидны: отсутствие разнообразия (одно из требований педагогики), понижение самостоятельности выполнения заданий и др. Этот метод считается наихудшим, поэтому и применяется крайне редко. Метод можно несколько улучшить, например, подготовив несколько вариантов контрольной работы и/или выдавая задания обучающимся в произвольной последовательности.

Случайная выборка. Набор заданий формируется непосредственно перед контролем на основе заданий, хранящихся в базе данных, т.е. вариант контрольной работы - это n случайно выбранных заданий (вопросов). Значение n может быть заранее задано тьютором (разработчиком контрольной работы) или выбрано обучающимся (например, при самопроверке). Преимущество данного метода состоит в том, что каждому обучающемуся предлагается индивидуальная последовательность вопросов. Метод широко используется для контроля в современных системах, в частности на портале INTUIT.RU. Основной недостаток метода - вариант контрольной работы генерируется без учета трудности заданий. Таким образом, набор заданий для одного студента может включать лишь самые трудные вопросы, а для другого - только легкие. Это часто приводит к искажению результатов контроля. Существуют различные модификации данного метода, позволяющие учитывать метаданные вопросов. Например, а) могут быть заданы тема и общее время контроля, время ответа на каждый вопрос, число попыток дать ответ и т.п.; б) дополнительно к (а) устанавливается число вопросов разной степени трудности и/или из разных тем в каждом варианте контрольной, что реализовано в тестовом портале разработанном в данной диссертации.

Комбинированный метод, в основе которого - “Случайная выборка”, дополненная “Строгой последовательностью”. В этом случае тьютор (разработчик контрольной работы) задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы. Остальные задания генерируются случайным образом, как во втором методе.

Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого обучающегося формируется до контроля (заранее или непосредственно перед контролем знания), т.е. на первом этапе контроля знаний, что, с одной стороны, повышает скорость контроля (не требуется поиск задания в базе данных и его загрузка), с другой - позволяет выдавать задания двумя способами: по одному или списком. В последнем случае обучающийся сам может выбрать последовательность выполнения заданий [14].

Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. К этому классу моделей относятся:

Случайная выборка с учетом отдельных параметров модели студента. Метод является развитием неадаптивных методов контроля знаний. Он аналогичен “Случайной выборке” и/или “Комбинированному методу”, т.е. набор заданий также формируется непосредственно перед контролем, но при генерации используются такие параметры МС, как общий уровень подготовленности, способность к обучению и, возможно, другие. Таким образом, каждому обучающемуся генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. Другое достоинство метода: обучающийся, выполняя задания, соответствующие его способностям, не испытывает лишней психологической нагрузки во время контроля. В качестве недостатка данного метода можно отметить следующее: обучающиеся получают задания различной трудности (это, безусловно, должно быть учтено при выставлении оценки), т.е. один выполняет только простые задания, а другой - трудные. Поэтому, генерируя вопросы обучающемуся, соответствующие его способностям, целесообразно включить в набор и один - два задания повышенной трудности и значимости.

Контроль на основе ответов студента. В этом методе контроль осуществляется по заранее составленному сценарию или, другими словами, по разветвленной контролирующей программе. Предварительная подготовка сценария контроля знаний дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы, а более простые - в разветвлениях. Таким образом, студенты получают разное число вопросов, а, следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода - простота обеспечения обратной связи (выдачи соответствующего комментария). Такой подход в настоящее время встречается значительно реже, т.к. имеет существенный недостаток: всем студентам предлагаются одни и те же задания, однажды включенные в контролирующую программу. Устранить этот недостаток довольно просто - достаточно отделить сценарий контроля знаний от набора контрольных заданий.

Ответы студента, как параметр проведения контроля знаний, используются и в другом методе, который основан на байесовском подходе к принятию решений в условиях неопределенности. Метод предусматривает вычисление вероятностей для оценки знаний студента. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один вопрос. В противном случае контроль продолжается, причем минимальное число вопросов n задается заранее.

Контроль на основе модели учебного материала (УМ). В данном методе формирование набора заданий для контроля знаний происходит на основе модели учебного материала (курса, темы, раздела темы), которая представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер - связям между ними. Изучение УМ, равно как и организация контроля, осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая обычно есть ничто иное, как линейная последовательность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем - второго и т.д., т.е. последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели УМ. При этом, если планируется проверить и знания, и умения, то одному учебному объекту могут соответствовать несколько вопросов.

Модульно-рейтинговый метод. Этот метод во многом аналогичен предыдущему. Учебный материал разделяется на отдельные составляющие - модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе контроля знаний обучающимся сначала предлагается вопрос из первого модуля. При этом после каждого ответа вычисляется его рейтинг. Переход к вопросам следующего модуля осуществляется при достижении определенного, заранее установленного рейтинга, причем обучающийся с целью повышения своего рейтинга, а, следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь затем перейти к следующему. Данный метод используется в системе дистанционного обучения INTUIT.RU.

Методы данной группы, так или иначе, связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, т.е. налицо признаки адаптации.

Адаптивные методы максимально используют информацию из моделей студента и/или учебного материала. К ним относятся:

Контроль по модели обучающегося. В этом методе учитываются многие параметры модели обучающегося, а именно:

· уровень подготовленности влияет на трудность предлагаемых заданий;

· вид репрезентативной системы обусловливает форму представления заданий (текст, визуальное изображение, использование звука);

· направленность личности влияет на формулировку текста выдаваемого задания;

· уровень беспокойства-тревоги определяет как наличие обратной связи, так и форму, и детальность комментариев;

· особенности памяти являются условием для определения времени выполнения задания и контрольной работы в целом;

· ответ обучающегося, точнее, правильность ответа влияет на выбор следующего контрольного задания.

Сценарий контроля обычно формируется динамически в процессе контроля знаний, хотя набор сценариев для различных групп обучающихся может быть создан и заранее аналогично методу “Контроль по ответам студента”.

Контроль по моделям студента и учебного материала. Данный метод является развитием предыдущего, т.е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс контроля знаний строится на базе модели учебного материала, учитывая взаимосвязи между проверяемыми понятиями.

Таким образом, в дистанционном обучении существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными.

3.2 Тест как основной вид контроля знаний в системах открытого дистанционного обучения

На сегодняшний день известно множество видов контроля знаний в дистанционном обучении: видео- и аудио-конференции, чаты, тестовые контроли, контроль через электронную почту, специализированные офф-лайн программы и др. Почему же именно тестовые контроли являются прерогативой открытого дистанционного обучения? Чтобы дать ответ на этот вопрос рассмотрим некоторые особенности вышеперечисленных видов контроля.

Разумеется самым достоверным и надёжным контролем знаний обучающихся дистанционно являются контроли видео- и аудио-конференций. Здесь тьютор имеет возможность визуального он-лайн контроля знаний обучающихся, причём имеется возможность идентификации личностей контролируемых. Но данный контроль имеет ряд существенных пока что факторов. Первый фактор - дороговизна. Дело в том, что для проведения данного типа контроля потребуется дорогостоящая аппаратура, что конечно же могут себе позволить организаторы обучения, но далеко не все обучающиеся. К тому же для работы с данной аппаратурой требуются специальные программы, которые опять-таки не бесплатны и требуют определённых навыков работы. Второй фактор - согласование времени. В данном случае тьютору потребуется собирать всех обучающихся по данному курсу студентов, или же отдельно по группам из нескольких человек в виртуальном пространстве. Тогда где гарантия, что каждый из обучающихся в силу тех или иных обстоятельств сможет пребывать в назначенное время в сети? Помимо этого даже если удастся собрать нужное количество обучающихся, то тьютору просто физически может не хватить времени для опроса всех присутствующих в видео(аудио)-конференции. Ну, и наконец, третий фактор - скорость Интернета. Как правило такие конференции передают по сети довольно внушительный объём данных (видео и аудиоинформация), и для корректной функциональности таковых требуются высокие скорости Интернет-сети (от 256 Кб/с и выше) страны обучающегося. Конечно данный фактор не касается развитых стран, но например в странах СНГ этот фактор всё ещё имеет свой вес, так например в Узбекистане очень мало высокоскоростных провайдеров (причём надо отметить - пока что их услуги весьма дороги для большинства населения) и наиболее доступная скорость Интернета в нашей стране варьируется от 10 до 56 Кб/с, чего не хватит даже для нормального аудио-контакта. В силу всех вышеперечисленных причин пока что для систем открытого дистанционного обучения данный вид контроля неприемлем.

Что же касается контроля через электронную почту, то тут основным и существенным недостатком опять же является согласование времени. В данном случае тьютору(ам) придётся либо разрабатывать систему рассылки заданий на адреса почты обучающихся, либо отсылать в ручную. В обоих случаях потребуется громадное количество времени на индивидуальное составление заданий, их отсылку, а затем - проверку полученных решений и выдачу результатов. Данный подход приемлем для очень малых групп обучающихся, что естественно не может быть гарантировано при открытом обучении. Примерно похожая ситуация сложится и при контроле знаний в специализированных чатах. Тьютору попросту не хватит времени для опроса всех присутствующих в чате.

Специализированные офф-лайн программы используются многими университетами для дистанционного контроля знаний. Такие программы работают на локальном компьютере обучающегося, и либо вообще не подключаются к сети Интернет, либо подключаются только с целью отправки данных на проверку. Разумеется плюс данного метода в том, что данные программы позволяют применять различные методы контроля в одном программном комплексе, здесь могут быть и тестовые задания, и задания на решения определённых задач, и лабораторные практикумы, и многое другое. Минус в том, что данные программы имеют далеко не малый размер, и скачивать их по Интернету с сайта разработчиков не всегда возможно вследствие довольно внушительных размеров (от 100 до 600-700 Мб). К тому же теряется принцип реального времени, что необходимо при контроле знаний в открытом дистанционном обучении.

Электронные тестовые контроли в связи с этим являются наиболее оптимальным средством контроля знаний в системах открытого дистанционного обучения. Преимуществ у данного вида контроля очень много. Во-первых, тестовые задания служат не только как контроль знаний обучающегося со стороны тьютора, но и как самоконтроль - обучающийся в режима реального времени имеет возможность оценить свои навыки и знания. Во-вторых, данный тип контроля позволяют тьютору, а точнее системе за короткий срок проконтролировать практически любое количество обучающихся. Тесты не требуют высоких скоростей Интернета и выдаются в виде текста с опциями ответов, что облегчает работу обучающихся с ними. К тому же в таких контролях реализована случайная выборка заданий, что удовлетворяет педагогическому принципу разнообразия и стимулирует обучающихся на более глубокое изучение материалов курса. Такой контроль не требует одновременного присутствия тьютора и обучающихся в сети - обучающиеся могут в любой момент проходить тестовые контроли, а их результаты записываются в базу данных системы, которые в любой момент могут просматривать тьюторы. Между тем, тестовые задания требуют тщательной проработки как со стороны составляющего (тьютора), так и со стороны разработчиков системы (программистов). Вследствие ограниченности контакта обучающихся с тьютором тесты должны быть составлены максимально адекватно и однозначно, интуитивно понятно и логично, а также удобно для использования. Зачастую во многих электронных курсах тесты составлены непрофессионально, и вследствие чего такие тесты не могут считаться приемлемым и правильным инструментом контроля знаний.

Не лишены тесты и недостатков. Во-первых, как говорилось выше при таком подходе теряется идентификация личности. Обучаться может один человек, но решать за него все задания может совершенно другой, и проконтролировать это можно опять-таки лишь имея с обучающимися периодические визуальные контакты. Вследствие чего электронные тестовые контроли не могут гарантировать идентификацию личности. Если студенты должны сдавать экзамен или выполнять проверочную работу дома или в учебных центрах бесконтрольно, будет невозможно гарантировать честность выполнения теста [11]. Следовательно, в большинстве программ дистанционного образования студенты должны сдавать финальные экзамены под контролем в учебных центрах или школах. Надзирателями обычно являются учителя или административные работники, выбираемые студентами и утвержденные институтом дистанционного образования. Другая возможная процедура - использование компьютерного тестирования, при котором каждый студент получает индивидуальный ряд вопросов, случайным образом выбираемый компьютером. Хотя такие альтернативные формы тестирования и оценки не исключают возможности студенческого мошенничества, они уменьшают такую возможность до незначительного уровня. Во-вторых, тестовые задания ограничены например, в таких случаях когда нужно проверить конкретные практические навыки, которые в реальности проверяются в лабораторных или подобных им условиях. В тестовых же заданиях нельзя проверить ход мысли обучающегося, у нас может быть только конечный результат. Здесь же встаёт и вопрос о возможности «угадываемости» тестов. Система тестовых контролей не может гарантировать то, что обучающийся отвечает на задания исходя из своих познаний в данной области, а не угадывает их [13]. Здесь для уменьшения степени угадываемости имеется несколько способов: максимально профессиональное составление тестов; введение ограничения на пересдачу контролей; введение в базу данных большего количества вопросов, вследствие чего повышается степень «случайности».

Не смотря на вышеперечисленные недостатки - тестовый контроль в открытом дистанционном обучении был и остаётся основным видом контроля знаний, т.к. является наиболее быстрым, дешёвым, варьируемым и относительно точным контролем из всех вышеперечисленных и доступных вообще в дистанционном обучении.

3.3 Виды тестов и принципы их составления

Тест (англ. test -- проба, испытание, исследование) экспериментальный метод в психологии и педагогике, стандартизированные задания, позволяющие измерить знания, умения и навыки испытуемого, а также психофизиологические и личностные характеристики. Тесты начали применяться в 1864 году Дж.Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф.Гальтоном в 1883 году: применение серии одинаковых испытаний к большому числу индивидов, статистической обработке результатов, выделение эталонов оценки. Первый стандартизированный педагогический тест был составлен американским психологом Э.Торнодайком. Развитие тестирования было одной из причин, обусловивших проникновение в педагогику математических методов [10].

Разработка государственных образовательных стандартов, внедрение новых технологий обучения и контроля знаний вновь привлекли интерес широкой педагогической общественности к тестам. Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным уровневым стандартам знаний, выявить пробелы в подготовке учащихся и студентов. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к созданию современных систем открытого обучения и адаптивного контроля - наиболее эффективных, но, к сожалению, наименее применяемых форм организации учебного процесса [15].

Широкие возможности современных тестов в решении ряда важных для образования и общественной жизни задач почти не задействованы, а там, где их пытаются задействовать, делается это неудовлетворительно, без опоры на имеющиеся в мировой науке достижения, самостоятельно. Отчасти это происходит из-за слабой информированности преподавательского состава по вопросам теории и методики тестового контроля, отсутствия требуемой литературы, а также из-за очень распространенных представлений о кажущейся легкости создания теста.

Отбор и структура заданий теста зависит от того, какие показатели и факторы интересуют исследователя данной группы лиц. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос - это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний [10].

Каждое из заданий теста содержит описание некоторой "ситуации", взятой из природы, производства, педагогической деятельности и т.п. Это описание может быть представлено на различных "языках": вербальном, языке символов, графиков, рисунков и т.п. Любое описание всегда приблизительно, неполно, и поэтому перед испытуемым ставится "требование" сделать его ситуации более точными, полными, используя с этой целью "информацию к решению", содержащуюся в описании ситуации, тексте задания, а также привлекая "внешнюю по отношению к заданию информацию" - известные испытуемому научные факты, закономерности и т.п. [12] В процессе выполнения задания ему приходится перемоделировать ситуацию путем введения ряда упрощающих решение допущений, абстракций, переходя в описании от одного языка к другому.

Среди заданий теста следует различать:

- задания информативного характера;

- задания, решение которых может быть осуществлено алгоритмическим, формализованным путем;

- проблемы, для решения которых необходим эвристический и нестандартизированный поиск [15].

Понятно, что подобное деление заданий носит условный характер. В зависимости от полноты информации к решению, содержащейся в тексте, задания могут быть сформулированными и только поставленные. Сформулированные задания содержат оптимальную информацию к их выполнению, поставленные - не требуют от испытуемого самостоятельно сформулировать задачу, оговорить условия, при которых рассматривается задание. Информация, содержащаяся в тексте задания ("исходные данные"), может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность задания. Во-вторых, тест - "стандартизированное испытание", т.е. испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Только это позволяет сравнивать результаты тестирования, доводить результаты измерения до числа. В-третьих, тест позволяет получить "количественную оценку" результатов тестирования. Поскольку предстоит измерить непрерывно изменяющиеся, не дискретные величины, то для доведения результатов измерений до числа используются специальные шкалы. В нашем случае шкала - это определённая последовательность числовых значений результатов измерительных операций, применяемых к эмпирической системе [9].

Виды тестов весьма разнообразны. С точки зрения целей применения, можно выделить:

- тесты достижения;

- критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;

- нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;

- аттестационные тесты, определяющие степень обученности;

- тесты прогнозирования результатов обучения [8].

Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.

Следует сразу заметить, что многие из перечисленных тестов пока не нашли своего применения в вузах, их разработка и применение впереди. Кроме того, возможно создание многофункциональных тестов, когда один и тот же тест при изменении методики его применения, методики обработки результатов тестирования может быть использован с различными целями, например, для контроля, диагностики, обучения и прогнозирования его результатов. Почти каждый тест позволяет делать выводы об эффективности технологии, на основе которой проводилось обучение.

В последнее время все большее признание получает новый вид тестов - критериально-ориентированные ("criterion-referenced test"). Как и любой педагогический тест, критериально-ориентированный тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений. Но главная их особенность состоит в том, что критериально-ориентированные тесты сопоставляют уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков, которые должны быть усвоены студентами или учащимися [15].

Обычно критериально-ориентированные тесты используются для разделения студентов (учащихся) на несколько групп по уровню их знаний. В самом простом случае это две группы - усвоившие и не усвоившие необходимый материал. В тесте образовательный стандарт выступает в виде критериального балла - минимального тестового балла, который должен получить студент, чтобы считаться усвоившим тот или иной материал. Для установления критериального балла используются экспертные методы анализа заданий.

Критериально-ориентированные тесты разрешают проблему соотношения тестовых баллов с традиционными педагогическими оценками. Устанавливаются такие критериальные баллы, которые делят испытуемых на группы, соответствующие оценкам "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Такая организация теста позволяет проводить в тестовой форме экзамены [9].

Критериально-ориентированные тесты помогают разрешить определенные задачи:

- сопоставление с требуемым стандартом образования достижений отдельных студентов, учебных групп;

- оценка доли учебного материала, усвоенной испытуемыми;

- выбор определенной технологии обучения;

- отбор испытуемых, достигших необходимого уровня квалификации.

В отличие от критериально-ориентированных, тесты достижений являются надежным средством для быстрого и эффективного выявления уровня профессиональной подготовки студента и уровней обученности учащихся. Тесты профессиональных достижений специфичны, предназначаются для конкретных профессий, и поэтому область их применения ограничена. Можно выделить две группы тестов профессиональных достижений:

- первая группа требует от испытуемого выполниения контрольных заданий, моделирующих профессиональную деятельность, на практически-семинарских занятиях;

- вторая группа представляет собой набор заданий, выполняемых студентами на практике [8].

Студенты, в зависимости от условий предъявления заданий, могут отвечать на них письменно или устно. Преподаватель в отдельных случаях может проводить опрос в форме интервью и беседы. Все эти методы характеризуются одним ведущим признаком: с их помощью получают ту информацию, которая заложена в словесных сообщениях опрашиваемых. При беседе и интервью задания обсуждаются в очередности, которая предусмотрена конструкцией педагогического теста.

Методику разработки тестов достижений можно разбить на несколько исследовательских этапов:

- подбор типичных ситуаций, которые возникают в профессиональной деятельности учителя, с одной стороны, они должны быть синтезированы и объединены вокруг определенной практической проблемы, имеющей многосторонний и целостный характер, а с другой - они должны быть переведены на язык практических действий, практических ситуаций;

- разработка методов перевода ситуаций на язык педагогических задач;

- разработка различных вариантов решения педагогических задач;

- определение ценности (веса) различных решений по каждой конкретной педагогической задаче;

- установление правильной последовательности предъявления системы заданий, составляющих тест достижений;

- экспериментальная проверка составленного теста. Анализ профессиографических данных и дополнительных сведений об учебных программах, методах, формах, средствах обучения показал, что для разработки тестов достижений этого недостаточно, нужно еще и наличие специальной системы профессиональных знаний и умений [15].

В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. О необходимости иметь избыток заданий в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Для каждого задания устанавливается свой эталон ответа. При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, и после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок - 85-90%, это является гарантией того, что в тест включен основной материал по предмету, как его выявили эксперты [12].

В зависимости от характера деятельности испытуемого при выполнении педагогического теста различают:

- тесты со свободно конструируемыми ответами;

- тесты на дополнение ответов, приведенных в заданиях;

- тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);

- комбинированные тесты.

Для оценки дидактических возможностей перечисленных тестов необходимо остановиться на характерных особенностях теста вообще и отдельных видов, в частности.

Каждое из заданий теста, как уже упоминалось ранее, содержит информацию к решению. Характер и объем ее может варьироваться как дидактическая помощь испытуемому. Её избыток может играть положительную роль в тестах, используемых в режиме обучения и даже диагностики, но оказаться нежелательным в тестах для оценки достижений, где основной функцией теста является контроль.

Из всех видов тесты выбора имеют преимущество в предоставлении испытуемым свободы в ответах на задания, как это бывает при самостоятельном конструировании ответов. Это достигается путем включения в число ответов к заданиям альтернативного варианта -«ответ иной», подразумевая ответ, отличный от всех остальных, приведенных к заданию.

От вида теста самым существенным образом зависит, насколько проста и технологична обработка результатов тестирования. В этом смысле вне конкуренции тесты выбора. Тогда как при свободном конструировании ответов испытуемыми оказывается исключительно сложно обрабатывать результаты тестирования [10].

Заканчивая рассмотрение видов теста, следует упомянуть о так называемых ситуационных тестах, в которых все задания относятся к описанию одной и той же ситуации. К ситуационным тестам относятся тесты в форме программ решения задач и алгоритмов определенного типа. В них последовательность заданий диктуется логикой решения рассматриваемых задачных ситуаций. Результаты выполнения одних заданий могут быть использованы при выполнении последующих.

Как было отмечено выше, наиболее широкое распространение в педагогическом тестировании получили тесты выбора. Сравнивая их с другими видами педагогических тестов, следует отметить простоту обработки результатов их выполнения, что в рамках массового обучения имеет особую ценность.

Встречающееся мнение о том, что ознакомление испытуемых с ложными ответами нежелательно, что эти ошибки могут закрепиться в их памяти, несостоятельно. Наоборот, работа с такими ответами позволяет вскрыть ошибочные мнения и их разрушить [14].

Ответы к заданиям теста могут находиться в различных отношениях друг к другу: противопоставления, противоположности, когда выбор одного из них в качестве верного является утверждением ошибочности всех остальных; равноправия, когда верными могут оказаться несколько из предложенных ответов; дополнения друг друга, когда только несколько отобранных ответов в сумме дают законченный ответ на поставленный в задании вопрос.

Процесс составления педагогических тестов является делом исключительно ответственным и трудоемким. Поскольку они являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения. Понятие валидности (перевод слова с английского valid - годный, пригодный) трактуется довольно широко [13].

В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы. Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.

Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью.

Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль [8].

Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста). Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям - корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен. Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. При разработке педагогических тестов придерживаются данного утверждения. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест.

Задание в тестовой форме - это задания, к которым, помимо содержания, предъявляются требования тестовой формы, что делает их формулировки более лаконичными. Самые жесткие требования предъявляются языку теста - однозначность его понимания испытуемыми, выразительность, лаконичность [12]. Таким образом, для разработки и применения в учебном процессе рассмотренных выше тестов необходимо учитывать объективные характеристики подготовительного процесса. А для этого нужно:

1. Выделить цели тестирования.

2. Отобрать педагогические ситуации.

3. Перевести (смоделировать) педагогические ситуации на язык учебных задач.

4. Переконструировать учебные задачи в тестовые задания.

5. Выбрать и оценить эталоны ответов.

6. Разработать план теста. (Предполагается раскладка необходимого числа заданий, исходя из общего предельного числа заданий разного уровня сложности).

7. Выделить аспекты тестирования.

8. Составить тест. (Эта работа должна проводиться опытными преподавателями).

9. Расположить задания в тесте с учетом системообразующих связей.

Следует отметить, что педагогический тест не может состоять из отдельных только легких или трудных заданий, он должен включать в себя задания различного уровня трудности, начиная с легкого и кончая трудным, на которые могут правильно ответить несколько испытуемых в тестируемой группе [15].

10. Проверить экспериментально разработанный тест.

В заключение следует отметить, что эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.

Глава 4. Решение поставленной задачи

4.1 Выбор средств реализации поставленной задачи и обоснование выбора

На сегодняшний день в мире информационных технологий имеется множество средств для создания различных вэб-систем, в том числе и обучающих. Причём под системой здесь понимается совокупность нескольких программных инструментов. В частности, для большинства обучающих систем, функционирующих в сети Интернет популярна связка из трёх компонентов:

«язык программирования<->ПО вэб-сервера<->СУБД»

Выбор каждого отдельного компонента тесно связан с выбором остальных, т.к. каждая составляющая системы должна уметь поддерживать остальные. Решения данной задачи уже давно предоставлены для всеобщего использования. Одним из таких решений, причём довольно-таки широко распространённым и отлично себя зарекомендовавшим, является связка - PHP-Apache-MySQL. Применение именно этих средств было решением для реализации поставленной задачи данной диссертации. Почему же был выбран именно этот вариант? Рассмотрим статистические данные и свойства этих компонентов, дабы обосновать выбор.

Почему PHP? PHP является языком вэб-программирования, так же как и например, Perl, ASP, JavaScript, и т.д. В чём же преимущества этого языка перед другими подобными? Ответ на этот вопрос не прост. Вообще говоря, сравнивать разные языки программирования не совсем корректно, у каждого языка есть свои особенности и своя область применения. Языку РНР в этом году исполняется 12 лет, то есть появился он в 1995 году. Это было время, когда в Интернет пришли большие деньги и начался стремительный рост глобальной сети, соответственно лавинообразно стал расти объем информации, размещаемой в Сети [28].

До того времени, большую часть сайтов составляли статичные сайты, обновлением которых могли заниматься только люди, знакомые с языком HTML. К тому же обновление таких сайтов составляло большую сложность. К тем временам относится и первый бум е-коммерции, который быстро сошел на нет, но сыграл положительную роль в развитии глобальной сети, вызвав всплеск инвестиций в разработку веб-приложений. Большой проблемой также стало то, что для написания веб-приложений на имеющихся в то время языках необходим был довольно большой опыт программирования вообще. Язык РНР призван был решить многие из этих проблем, что ему в общем-то и удалось. РНР конечно не лишен многих недостатков, и уступает в некоторых случаях ряду других языков программирования, но для разработки малых и средних веб-приложений подходит идеально.

Преимущества PHP. Главным фактором языка РНР является практичность. Практический характер РНР обусловлен пятью важными характеристиками:

· традиционностью;

· простотой;

· эффективностью;

· безопасностью;

· гибкостью.

Существует еще одна «характеристика», которая делает РНР особенно привлекательным: он распространяется бесплатно! Причем, с открытыми исходными кодами ( Open Source ).

Язык РНР будет казаться знакомым программистам, работающим в разных областях. Многие конструкции языка позаимствованы из Си, Perl. Код РНР очень похож на тот, который встречается в типичных программах на С или Pascal. Это заметно снижает начальные усилия при изучении РНР. PHP -- язык, сочетающий достоинства Perl и Си и специально нацеленный на работу в Интернете, язык с универсальным (правда, за некоторыми оговорками) и ясным синтаксисом [16].

И хотя PHP является довольно молодым языком, он обрел такую популярность среди web-программистов, что на данный момент является чуть ли не самым популярным языком для создания web-приложений (скриптов).

Очень важное преимущество PHP заключается в его «движке». «Движок» PHP не является ни компилятором, ни интерпретатором. Он является транслирующим интерпретатором. Такое устройство «движка» PHP позволяет обрабатывать сценарии с достаточно высокой скоростью. По некоторым оценкам, большинство PHP-сценариев (особенно не очень больших размеров) обрабатываются быстрее аналогичных им программ, написанных на Perl. Однако, чтобы не делали разработчики PHP, откомпилированные исполняемые файлы будут работать значительно быстрее - в десятки, а иногда и в сотни раз. Но производительность PHP вполне достаточна для создания вполне серьезных web-приложений [17].

Гибкость. Поскольку РНР является встраиваемым (embedded) языком, он отличается исключительной гибкостью по отношению к потребностям разработчика. Хотя РНР обычно рекомендуется использовать в сочетании с HTML, он с таким же успехом интегрируется и в JavaScript, WML, XML и другие языки. Кроме того, хорошо структурированные приложения РНР легко расширяются по мере необходимости (впрочем, это относится ко всем основным языкам программирования).

Нет проблем и с зависимостью от браузеров, поскольку перед отправкой клиенту сценарии РНР полностью компилируются на стороне сервера. В сущности, сценарии РНР могут передаваться любым устройствам с браузерами, включая сотовые телефоны, электронные записные книжки, пейджеры и портативные компьютеры, не говоря уже о традиционных ПК. Программисты, занимающиеся вспомогательными утилитами, могут запускать РНР в режиме командной строки.

Поскольку РНР не содержит кода, ориентированного на конкретный web-сервер, пользователи не ограничиваются определенными серверами (возможно, незнакомыми для них). Apache, Microsoft IIS, Netscape Enterprise Server, Stronghold и Zeus -- РНР работает на всех перечисленных серверах. Поскольку эти серверы работают на разных платформах, РНР в целом является платформенно-независимым языком и существует на таких платформах, как UNIX, Solaris, FreeBSD и Windows 95/98/NT/2000/XP/2003 [17].

Безопасность. РНР предоставляет в распоряжение разработчиков и администраторов гибкие и эффективные средства безопасности, которые условно делятся на две категории: средства системного уровня и средства уровня приложения.

1. Средства безопасности системного уровня

В РНР реализованы механизмы безопасности, находящиеся под управлением администраторов; при правильной настройке РНР это обеспечивает максимальную свободу действий и безопасность. РНР может работать в так называемом безопасном режиме (safe mode), который ограничивает возможности применения РНР пользователями по ряду важных показателей. Например, можно ограничить максимальное время выполнения и использование памяти (неконтролируемый расход памяти отрицательно влияет на быстродействие сервера). По аналогии с cgi-bin администратор также может устанавливать ограничения на каталоги, в которых пользователь может просматривать и исполнять сценарии РНР, а также использовать сценарии РНР для просмотра конфиденциальной информации на сервере (например, файла passwd).

2. Средства безопасности уровня приложения

В стандартный набор функций РНР входит ряд надежных механизмов шифрования. РНР также совместим с многими приложениями независимых фирм, что позволяет легко интегрировать его с защищенными технологиями электронной коммерции (e-commerce). Другое преимущество заключается в том, что исходный текст сценариев РНР нельзя просмотреть в браузере, поскольку сценарий компилируется до его отправки по запросу пользователя. Реализация РНР на стороне сервера предотвращает похищение нетривиальных сценариев пользователями, знаний которых хватает хотя бы для выполнения команды View Source.

Ещё одним из значительных преимуществ PHP является поддержка широкого круга баз данных, что не маловажно для большинства современных вэб-систем. Создание скрипта, использующего базы данных, - очень просто. В настоящее время PHP поддерживает следующие базы данных: