39

Университет «Туран»

Общественное объединение «Институт Развития Человека»

А.И. Коханец

Качество образования в Республике Казахстан:

технология переориентации на результаты

Алматы - Астана, 2004 г.

ББК 74

К 75 Рекомендовано Ученым советом университета «Туран»

Рецензент: Тазабеков К.А., к.э.н., профессор

Под общей редакцией Алиева У.Ж., к.э.н., профессора

Коханец А.И..

К 75 Качество образования в Республике Казахстан: технология

переориентации на результаты. - Алматы: Университет «Туран», 2004. - 48 с.

ISBN 9965-9430-0-1

Предлагаемая работа посвящена практическим проблемам реального осуществления реформы образования в соответствии с «Концепцией развития образования в Республике Казахстан до 2015 года». Основное внимание уделено созданию сквозных механизмов позитивного влияния и стимулирования основных субъектов образования в направлении переориентации текущей деятельности на достижение высоких конечных результатов.

Рассматриваются конкретные алгоритмы практических действий, призванные обеспечить необходимое качество учебных программ, процесса обучения и тестирования его итогов.

Оглавление

Введение: оценка ситуации. 4

1. Качество учебных программ. 9

1.1. Типовая программа. 9

1.2. Рабочая программа. 15

2. Качество контроля результатов. 17

2.1. Качество тестирования. Общие положения. 17

2.2. Тестирование теоретического курса. 22

2.3. Тестирование практического курса. 23

2.4. Требования к содержанию и форме теста. 24

2.5. Процедуры создания и проверки теста. 29

3. Качество обучения. 30

3.1. Внешнее стимулирование. Квалификация преподавателя. 30

3.2. Организация учебного материала. Программированное

обучение. 31

3.3. Готовность учащихся к самообучению. 32

Приложение 33

Заключение: резюме 40

Введение: краткая оценка ситуации

Осуществляемая в настоящее время Министерством образования и науки РК линия на реформирование всей системы образования, в смысле полной его переориентации с формального процесса на действительные результаты, представляется единственно правильной и конструктивной. По нашему мнению, удачно найдена исключительно подходящая для этой цели форма организации образования (кредитная система) и точно выделен главный опорный момент (источник) развития - сочетание максимально возможной свободы действий субъектов образования и минимальных ограничений, накладываемых на их деятельность требованием необходимых гарантий для общества в отношении конечных результатов.

Эта политика реально учитывает два центральных момента, характеризующих реальную ситуацию в образовании:

- учебный процесс на всех уровнях и во всех формах образования и

повышения квалификации называется профессиональным обучением, но фактически строится как формальное информирование обучающихся - с неопределенным декларированием целей и практически полным отсутствием обратной связи и ответственности за результаты (организует обучение и преподает кто угодно, что хочет, как хочет и как умеет; сам себя оценивает, и т.п.);

- любые документы о получении образования и повышении

квалификации, как фиксированная форма представления соответствующих результатов (аттестаты, медали, дипломы, сертификаты, свидетельства, удостоверения, ученые звания и степени), фактически потеряли свой исходный смысл и назначение, поскольку не позволяют отличать профессионала от дилетанта, а специалиста от совершенно неподготовленного к профессиональной деятельности человека.

В таких условиях не следует удивляться низким результатам усвоения учебных программ, выявляемым в ходе тестирования выпускников общеобразовательных школ и студентов вузов, которое проводилось или еще будет проводиться по линии Министерства образования и науки. Более того, не следует считать их и чем-то позорным, чем-то таким, чего следует стыдиться, скрывать или искать виновных. Они отражают лишь непривычную обнаженность объективной оценки, фактически являясь повсеместным и нормальным состоянием нашего образования. Это реальность, которую нужно воспринимать спокойно и конструктивно, как актуальную практическую задачу.

Информирование, как преобладающий метод обучения, ставит обучающихся в такие условия (вал неструктурированной информации), при которых они сами должны систематизировать, отбирать и усваивать знания, поддерживать у себя высокий уровень мотивации. С такой самостоятельной работой могут справиться только люди с высоким и хорошо сформированным теоретическим интеллектом, доля которых в обществе всегда мала (так и должно быть!), что фактически и выявляет процесс тестирования.

Мы полагаем, что в данных обстоятельствах практически любой хорошо составленный тест измеряет скорее не профессиональную подготовку обучающихся, а уровень их общего развития (интеллекта). Иначе говоря, существующий процесс обучения настолько мало влияет на результаты, что распределение балльных оценок должно быть близким к нормальному (случайному) распределению населения по уровню интеллекта (5 % - высокий уровень, 15 % - выше среднего; 40 % - средний; 15 % - ниже среднего; 5 % - низкий). При этом нижняя граница балльной оценки «удовлетворительно» - проходит обычно где-то между средним и высоким уровнем интеллекта. То есть самостоятельно с учебной программой как-то справляется примерно 20 % обучающихся.

Если же где-то тестирование выявляет результаты, заметно отличающиеся от нормального распределения, это, скорее всего, означает низкое качество тестов и/или процедуры тестирования.

Предполагается, что при высокой эффективности образования распределение оценок тестирования полностью теряет вид нормального, поскольку практически каждый обучающийся достигает уровня «хорошо» или «отлично», и лишь значительно меньшая часть учится на - «удовлетворительно» или отсеивается по разным причинам.

Отсюда следует, что предстоит масштабная работа невероятной трудности. Всех сложностей не берусь перечислить даже приблизительно. Остановлюсь лишь на двух факторах определяющей значимости.

Первое препятствие психологического свойства - преодоление на всех уровнях системы образования инерции привычного, расслабленного и в чем-то беззаботного образа действий. Не затрагивая всего многообразия и глубины этой проблемы, отмечу только самое важное условие - необходимость механизма всеохватывающего, последовательного, неуклонного и достаточно сильного внешнего давления на всех участников системы образования (организаторов, преподавателей, обучающихся), который выполнял бы функцию непрерывного их стимулирования в сторону переориентации повседневной деятельности на конкретные конечные результаты.

Это главная (в отношении образования) функция государства в лице Министерства образования и науки Республики Казахстан и его подразделений на местах, которая уже реализуется вводимой системой независимого тестирования, аккредитации и национального рейтинга учебных заведений. Такую же систему внутри каждого учреждения образования и структур повышения квалификации предстоит сформировать их организаторам, о чем и пойдет речь ниже.

Указанный выше принцип «сочетания возможной свободы и необходимых ограничений» применительно к министерству означает, на наш взгляд, его освобождение от всех функций субъекта образования - непосредственного управления учреждениями системы образования (аттестация и повышение квалификации педагогических кадров, контроль за содержанием и качеством учебного процесса, воспитательной и любой другой текущей деятельности) и сосредоточение на функциях внешнего влияния (лицензирование; аккредитация; контроль качества результатов образования; финансов государственных учебных заведений, а также затрат и отдачи по грантам и кредитам; государственное финансирование продвинутых образовательных проектов в негосударственной сфере, обеспечивающих перспективы среднесрочного и долгосрочного развития образования в Республике Казахстан; централизованное финансирование разработок, профессиональной экспертизы и апробации типовых учебных программ, учебников, учебно-методических пособий для массового применения в системе образования; широкое привлечение общественных структур к процессу контроля за качеством реального образования), а также координации действий других государственных структур по вопросам академического образования и повышения квалификации.

Внутри учреждений образования при переходе на кредитную систему организации обучения эта задача решается за счет введения: жесткого текущего и рубежного контроля, независимого от преподавателей (служба Регистратора) промежуточного и итогового контроля результатов усвоения каждого учебного курса в форме проходного балла; непрерывного мониторинга успеваемости; введения индивидуального рейтинга обучающихся; а также за счет приведения в соответствие оплаты труда (статуса и т.п.) преподавателей и организаторов с конкретными результатами их деятельности (успеваемость, качество учебных программ и УМК, качество обучения, индивидуальный рейтинг и др.).

Самой серьезной и первоочередной проблемой в этой работе (наряду с необходимостью единых и однозначных критериев, показателей и процедур оценки качества образования) представляется создание научно обоснованной системы тестов и процедур их применения, обеспечивающих объективные и сопоставимые (одинаковые) результаты при внутреннем и внешнем тестировании.

Второе препятствие, неразрывно связанное с первым, - преодоление массового непрофессионализма кадров всех уровней в сфере образования в смысле подчинения всей деятельности достижению реального конечного результата и умения действительно его обеспечить.

Никто в сфере академического образования и повышения квалификации не имеет серьезного опыта систематической работы, ориентированной на результаты. Все практически одинаково не подготовлены к ней. Всем нужно научиться этому в процессе текущей деятельности. И для этого есть только один реальный путь: нужно признать это перед самим собой и перед другими; нужно заново осмысливать каждый шаг своей деятельности; нужно помогать в этом окружающим, создавая при необходимости местные механизмы побуждения (стимулирования) и принуждения; делать новый шаг и опять осмысливать результаты; и так далее, повторяя этот цикл снова и снова.

Иначе говоря, необходим массовый всеобуч: для организаторов - в отношении умения создавать и поддерживать необходимые механизмы; для преподавателей - в умении гарантировать результаты обучения; для обучающихся - в умении эффективно, самостоятельно и мотивированно учиться. При этом в ситуации острой конкуренции, успех каждого конкретного учреждения образования будет определяться умением его руководителей реализовать эффективный инновационный менеджмент в условиях нарастания жесткого давления на кадры и механизма регламентирования (операционального) их деятельности (сохранить и привлечь наиболее квалифицированных специалистов, превратить их в сплоченную и эффективную команду).

Заметим здесь, что государственные структуры, оказывая функции давления на субъекты общего и специального образования, выступают в своеобразной роли «Социального заказчика». Таким заказчиком, преимущественно в сфере академического образования, является министерство образования и науки, а в сфере повышения профессиональной квалификации (послевузовское образование) - отраслевые министерства и ведомства (в том числе, - Агентство по государственной службе). Так что все, что уже изложено и будет изложено ниже, в равной мере относится и к тому, и к другому. Быть может, к сфере действующей системы повышения квалификации это относится даже в большей степени, поскольку здесь нет ни ясного разграничения сфер и функций, ни какой-то координации действий между указанными субъектами, и ясно только одно, - невозможно (и бесполезно) реформировать академическое образование, оставив без изменения существующую систему переподготовки и повышения квалификации кадров, поскольку именно в практической квалификации и проявляются подлинные конечные результаты любого образования.

Все, что написано ниже, представляет собой такую попытку переосмысления практической работы по обеспечению качества образования на опыте внедрения кредитной системы и ее организации в университете «Туран - Астана» в сентябре - декабре 2003 года.

Процесс образования, ориентированного на результаты, рассматривается здесь как общеобразовательная деятельность в ее системно-функциональном смысле. Она, как и любая другая, хорошо сформированная деятельность любого субъекта, имеет следующую структуру: действия по выбору цели и формы представления конечного результата деятельности; набор конкретных действий, реализующих эту цель; а также алгоритм, объединяющий их в одно целое (общая технология).

Понятие «хорошо сформированная» применяется здесь в двух смыслах одновременно: во-первых, оно означает полностью и адекватно освоенную деятельность, доведенную до целостного и автоматизированного (без сознательного контроля) выполнения; во-вторых, - оно означает отбор и формирование каждого из составляющих ее действий по критерию содействия максимальной эффективности деятельности в целом. При этом каждое действие может быть, в свою очередь, представлено, проанализировано и сформировано как относительно самостоятельная целостная деятельность (подсистема); а сама исходная деятельность, - как действие в рамках более общей деятельности (надсистеме).

Далее будем рассматривать образовательную деятельность в более узком смысле - как «учебную деятельность», поскольку именно ее непосредственные результаты имеются в виду под термином «качество образования».

Итак, цель осуществляемой реформы образования представлена как переориентация всех его сфер и уровней с процесса информирования обучающихся (формирования у них общих представлений о конкретной области знаний и профессиональной деятельности) на конечные результаты в виде профессионального освоения конкретных знаний, умений и навыков для активного применения в жизни и практической работе по специальности.

Как практическую задачу ее можно в сжатом виде представить формулой - критерием: «Качество образования - это качество учебных программ, качество обучения, качество результатов обучения и его тестирования (контроля)». По этим критериям должна оцениваться деятельность всех образовательных учреждений - основных субъектов образования, в рамках механизма конструктивной обратной связи с интересами общества.

Как отмечалось выше, эти понятия необходимо переосмыслить, адекватно сформулировать и «хорошо сформировать».

1. Качество учебных программ (бакалавриат)

В настоящее время реальное содержание образования определяется рабочими программами (в большинстве своем, низкого качества), которые ежегодно и формально пишутся преподавателями каждого учебного заведения к началу учебного года, с некоторой и весьма редкой оглядкой на типовую программу (зачастую далекую от совершенства и служащую лишь приблизительным ориентиром). Нереально было бы ожидать и требовать от них быстрого и массового роста профессиональной квалификации, а значит и нужного повышения качества таких программ только за счет административного ресурса.

Проблему качества рабочих программ предлагаю решать за счет повышения статуса и качества типовых программ. Каждая такая программа содержала бы необходимый и достаточный минимум качественного содержания по учебному курсу. Она входила бы (обязательным дублированием) в соответствующие рабочие программы на местах в качестве единого для всех и неизменного ядра. В республике нетрудно подобрать группы квалифицированных специалистов, и за два - три года вся армия преподавателей работала бы по готовым программам высокого качества, постепенно подтягиваясь до их уровня и в классе преподавания.

Одновременно была бы решена и проблема соответствия итогов внутреннего контроля результатов в каждом учебном заведении и независимого внешнего тестирования, - за счет единого банка единиц содержания (минимума, подлежащего усвоению и внешнему тестированию).

1.1. Типовая учебная программа по конкретному учебному курсу (в новом понимании) - представляет собой единый для всех учебных заведений Республики Казахстан стандартный перечень теоретических и практических знаний, практических умений и навыков (профессиональная компетентность), который должен быть обязательно освоен каждым, кто изучает данный курс, - как необходимый и достаточный минимум подготовки специалиста.

Она должна иметь варианты: для основного курса по специальности; для вспомогательного курса по смежным специальностям. Каждый вариант должен иметь особую структуру и редакцию содержания в зависимости от того, является ли курс вводным для родственных дисциплин, обобщающим (заключающим) ряд уже освоенных дисциплин, или же самостоятельной (одиночной) дисциплиной.

Ее содержание должно соответствовать:

образовательному стандарту Министерства образования и науки Республики Казахстан;

квалификационным требованиям реальной работы по конкретной специальности;

требованиям самостоятельного и непрерывного образования

(магистратура, докторантура, переквалификация).

Поскольку типовая программа является эталонной, она должна задавать единые цели, критерии, показатели оценки и процедуры контроля результатов обучения (тестирования). Ее содержание в обязательном порядке должно включать батарею тестов (комбинированный тест) для внутреннего (учебное заведение) и внешнего (министерство образования и науки) контроля результатов (в виду особой важности качества тестирования в начале реформы, оно рассматривается ниже как отдельный критерий).

Требование эталонности означает также однозначность выделения и толкования каждой единицы содержания. Отсюда следует обязательность четкого и обоснованного его структурирования, конкретизация целей курса до элементарных единиц, подлежащих освоению (и контролю), при полном исключении любых деклараций и неопределенности.

В противном случае невозможно обеспечить объективный мониторинг продвижения, контроль и сопоставимость результатов, без которых вся реформа ставится под сомнение.

Проблема «творчества и свободы» решается за счет двух моментов: во-первых, типовая программа задает лишь необходимый минимум содержания, так что образовательное учреждение имеет право по своему усмотрению расширить его, или включить другие требования в своих рабочих программах в сторону их повышения относительно стандарта типовой программы; во-вторых, - за ним остается полная свобода относительно процесса и способов обучения, кроме обязательного требования обеспечить заданный минимум результатов.

Рекомендации по структурированию содержания курса

При структурировании учебного курса необходимо учитывать особенности сознательного мышления и соответствующие различия в структуре и освоении знаний (теоретический курс или его часть) и новых видов деятельности (практический курс или его часть). Мышление есть процесс моделирования действительности. Знание - результат этого процесса. Структура этого знания имеет системно-функциональный характер.

Сознательное логическое мышление моделирует действительность в знаковой форме - в отвлеченных образах понятий и терминов. Такая модель обозначается термином «знание». Знания либо заимствуются (усвоение готовой модели), либо создаются (самостоятельное формирование модели какой-то части реальной действительности). В любом случае этот процесс, обозначенный словом понимание, начинается с ответа на вопросы «Что это? Для чего это?» Он характеризуется первичным выделением объекта внимания как простой системы (с одним дроблением). Обычное определение понятия и есть такое первичное выделение системы: указание класса, к которому относится объект, и его существенных отличий (указание свойств) от других однородных объектов этого же класса. Это уровень элементарного знания.

Следующий, более высокий уровень представлен процессом осмысления. Он характеризуется выделением и фиксированием сложной целостной структуры системы, ее назначения (главной функции), генезиса, функций составляющих ее элементов, связей и взаимодействия между ними, завершаясь обозначением функции системы по отношению к надсистеме. Это мировоззренческий уровень системного знания.

Заключительный уровень - освоенный процесс свободного и творческого применения знания, а также поиска нового знания. Он характеризуется накоплением опыта и навыков поиска, осмысленного применения, свободного и самостоятельного переноса знания на другие масштабы и сферы деятельности, становится органичной частью личности. Это личностно-активный (личностно-деятельностный) уровень знания.

Содержанием теоретического курса является теоретическое знание, его усвоение и применение.

Усвоить теоретический курс - это значит:

иметь систему представлений (теоретическую, системно-

функциональную модель какой-то части реального мира, изучаемой в данном курсе);

уметь применять ее на практике по образцу, под контролем сознания (уровень умения);

уметь применять ее свободно, освоение навыка переноса в сфере своих профессиональных обязанностей (уровень навыка, эвристический);

уметь применять ее творчески, свободный перенос на другие

сферы и проблемы, самостоятельный поиск нового знания

(уровень творчества и исследования).

Кстати, указанная структура может служить основанием для дифференциации тестовых оценок по уровню усвоения (первая и вторая позиция - «удовлетворительно»; первая и третья - оценка «хорошо»; первая - четвертая - «отлично»).

С учетом изложенного, можно сформулировать ступенчатый принцип дробления (последовательность усложнения и детализации в процессе обучения) содержания теоретического курса в учебной программе: от обобщенного и мало структурированного представления системы знания в форме целей, задач и основных понятий, к максимальной детализации содержания в темах курса, излагающих целостную систему знания, и с последующим возвратом к обобщенному и хорошо структурированному знанию в темах прикладного характера.

В частности, при подготовке типовой программы предлагаю трехступенчатое дробление содержания предмета: цели, задачи (темы), единицы содержания. При этом:

цели курса излагаются в одном - двух предложениях как

обобщенное перечисление основных знаний и видов деятельности, которые должны быть освоены при изучении курса;

задачи (темы) курса - формулируются как конкретизация каждой

цели в форме однозначного перечня знаний, умений и навыков, подлежащих поэтапному освоению (одна задача - название и содержание одной темы - занятий одной недели или одного занятия);

единицы содержания - последняя детализация, при которой

знания и осваиваемые виды деятельности (действия) темы формулируются в виде элементарных (не делимых далее), существенных и однородных единиц знания (процесс выделения единиц для осваиваемой деятельности будет изложен ниже), каждая из которых должна быть единицей усвоения и единицей тестирования при контроле результатов обучения. Ее содержание - ответ на вопрос «Что это такое и какова его сущность?» Оно состоит из трех элементов: определения понятия, его структурно-логической схемы; указания назначения (функции, связи); примера функционирования или практического применения (демонстрация осмысления).

В процессе структурирования курса важно обеспечить полноту, однородность и однозначность, минимизацию и обоснованность формулировок.

Не должно быть пропущено ничего существенного по каждой

теме и курсу в целом - теоретические знания, умения и навыки; профессиональные знания, умения, навыки (компетенция). Перечень единиц содержания по одной теме формулируется на одном уровне обобщенности, при равном объеме понятий.

Программа должна содержать только существенные положения и факты. В любой ее части должны быть исключены декларативные формулировки, частные и второстепенные аспекты, относящиеся к пояснениям, описаниям контекста, неоднородной детализации и иллюстрации существенных сообщений.

Существенными идеями (положениями, сообщениями) считаются структурные элементы главной идеи, конкретизирующие назначение курса или темы (целостные смысловые единицы того, что должно быть усвоено).

Существенными фактами считаются сообщения, содержащие конкретные данные о действительном, практическом основании существенных идей (цифры и другие сведения объективного характера, представляющие собой необходимый и достаточный минимум обоснования, доказательства или опровержения основных положений).

Структурирование практического курса имеет свою специфику в дополнение к изложенному выше. Его содержанием является практическое знание и освоение конкретной профессиональной деятельности (компетенции). Структура этого знания как модели осваиваемой деятельности: осознание целей деятельности как конкретной формы представления результатов; представление о каждом действии - его назначении и способах выполнения; представление об алгоритме деятельности как целостной и фиксированной последовательности действий.

Усвоить практический курс, - это значит:

сформировать практические знания, модель осваиваемой деятельности;

освоить выполнение каждого отдельного действия под

контролем сознания, а затем - автоматизировать его;

освоить алгоритм осваиваемой деятельности под контролем

сознания (уровень умения), а затем - автоматизировать его применение (уровень навыка).

Соответственно, указанное структурирование позволяет построить дифференцированную шкалу оценки по уровням освоения деятельности:

оценка «удовлетворительно» - при наличии указанных выше практических

знаний, освоении каждого отдельного действия на уровне навыка, освоении целостной деятельности на уровне умения;

оценка «хорошо» - при наличии практических знаний, освоении каждого

отдельного действия и целостной деятельности на уровне навыка;

оценка «отлично» - при наличии практических знаний, освоении каждого

отдельного действия и целостной деятельности на уровне навыка, а также свободного переноса в другие сферы и на другие масштабы деятельности.

Дробление при структурировании практического курса: тема - название деятельности, которую нужно освоить; единицы содержания темы: практические знания о деятельности (понятие и назначение деятельности, форма представления результатов, действия, алгоритм их объединения в целое); освоение и автоматизация отдельных действий, освоение и автоматизация целостной деятельности, перенос деятельности на другие масштабы и другие сферы жизнедеятельности.

Типовая программа обновляется не чаще одного раза в четыре года. Обновленная или вновь созданная программа должна проходить многостороннюю, квалифицированную, независимую и анонимную (относительно авторов) экспертизу на соответствие указанным выше требованиям. Эксперты подбираются из числа квалифицированных преподавателей-методистов, имеющих опыт преподавания учебного курса проходящего экспертизу, а также разработки учебных программ, тестов и методических материалов к нему. Привлекаемая к экспертизе группа специалистов проходит предварительное обучение с целью согласования предмета, правил и формы ее проведения.

1.2. Рабочая программа по учебному курсу является основным документом, организующим процесс реального обучения.

Ее вариант для обучающихся (путеводитель, силлабус) повторяет содержание типовой программы и дополнительно содержит по каждой теме: перечень конкретных заданий по организации аудиторной и внеаудиторной работы по усвоению каждой единицы содержания; постраничные ссылки на источники необходимой информации; вопросы для самоконтроля; критерии, оценочные шкалы и показатели, процедуры текущего, рубежного и итогового контроля усвоения курса. Кроме того, указываются пререквизиты курса (обязательный входной контроль), сведения о преподавателе, график и место проведения занятий и консультаций, а также его требования к обучающимся в отношении поведения и этики отношений.

Вариант для преподавателя дополняется наличием учебно-методического комплекса (УМК). Комплекс содержит детально проработанные информационные и методические материалы, используемые на аудиторных и других занятиях (демонстрационные, раздаточные, инструкции и тексты к групповым занятиям и заданиям СРС, конспекты, электронные учебники, методические советы и пособия, тексты и темы контрольных и курсовых работ, тесты входного, текущего, рубежного и итогового контроля в электронном и бланковом исполнении, а также ключи к ним, носители информации и адреса ее дополнительных источников, и т.п.). УМК обновляется ежегодно.

Обновленная или вновь созданная рабочая программа (прежде всего тесты и задания по СРС) должна проходить квалифицированное и анонимное рецензирование нескольких специалистов по данному предмету или независимую экспертизу (не менее трех заключений экспертов, с последующим согласованием).

В порядке завершения раздела по качеству учебных программ - небольшое пожелание в отношении обучения по программам магистратуры и докторантуры. - Не следует спешить с запуском этого «конвейера», отложив это хотя бы на 3-4 года, чтобы накопить опыт профессиональной организации обучения в системе подготовки бакалавров. Потому что, как уже отмечалось в самом начале этого текста, таких специалистов сегодня готовить некому, и получится привычная профанация в виде массового производства дилетантов-магистров и т.п.

В соответствии с концепцией развития образования Республики Казахстан до 2015 года, назначение указанных форм послевузовского образования - подготовка научных и научно-педагогических кадров. Имеется в виду, что со временем право преподавания в вузе будет иметь только специалист со степенью магистра или доктора. Однако научно-педагогическая подготовка вузовских кадров - дело для нас абсолютно новое. С обучением методологии научного исследования справиться будет не так сложно, а вот научной педагогики, как профессионально освоенной деятельности, в наших вузах не существует; ее еще только предстоит сформировать, в чем и состоит нынешний кризис образования.

2. 2. Качество результатов обучения

При оценке качества результатов образования (рейтинга), достигнутых конкретным учебным заведением, предлагаю применять три обобщенных критерия, выражающих степень действительной эффективности его деятельности: обеспечиваемый уровень академической подготовки выпускников (показатели: средний балл успеваемости выпускников; доводимость от приема до выпуска); сравнительный уровень востребованности выпускников, как признание работодателями обеспечения высокой и гарантированной квалификации (показатели: динамика трудоустройства и уровня начальной заработной платы выпускников); престижность учебного заведения, как форма его общественного признания (показатели: конкурсность приема - сравнительный средний балл принятых на первый курс и его динамика; относительная численность набора на первый курс, в том числе - по грантам и кредитам и их динамика).

Главный из указанных критериев - уровень академической подготовки - определяется качеством усвоения каждого и всей совокупности учебных курсов, составляющих содержание подготовки специалиста - бакалавра. Необходимость объективного выявления и оценки качества усвоения учебного материала в учебном процессе предъявляет особые требования к созданию и применению тестов.

2.1. Качество тестирования. Общие положения.

Назначение тестирования - обеспечить объективный контроль (текущий, рубежный, промежуточный, итоговый) усвоения теоретических и профессиональных (компетенция) знаний, умений и навыков по каждому учебному курсу и специальности в целом. Эта цель и соответствующие задачи решаются содержанием конкретных тестов, способами их внутренней организации и формами применения.

Любое тестирование знаний и поведения человека - есть процесс измерений в психологии, который относится к науке «психометрии». В соответствии с ее правилами при создании и применении любого теста «как инструмента измерения» должны тщательно соблюдаться требования «валидности», «точности» и «надежности». Любой тест нельзя допускать к применению без основательной проверки и доказательства его соответствия указанным требованиям. Несоблюдение этого условия создает иллюзию «легкости» создания теста и самого тестирования, и приводит к тому, что применение такого теста вводит в заблуждение относительно измеряемых результатов и их сопоставимости; поскольку очень часто на самом деле измеряется не то, что намеревались измерить; а если и измеряется, - то с недостаточной и неизвестной степенью достоверности результатов и значимости различий (без чего тестирование не имеет смысла). Это особенно актуально при переходе на кредитную систему образования, для которой сопоставимость и возможность суммирования результатов тестирования имеет решающее значение.

Поэтому при создании теста (на каждом этапе и по каждому его элементу) обязательны: независимое рецензирование, экспертная оценка, практическая проверка валидности и трудности теста (и каждого из его вопросов-заданий), точности и надежности измерений с обработкой результатов методами математической статистики.

Валидность теста (тестового задания, вопроса) - это ответ на вопросы «Что должен измерять и что на самом деле измеряет тест (отдельное его задание, вопрос и ответ)? Не произошло ли незаметное искажение или даже подмена заданной цели за счет неудачной формулировки вопросов, ответов, инструкции, отсутствия равных и одинаковых условий проведения, и т.п.?"

Точность теста - это оценка вероятности ошибки в измерении, степени достоверности получаемых оценок; вероятностная оценка значимости различий между тестовыми оценками. Только она дает возможность обоснованной дифференциации оценок. Например, что считать существенным различием и оценивать в 3 - 4 - 5 баллов, а какие различия, наоборот, считать несущественными и оценивать их одинаково.

Надежность теста - это заданная степень совпадения оценок по одному тесту при повторном, независимом тестировании одних и тех же людей разными людьми и в разное время; при сопоставлении получаемых оценок по данному тесту с оценками по другим тестам, измеряющим то же самое.

Трудность теста - это его способность обоснованно распределять тестируемых по различающимся уровням успешности (в самом простом случае - это оценки «удовлетворительно», «хорошо» и «отлично») за счет меняющейся сложности заданий.

Можно выделить три класса ошибок при создании тестов:

Ошибки моделирования объекта тестирования закладываются на стадии подготовки учебной программы. Они возникают как следствие произвольного толкования содержания программ, обусловливающего несопоставимость внутреннего (преподаватель, вуз) и внешнего (вуз, министерство) контроля качества образования.

Сама программа может не отвечать требованиям государственного стандарта подготовки специалиста; единицы ее содержания могут быть представлены в декларативной и неоднозначной формулировке; тестовые задания могут не совпадать со смыслом и логикой содержания программы и т.д.

Ошибки организации теста и процесса тестирования возникают в процессе создания и применения теста. Тестовые задания могут не совпадать со смыслом и логикой содержания программы, они могут измерять не то, что должны; произвольная процедура тестирования может влиять на результаты, искажая их и т.д. и т.п.

Ошибки исследования теста и толкования результатов - следствие произвольного толкования процедур создания и применения теста, а также интерпретации получаемых с его помощью результатов. Это обусловлено отсутствием соответствующих стандартов и доказательной проверки их соблюдения.

При непосредственном создании теста наиболее распространены пять ситуаций, обусловливающих его скрытую или явную непригодность (первичное выявление неадекватности теста достигается независимым рецензированием и экспертизой):

Формулируя тестовый вопрос-задание с несколькими ответами,

составитель нередко проявляет непроизвольную тенденцию отбирать и включать в вопросы информацию, требующую простого воспроизведения единичных, а часто и второстепенных фактов (понятия, названия, цифры, имена, даты и пр.), а также более привычную и лучше им самим освоенную. В результате тест работает на простое воспроизведение значительно упрощенного и искаженного содержания учебного курса, серьезно завышая оценки.

Это обусловлено высокой сложностью работы, которая на первый взгляд представляется легкой, но на деле требует высокой квалификации, большого труда и сосредоточенности. В самом деле, простым по форме вопросом-заданием нужно выявить глубину понимания и усвоения конкретного элемента учебной программы; одновременно нужно подобрать простой, но емкий и точный правильный ответ; при этом нужно сформулировать еще несколько неверных ответов, каждый из которых был бы очень правдоподобным. Кроме того, нужно сделать эти задания разной степени трудности и предусмотреть простую оценку ее различия. К тому же тест содержит большое количество таких вопросов-заданий.

Эту ошибку легко выявить процедурой обратной сверки: по формулировкам тестовых вопросов-заданий составляется список фактически тестируемых единиц, который сверяется с единицами содержания каждой темы учебной программы. Обнаруженное несоответствие устраняется по критерию совпадения единиц содержания и единиц тестирования.

Формулировка вопроса может быть такой, что содержит

подсказку (наводящий вопрос), - это позволяет дать правильный ответ тому, кто знает материал ниже заданных требований.

Формулировка вопроса и ответов может быть недостаточно

определенной, неоднозначной (допускающей различные толкования), так что неверный ответ может выбрать и тот, кто хорошо усвоил материал.

Варианты ответов могут быть подобраны так, что, даже не зная

материала, можно логически отсеять часть или все неверные ответы (например, при вариантах ответов, явно относящихся к другой теме или сфере знаний).

Чрезмерно ограниченное число ответов на один вопрос в

закрытом варианте теста (выбор ответа из готового их списка).

При этом имеет место высокая вероятность угадать правильный ответ, совершенно не зная материала.

Остановимся на этом подробнее, поскольку это относится к важной проблеме обеспечения точности теста.

Например, при дихотомическом выборе ответа (да-нет, правильно-неправильно) вероятность угадать верный ответ составляет 50%. То есть, если тест состоит из 100 вопросов, то можно утверждать, что число правильно угаданных ответов будет около 50. Такой тест можно применить только при условии, что достаточно усвоить половину материала; но и тогда, для удовлетворительной оценки (типа «зачтено») нужно требовать 100 правильных ответов (иначе нет гарантии действительного усвоения половины курса).

Исходя из сказанного, минимально допустимое число ответов на один закрытый ответ равно «пяти». Вероятность случайного угадывания правильного ответа здесь равна 0,20 (20%), а точность измерения - 0,80. Хотя она ниже, чем общепринятая в математической статистике (0,95), но вполне приемлема для большинства тестов на измерение знаний с недифференцированной оценкой типа «усвоено - не усвоено». Однако, при необходимости введения различных уровней усвоения такое построение теста непригодно.

Для иллюстрации этого утверждения попытаемся построить соответствующую шкалу оценок. При требовании знать 51 % материала для оценки удовлетворительно, обучающийся должен набрать по тесту 63,75 % правильных ответов (это гарантирует нас от случайного угадывания 20% ответов). 60 % усвоения требует 75 % правильных ответов.

75 % усвоения - 94 % верных ответов, а 80 % - 100 % точных ответов. Очевидно, что такой тест не обладает достаточной различительной способностью для высокого уровня усвоения («отлично» получат те, кто усвоил менее 80 % курса, или вообще - никто, поскольку шкала не позволяет различать высокие оценки). К этому следует добавить, что уровень усвоения курса в 51 % можно признать удовлетворительным только в тех случаях, когда учебный курс призван сформировать лишь общие представления в какой-то области знания. В сфере освоения профессиональных знаний и умений, а также при освоении новой деятельности эта «планка» должна быть поднята значительно выше (невозможно принять удовлетворительным освоение наполовину количества основных грамматических форм или минимального словаря изучаемого языка; или - половину действий, составляющих какую-то целостную осваиваемую деятельность).

Из изложенного следует, что точность теста должна быть выше, чем 0,80. Иначе говоря, нужен выбор не из пяти, а из 20 и более ответов (точность 0,95 и выше). Такой тест трудно составить, с ним неудобно работать тем, кто проходит тестирование (невозможно удержать в памяти и легко обозревать возможные ответы, выбор ответа требует очень много времени и усилий, что приводит к ошибкам).

Выход состоит в том, чтобы каждая тестируемая единица была представлена несколькими однородными вопросами (батареей) с выбором из пяти ответов на каждый вопрос. Так, при двух вопросах на тестируемую единицу, - два правильных ответа обеспечивают точность оценки 0,96. При трех вопросах на тестируемую единицу: два правильных ответа гарантируют точность 0,88, а три - 0,992. При четырех вопросах: два верных ответа дают точность 0,76; три - 0,968. При пяти вопросах - три правильных ответа дают точность 0,95 (наилучший вариант для тестируемых, поскольку снижается возможность случайной ошибки или неверного ответа из-за неудачной формулировки ответа составителем теста).

При таком конструировании теста сначала необходимо оценивать усвоение каждой тестируемой единицы (по принципу «усвоено или нет»), а затем - оценивать усвоение по всему тесту (процент правильных ответов из их общего числа вопросов или процент усвоенных единиц из числа всех единиц теста). Это дает хорошо дифференцированную шкалу оценок.

Разновидности тестов. Сплошное и выборочное тестирование.

Наиболее распространены простые и сложные тесты с однородной и дифференцированной трудностью заданий.

Простой тест состоит из примерно одинаковых по трудности вопросов-заданий и обычно предназначен для оценки усвоения типа «зачтено - не зачтено». Его преимущество в относительной легкости составления, простоты применения и компьютеризации. Такой вид теста в настоящее время является преобладающим. Он используется для оценки усвоения знаний и отдельных действий на уровне «понимание и воспроизведение» в процессе текущего контроля и строится по принципу «одна единица содержания учебного курса - один тестовый вопрос - пять вариантов ответа». Его недостаток - малая пригодность для получения дифференцированных оценок при промежуточном и итоговом контроле (усвоения теоретических знаний на уровне осмысления и применения, а также практического освоения отдельных видов профессиональной деятельности).

Сложный тест предназначен для более глубокого контроля и получения интегрированных и хорошо различаемых оценок. Главная особенность и достоинство такого теста - контролируемое изменение трудности тестовых заданий, позволяющее четко дифференцировать обучающихся по успешности обучения. Это качество обеспечивается двумя способами построения (и применения) теста. В первом случае подбирается три группы заданий, различающихся по уровню сложности и соответствующих оценкам «удовлетворительно», «хорошо» и «отлично». Обучающимся дается возможность выбрать подходящий уровень трудности. Во втором случае всем обучающимся предъявляется один тест, все задания которого различаются по сложности. Предполагается, что более подготовленные студенты справятся с большим числом заданий, и произойдет естественное ранжирование их успешности (практически все тестируемые получат разные оценки в отличие от предыдущего способа, при котором тестируемые распределяются только на три группы).

Термин сплошное тестирование означает способ контроля, при котором тестируются все единицы содержания учебного курса (или его части), независимо от общего их числа. Он должен быть обязательным для промежуточного и итогового контроля (проводимого службой Регистратора или деканатом), а также частично - для текущего и рубежного, в тех случаях, когда обязательно усвоение каждой без исключения единицы содержания («промежуточный контроль» означает экзамен или завершающую работу после окончания изучения учебного курса; «итоговый контроль» - итоговый по дисциплине или междисциплинарный выпускной экзамен, или выпускную работу по специальности).

Термин выборочное тестирование означает способ контроля, при котором тестируется относительно небольшая часть единиц содержания курса (обычно 10 %), отобранная из их общего числа (списка) случайным образом (лучше всего - компьютером). Предполагается, что полученная приблизительная оценка усвоения курса имеет допустимую точность для самоконтроля обучающимися, текущего и (реже) рубежного контроля со стороны преподавателя.

2.2. Тестирование теоретического учебного курса

При создании и применении тестов необходимо учитывать различия в структуре, особенностях проявления (фиксирования) и усвоения теоретических и практических знаний, познавательной деятельности по их применению, а также практической деятельности по освоению и применению профессиональных умений и навыков.

Структура знаний и деятельности различна (см. п. 3.1.). Назначение теоретического курса - сформировать модель какой-то части мира (специфическое знание) и научить применять ее (сформировать соответствующие умения и навыки в решении познавательных задач практики). То есть его содержание неоднородно. Это влечет за собой качественное различие соответствующих единиц содержания в учебной программе, различие способов обучения и способов фиксирования его результатов.

Иначе говоря, для тестирования теоретического курса необходимо два различных теста: один - для оценки знаний (на уровне «понимание-воспроизведение» и с оценкой «усвоено на приемлемом уровне - не усвоено»); другой - для оценки умения их применять (на уровне «системного осмысления знания и применения по образцу - свободного применения - творческого применения» и с дифференцированной оценкой 3-4-5 баллов). Формально объединив их, получим один комбинированный тест.

2.3. Тестирование практического учебного курса

Назначение практического курса - сформировать модель новой деятельности (практическое знание) и научить выполнять ее (сформировать практические действия - умения и навыки ее выполнения в рамках профессиональных обязанностей).

Структура такого практического знания: осознание целей деятельности как конкретных форм представления результатов; представление о каждом действии - его назначении и способах выполнения; представление об алгоритме деятельности как целостной и фиксированной последовательности действий. Элементы этой структуры (единицы знания) должны быть единицами содержания учебной программы, единицами обучения и единицами тестирования. Нужен тест контроля практического знания.

Программа должна также зафиксировать в качестве единиц обучения (и тестирования) практическое освоение всех действий и деятельности в целом (умение выполнять каждое действие в отдельности, выполнять деятельность как целостный процесс, фиксировать ее конечные результаты в заданной форме). При этом обязательно должен быть освоен (и протестирован) каждый элемент. Следовательно, нужен второй тест - для контроля освоения целостной деятельности под контролем сознания (уровень умения). Два указанных теста, при успешном их выполнении (оба с оценкой «усвоено»), выявят приемлемый уровень усвоения деятельности (оценка «удовлетворительно»).

Только после этого можно применить еще один тест для получения более высокой, дифференцированной оценки «хорошо» или «отлично».

Таким образом, тестирование практического курса предполагает наличие и применение трех различных по содержанию тестов. В зависимости от реальных различий в качественной структуре содержания конкретного учебного курса, их может быть и больше трех. В любом случае, формально объединив частные тесты под общим названием курса, получим один комбинированный тест.

2.4. Требования к содержанию и форме теста

Структура теста:

Инструкция по назначению и правилам применения.

Критерии оценки (предмет оценки по каждой теме или курсу в

целом).

Вопросы-задания (закрытые, полуоткрытые, открытые).

Ответы-ключи (выбор из списка готовых ответов, ввод ответа из

не предъявляемого списка, ввод свободного ответа).

Шкалы оценок (по каждому критерию темы или курса в целом).

Требования к содержанию теста:

1. Критерии оценки:

1.1. По каждой отдельной теме или курсу выделяется предмет оценки (что оценивается - специфическое знание, его качественная характеристика, вид деятельности и т.п.);