Методы оценки нечетких моделей знаний операторов информационно-управляющих систем

Систему «ИУС-оператор», обладающую нечеткими моделями знаний, можно считать системой с активными элементами. Элементы системы имеют собственные цели. Один из партнеров имеет цель получить информацию от другого партнера (или с его помощью). В данном разделе построим модель «побуждения» системы приобретать нечеткие модели знаний, базирующейся на механизме оценки неполноты знаний.

В классическом понимании диалог образуют множество альтернативных шагов диалога. Шаг интерпретируется как вопрос-ответная ситуация, причем активным считается партнер, которому необходимо пополнить свою систему знаний. Формальным описанием шага считается интеррогатив вопроса, который представляет перечень альтернатив, предъявляемых партнеру для построения ответа. Одновременно в сообщении-вопросе явно или неявно пассивному партнеру (отвечающему) передается информация, ограничивающая выбор альтернатив.

Рассмотрим проблему реализации эротематического диалога в случае, когда сценарий отсутствует. Последовательность шагов диалога (выбор очередного альтернативного шага) интеллектуальная система должна определить динамически. Для реализации такой функции необходима некоторая процедура порождения последовательности шагов.

Поскольку предполагается построение адаптивное информационной системы, «умеющей» задавать вопросы, используем такие аналогии поведения оператора для моделирования этого поведения компонентами адаптивное информационной системы:

· оператор может инициировать восприятие информации по собственной инициативе;

· оператор воспринимает, хранит и использует неполную («недоопределенную», неточную, нечеткую) информацию.

Деятельность индивида, направленная на познание мира (окружающей среды) относится к предмету когнитивной психологии. Будем считать соответствующее поведение искусственной адаптивное информационной системы «когнитивным поведением».

Для моделирования инициативы адаптивное информационной системы обращаться к среде за информацией воспользуемся теорией потребностей. В соответствии с [106], оператору требуется информация для удовлетворения как гомеостатических, так и других основных потребностей. Например, к основным относится потребность «знать и понимать», которая инициирует поведение «исследовать, задавать вопросы, удовлетворять любопытство, смотреть, слушать,…» [107].

Логично предположить, что причиной «исследования» или «постановки вопросов» является факт осознания интеллектуальной системой «нечеткого знания», то есть недостатка знаний, фактов по поводу объекта информационного «исследования». Поскольку «нечеткие модели знаний» - это характеристика знаний, которыми располагает оператор или интеллектуальная система, моделирующая некоторые функции оператора, следует рассмотреть проблему представления знаний. Известно, что модели знаний могут быть сведены одна к другой, поэтому выбор конкретной модели не снизит общности рассмотрения проблемы.

Будем считать, что нечеткие модели знаний информационно-управляющей информационной системы реализованы на основе модели «сущность-связь». «Сущность» и «связь» имеют общее название «категорий». Категории могут образовывать типы категорий, как в модели Чена [108]. Будем, далее, различать имена и денотаты категорий. Например, для предметной области «экономический риск» имя категории «сущность» - «инвестиционный риск», а денотат имени - величина риска в выбранной единице измерения.

Рассмотрим состояние знаний некоторой информационно-управляющей системы в данной предметной области. Будем различать два периода:

· период накопления знаний системой о заданной предметной области;

· период сбора данных (значений, или денотатов) в условиях, когда множество категорий уже известно интеллектуальной системе.

Поведение системы, накапливающей нечеткие модели знаний (первый период), можно представить как формирование модели предметной области или построение «информационного фантома действительности» [92].

Для моделирования информационной потребности и связанной с ней потребности обращаться к партнеру (эксперту в данной проблемной сфере) за новыми нечеткими знаниями необходимо оценить степень «нечеткости знаний».

Сопоставить уровень знаний (незнаний) с отражаемыми в них объектами предметной области можно, оценив степень симметрии (асимметрии) этой информации и действительности. Эта асимметрия фактически определяет адекватность информационной модели объекту моделирования (проблемной области). Для измерения этого уровня следует ввести количественную меру, представляющую собой оценку энтропии информации.

Будем считать разделение категорий на сущности и связи в модели представления знаний условным и примем взаимную переходность категорий из одного типа: в другой. Например, категория «цвет» в одном случае может выступать сущностью, а в другом - как отношение, описывающее свойства сущности «автомобиль». Снабдим каждую категорию специальным отношением (меткой), характеризующим определенность данной категории в смысле полноты знаний системы по поводу данной категории.

Приписывая метки, считаем, что категориям, имеющим одинаковый уровень определенности, присваиваются одинаковые метки. Большее значение метки соответствует меньшей определенности, меньшее значение - большей определенности. Для нахождения меры количества знаний используется закон распределения категорий с различной степенью определенности. Найти его можно, воспользовавшись вариационно-энтропийным принципом, когда вид распределения, описывающего анализируемую систему, определяется условием максимизации энтропии этой системы S при фиксированных условиях, отвечающих ее природе. Для оценки энтропии баз данных и знаний воспользуемся оценками, которые применяются для анализа научной информации [92].

Приписывая метки каждой категории базы знаний, соответствующие уровню ее определенности, мы не установили, каким должен быть механизм такого «приписывания». Однако для программной реализации это необходимо. Один из путей решения этой задачи - участие эксперта - партнера информационно-управляющей системы. Другой путь - обратиться к аналогам, а именно: моделировать соответствующее когнитивное поведение оператора. Структурирование информации человеком происходит так, что качество информации определяется количеством связей между сущностями [109]. Таким образом, модель базы знаний информационно-управляющей системы можно построить по тому же принципу: чем больше связей имеет данная категория с другими сущностями, тем выше уровень ее определенности. Для количественного измерения этого уровня необходим прогноз количества связей для категорий из данной проблемной области. Эту задачу можно решить с помощью для соответствующего уровня (подмножества проблемной области) и для соответствующей предметной области.

В итоге энтропию знаний предлагается оценивать как

где R - множество связей категорий базы знаний; S_W - энтропия для предметной области W, рассчитанная аналогично .

Рассмотрим вопрос выбора альтернативного шага диалога. Партнеры, ведущие эротематический диалог, как и в других случаях общения, преследуют некоторую согласованную цель диалога G_W для заданной предметной области W. Для формирования очередного вопроса партнер выясняет («осознает»), какой уровень неопределенности имеет его база знаний, и какие категории базы знаний имеют наибольший уровень энтропии. Могут быть также два случая, когда требуются другие критерии для выбора очередного шага: более одной категории имеют один и тот же уровень «нечетких знаний»; предпочтения партнеров обсуждать в очередной вопрос-ответной ситуации «семантически» близкий объект - категорию.

В результате идентификатор очередного шага диалога (или вопрос-ответной ситуации) определим как

где G_W - цель диалога; S_C - энтропия категории; R_N - параметр, определяющий семантическую близость категорий.

Формализованная модель диалогового поведения интеллектуальных партнеров, содержащая механизм выбора альтернативного шага диалога на основе оценки энтропии информации представлена на рис. 1.2.

Представим модель поведения партнеров как деятельность группы интеллектуальных агентов.

Интеллектуальный агент является удобной абстракцией и широко используется при описании и проектировании систем искусственного интеллекта [110, 111, 112].

Агент в данной работе отвечает концепции М. Минского, которая рассматривает функции некоторой системы с искусственным интеллектом как группу агентов. Агент выступает как составная часть модели нечетких моделей знаний, и его структура реализует простые элементы функционирования интеллекта.

Рис. 1.2. Формализованная модель диалогового поведения системы «оператор-ИУС»

Агент воспринимает (perceiving) окружающую его среду при помощи сенсоров (sensors) выполняет переработку данных и знаний, может делать логический вывод, определять затем свое поведение, и, в конце концов, действует на среду (acting) своими эффекторами (effectors). Группа, которая реализует поведение партнеров, состоит из таких агентов:

Step-Agent - агент шага диалога. Внешняя среда агента - другой партнер, «эффекторами» и «рецепторами» являются возможности презентационного агента, знание этого агента находятся в базы знаний предметной области. Эти нечеткие модели знаний являются «сырьем» для построения интеррогативов (формальных представлений) вопросов.

Entropy-Agent (энтропийный агент) - этот агент непрерывно выполняет оценку уровня «незнаний» адаптивное информационной системы и определяет благодаря такой оценке имя субъекта следующего вопроса диалога, которое он сообщает Step-Agent-у.

Press-Agent (презентационный агент) выполняет функции интерпретатора шагов диалога и ответов пассивного партнера. Средой для него является знание партнера диалога, а функции базы знаний для него реализуют другие агенты.

Cognitive-Agent (когнитивный агент) является центральным в той версии архитектуры тьютора, которая исследуется в данной работе. Средой этого агента есть когнитивная сфера обучаемого и соответствующая когнитивная модель, которая входит в состав тьютора. Средствами влияния Cognitive-Agent на ученика являются Press-Agent и Adaptive-Agent. Функции этого агента - тестирование пользователя и поддержка его когнитивной модели.

Adaptive-Agent (агента адаптации) воспринимает пользователя как среду, но через посредничество других агентов, в том числе - через когнитивную модель пользователя. Этот агент анализирует его когнитивный профиль и продуцирует логическое умозаключение о принадлежности пользователя к определенному когнитивному типу (на основе когнитивных возможностей и когнитивного стиля).

Анализ методов и моделей формализации взаимодействия конечного пользователя с ИУС показал необходимость решения задачи взаимодействия ИУС и оператора с использованием методов нечеткой логики.

1.5 Постановка задач исследований

На основе проведенного аналитического обзора предметной области установлено, что методы исследования нечетких моделей знаний следует классифицировать с учетом требований к глубине их интегрирования в методы их мониторизации и с учетом задач, стоящих перед оператором ИУС. Не менее важными являются требования к проведению измерений и к глубине получаемого по этим измерениям результата.

Для решения проблемы глубины получения достоверного диагноза контроля знаний необходимо разработать методы дихотомической оценки нечетких моделей знаний операторов информационно-управляющих систем. Для решений этой проблемы необходимо исследование следующих вопросов: идентификация систем оценки нечетких моделей знаний операторов ИУС; дихотомическое оценивание знаний операторов ИУС; статистический анализ результатов оценки знаний операторов ИУС дихотомическими тестами.

Проведенный анализ работ по созданию ИУС в нечётких условиях, основанный на системной интеграции технологий искусственного интеллекта с точными методами и моделями поиска решений определил необходимость решения задачи управления базами нечетких моделей знаний операторов в информационно-управляющих системах. Решение задачи управления базами нечетких моделей знаний операторов ИУС требует исследования следующих вопросов: основные понятия теории нечетких множеств и нечеткой логики для задач формирования БНЗ; необходимые и достаточные условия управления БНЗ операторов ИУС; модели взаимодействия ИУС и оператора с использованием методов нечеткой логики.

На основе обобщения и анализа моделей ИУС возникла задача идентификации моделей нечетких моделей знаний операторов ИУС. Решение задачи идентификации моделей управления нечеткими моделями знаний операторов ИУС требует исследования следующих вопросов: анализ моделей нечетких моделей знаний операторов ИУС; методы приведения некорректных задач ИУС к классу корректных; методы согласованности исходных данных при решении задач управления нечеткими моделями знаний операторов ИУС; оценка эффективности управления нечеткими моделями знаний операторов ИУС.

2. Методы дихотомической оценки нечетких моделей знаний информационно-управляющих систем

2.1 Идентификация оценки нечетких моделей знаний операторов ИУС

Основным понятием при оценке нечетких моделей знаний операторов ИУС по дихотомическому признаку (дихотомия dichotomy, от греч. dichotomia - разделение на две части) - переменная, имеющая только два возможных значения, т.е. когда в результате получаем один из двух вариантов ответа) используем три варианта этого понятия: контроль одного теста, контроль выборочных тестов, контроль двух выборочных тестов. Поэтому необходимо решить задачу идентификации оценки нечетких моделей знаний операторов ИУС.

Рассмотрим некоторые положения современной теории тестов. Поскольку современная теория тестов предлагает достаточно большое число математических моделей, задача выбора той или иной модели применительно к конкретной ситуации приобретает большую актуальность. Прежде всего, можно выделить два больших класса математических моделей - параметрические и непараметрические. Параметрические модели подразумевают набор параметров для описания заданий, что накладывает дополнительные ограничения на сами задания. Непараметрические модели предполагают меньшее число начальных ограничений, их всего 3: статистическая независимость заданий - общая вероятность получения того или иного набора ответов на задания может быть выражена как произведение частных вероятностей; монотонность - характеристические кривые заданий являются неубывающими функциями уровня подготовленности (или неубывающими по каждой из координат, если - вектор); непрерывность - является вещественным числом, или вектором вещественных чисел (т.е. подготовленность оценивается в непрерывной шкале).

Эти 3 ограничения являются базовыми и характерны как для непараметрических, так и для параметрических моделей. Из них вытекает, например, такое интересное следствие - для теста из заданий, для любых и , для всех справедливо:

где - число правильных ответов, - уровень подготовленности.

Другими словами, в любой модели, удовлетворяющей 3 базовым ограничениям, первичный балл можно использовать для ранжирования тестируемых по уровню подготовленности (при достаточной длине теста). В непараметрических моделях подготовленность оценивается по дискретной шкале, а в качестве математического аппарата используется нелинейная регрессия. Непараметрические модели могут применяться там, где экспериментальные данные не удовлетворяют ограничениям выбранной параметрической модели. В параметрических моделях тестовые задания описываются с помощью набора параметров (трудность, различающая способность и т.д.). Среди параметрических моделей можно выделить следующие классы: ответы на задания - дихотомические или политомические (упорядоченные или неупорядоченные); одномерные (гомогенные тесты - уровень подготовленности) или многомерные (гетерогенные тесты - вектор подготовленности); по количеству параметров (одно-, двух- и трехпараметрические).

Базовой считается однопараметрическая модель, разработанная Г. Рашем. В рамках этой модели задания характеризуются только одним параметром - трудностью. Вероятность правильного ответа на задание с трудностью для испытуемого с уровнем подготовленности выражается зависимостью:

Достоинство модели Раша - аддитивность, т.е. вероятность успеха зависит только от разницы между уровнем подготовленности и трудностью задания. Вместе с тем модель Раша требует наиболее тщательного подбора заданий, т.к. накладывает жесткие ограничения на форму характеристических кривых.

Модель Бирнбаума описывает задания тремя параметрами - трудностью (B), различающей способностью (A) и параметром угадывания (C). Это накладывает менее жесткие ограничения на форму характеристических кривых, однако предполагает более сложные процедуры калибровки и анализа результатов. Вероятность успеха для модели Бирнбаума имеет вид:

Многомерные модели представлены двумя классами - аддитивные и конъюнктивные. В аддитивных моделях вместо общего уровня подготовленности используется линейная комбинация частных уровней, элементов вектора подготовленности с весовыми коэффициентами

.

В конъюнктивных моделях вероятность успеха представлена произведением частных вероятностей по каждому элементу вектора подготовленности:

К достоинствам параметрических моделей можно отнести наличие непрерывной шкалы уровня подготовленности, что позволяет соотносить между собой результаты по различным тестам. Общим недостатком этих моделей является необходимость в калибровке, т.е. в эмпирическом определении параметров заданий, требующем достаточно большого количества экспериментальных данных. Поэтому параметрические модели целесообразно применять при средне- и широкомасштабном нормативно-ориентированном тестировании.

Рассмотрим модель оценки нечетких моделей знаний операторов нелинейных ИУС дихотомическими тестами.

Пример 2.1.

Постановка задачи. Для -го оператора функция Раша имеет вид:

где параметр введён для того, чтобы стандартизировать шкалы вероятностей для различных математических моделей. Зависимость вероятности правильного ответа от , представляет собой геометрический образ -го оператора [28]. Для одного -го задания функция Раша записывается следующим образом:

при .

Решение задачи. На кривых, представляющих геометрические образы операторов и заданий (рис. 2.1), имеется одна единственная точка, в которой , это точка перегиба (). Таким образом, наиболее точно значения и можно измерить в точке перегиба кривых, когда уровень нечетких моделей знаний равен трудности задания, а вероятность правильного ответа наиболее сильно зависит от латентной переменной и позволяет дифференцировать нечеткие модели знаний операторов.

Рассмотренная модель служит основой, с помощью которой исследуем алгоритмы оценки характеристик теста. Для моделирования процесса тестирования и исследования алгоритмов обработки результатов тестирования разработана имитационная модель (программный модуль «tests») в среде MATLAB (приложение Г).

Для получения «МНК оценок» при заданной схеме размещения узлов воспользуемся модулем «lsqsplh», который вместе с оценками рассчитывает и доверительные интервалы для узлов и точек наблюдений

[A, di, s, ds]=lsqsplh (tu, Q(:, 10)/(M+1), qp(:, 10), 0.95).

Второй вариант решения вопроса состоит в применении метода покоординатного спуска с ограничениями. При заданной начальной сетке узлов на каждом этапе оптимизации находится оптимальное положение узла относительно соседних. Оптимизация осуществляется по критерию минимума среднеквадратичного отклонения. Начальное положение узлов можно найти путем последовательного построения, а покоординатной оптимизацией их уточнить. Вызов модуля «optspl» покоординатной оптимизации

[wu, wi, op]=optspl (tu, Q(:, 4)/(M+1), qp(:, 4), 4).

На рис. 2.1 показаны теоретические профили трех тестовых вопросов со сложностями 0.238, 0.57, 0.90, соответственно и эмпирические результаты имитационного моделирования процесса тестирования. Результаты компьютерной обработки модельных результатов показаны на рис. 2.2-2.5.

Рис. 2.1. Теоретические профили трех тестовых вопросов со сложностями 0.238, 0.57, 0.90

Сплайновая модель точно передает характерные особенности профилей тестов с разными уровнями сложности и при этом обеспечивается практически достаточный уровень достоверности.

Рис. 2.2. Оценка профиля вопроса сложности 0.57



Рис. 2.3. Оценка профиля вопроса сложности 0.24

Другим важным аспектом идентификации модели является компактное представление модели профиля тестовых вопросов. Вся информация о модели оценивания содержится в значениях узловых точек сплайна. Достоверность полученной математической модели описывается шириной доверительных интервалов в точках стыковки. Представленные алгоритмы оценивания характеристик вопросов общие и не учитывают некоторых особенностей обрабатываемых данных. Их дальнейшее усовершенствование состоит в применении взвешенного МНК, (данные являются оценками частоты с разным объемом выборок) и учете ограничений решения (в пределах от 0 до 1).

Рис. 2.4. Оценка профиля вопроса сложности 0.90

Оценка профилей тестовых вопросов требует значительного числа операторов с разным уровнем знаний, поэтому целесообразно использовать итерационную процедуру оценки характеристик теста. Первый этап этой процедуры состоит в проектировании и разработке теста с проведением начального тестирования. Методика проведения такого анализа известна. На этом этапе анализа выявляют наиболее очевидные недостатки и устанавливаются общие характеристики на некоторой контрольной группе операторов. Для ускорения процесса уточнения характеристик теста и снижения стоимости этой процедуры были привлечены к этому процессу широкий круг тестировщиков. Процедура аналогичная бета тестированию программного обеспечения. Тесты передавались бета тестировщикам на условиях, которые предусматривают их заинтересованность и ответственность. Оперативную связь осуществлялась через электронную почту и интерактивные страницы. К разработчикам теста поступала информация о характеристиках тестовых групп и результаты тестирования.

Рис. 2.5. Геометрические образы уровня знаний операторов и трудности заданий, полученные по результатам имитационного моделирования

После достижения необходимого уровня достоверности оценок профилей тестовых вопросов выполнялась оптимизация теста (изъятие малоинформативных вопросов и вопросов со статистически близкими профилями). Сформировался паспорт теста, который включает профили вопросов. Наличие этих характеристик дает возможность более объективно оценивать уровень знаний операторов. С этого момента тест считается завершенным информационным продуктом с нормированными характеристиками

Пример 2.2.

Постановка задачи. Алгоритмы вычисления параметров и по однопараметрической модели Раша рассмотрены при тестировании 10 операторов тестом из 10 заданий. В этом случае.

Решение задачи. В общем, задача сводится к определению и путём алгоритмических действий и последовательных итераций, исходя из экспериментальных данных тестирования:

где - суммарный бал -того тестируемого, а - сумма правильных ответов для -го задания. Для измерения этих двух латентных переменных используем логит (пробит) модель. Рассмотрим функцию правдоподобия для регрессионных моделей логит (пробит). Функция потерь для этих моделей вычисляется как сумма натуральных логарифмов логит (пробит) правдоподобия L₁:

где - натуральный логарифм функции правдоподобия для выбранной логит (пробит) модели; - i-ое наблюдаемое значение; - вероятность появления (предсказанная или подогнанная) (между 0 и 1).

Логарифм функции правдоподобия для нулевой модели (L₀), т.е. модели, содержащей только свободный член (и не включающей других коэффициентов регрессии) вычисляется как:

где - натуральный логарифм функции правдоподобия для нулевой логит (пробит) модели;

- число наблюдений со значением 0; - число наблюдений со значением 1; - общее число наблюдений.

Логит (пробит) модель имеет единицу измерения - логит:

Различают логит уровня знаний -го оператора и логит уровня трудности -й задачи:

где и - логиты уровня знаний -того оператора и трудности -го задания соответственно;и - доля правильных и неправильных ответов для -того оператора;и - доля правильных и неправильных ответов по всем операторам для -го задания соответственно.

Алгоритмы вычислений разбиваются на ряд этапов: упорядочивается матрица данных тестирования; производится расчёт начальных значений.

В результате проведеннывх исследований установлено, что после достижения необходимого уровня достоверности оценок профилей тестовых вопросов необходима оптимизация теста. После этого формируется паспорт теста, который включает профили вопросов. Наличие этих характеристик дает возможность более объективно оценивать уровень знаний операторов ИУС ГМП. С этого момента тест считается завершенным информационным продуктом с нормированными характеристиками

2.2 Анализ результатов имитационной модели оценки знаний операторов ИУС

Большинство существующих систем оценки знаний являются очень сложными, и для них невозможно создать реальную модель, описанную аналитически. Такие модели следует изучать с помощью моделирования. Одно из наиболее важных решений, которое приходится принимать разработчикам моделей, касается выбора программного обеспечения. Если программное обеспечение недостаточно гибко или с ним сложно работать, то имитационное моделирование может дать неправильные результаты или оказаться вообще невыполнимым. В качестве среды моделирования был выбран пакет MATLAB 7. Используя имеющиеся в пакете продукт Simulink 6, а также пакетов Statistics Toolbox 5.0.2, Curve Fitting Toolbox 1.1.3. была разработана имитационная модель и проведен анализ результатов моделирования.

Анализ результатов начнем с вычисления логитов трудностей задания. Для всех заданий по формуле вычисляются логиты трудности заданий, затем их среднее значение:



При выполнения следующего шага переносят центр распределения логитов трудности задания:

Результаты расчётов сведены в табл. 2.1.

Таблица 2.1. Расчет величин трудностей заданий

	1	2	3	4	5	6,7	8	9	10
	9	8	7	6	5	4	3	2	1
	0,9	0,8	0,7	0,6	0,5	0,4	0,3	0,2	0,1
	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8	0,9
	-2,197	-1,386	-0,847	-0,405	0	0,405	0,847	1,386	2,197
	-2,238	-1,427	-0,888	-0,446	-0,41	0,364	0,806	1,345	2,156
	-3,809	-2,428	-1,511	-0,759	-0,07	0,620	1,372	2,289	3,670

Расчет начальных значений величины трудности заданий.

Для всех операторов по уравнению вычисляются логиты уровня знаний, затем их среднее значение:

Перенося центр распределения логитов уровня знаний, находят:

Результаты расчетов величины уровня знаний сведены в табл. 2.2.

Таблица 2.2. Расчет величин уровня знаний операторов по данным табл. 2.1.

1	1	0,1	0,9	-2,197	-3,621
2	2	0,2	0,8	-1,386	-2,284
3	3	0,3	0,7	-0,847	-1,396
4,5,6	4	0,4	0,6	-0,405	-0,667
7	6	0,6	0,4	0,405	0,667
8	7	0,7	0,3	0,847	1,396
9,10	9	0,9	0,1	2,197	3,621

Для нормирования шкал уровня знаний и трудности задания вычисляют величины и

где u и v - дисперсии и - соответственно.

Для расчета u и v используют уравнения:

Этой операцией приводятся в соответствие обе шкалы на основе закона нормального распределения ошибок.

Расчет окончательных значений и проводится по формулам:

Для каждой величины и вычисляются их стандартные ошибки измерения по уравнениям:

Вычисленные значения стандартных ошибок, для приведённого примера тестирования, сведены в табл. 2.3.

Таблица 2.3. Стандартные ошибки измерений и.

1	1,79	1	1,73
2	1,34	2	1,30
3	1,17	3	1,13
4	1,10	4,5,6	1,06
5	1,08	7	1,06
6,7	1,10	8	1,13
8	1,17	9,10	1,73
9	1,34	-	-
10	1,79	-	-

Из данных таблицы следует, что наименьшие ошибки наблюдаются для операторов со средними нечеткими моделями знаний и для заданий со средней трудностью. Следует обратить внимание, что эти ошибки весьма существенны. Для 11-ти бальной шкалы оценок доверительный интервал для величин должен быть не более единицы, что соответствует одному баллу указанной шкалы. Тогда при и величина t=2,26, а должна быть , что существенно ниже представленных в табл. 2.3 значений. Опыт статистической обработки показывает, что сильно понижается при увеличении N, при этом слегка падает также и t (при N=100 t=1,98). Таким образом, для оценки латентных переменных с приемлемой точностью выборка операторов в 10 человек очень мала, и, возможно, недостаточно и количество заданий. Подставляя в уравнения и рассчитанные величины и соответственно и меняя значения другого параметра, находим величины и для всех операторов и всех заданий и строим для каждого из них геометрические образы. Последние в своей совокупности дают геометрический образ теста (сплошные кривые) и группы операторов (пунктирные линии), которые показаны на рис. 2.6.

Рис. 2.6. Геометрический образ теста (сплошная линия) и уровня знаний группы операторов (пунктирные линии)

Из данных рис. 2.6 видно, что кривые для заданий 6 и 7 совпадают между собой, поэтому одно из этих заданий в тесте лишнее. Вопрос о том, какое из них исключить, решается точно так же, как и при обработке теста, классическим образом.

Кроме того следует, что для всех операторов имеются задания, кривые которых пересекаются с кривыми операторов в области, где проявляется наибольшая дифференцирующая способность задания, которую можно охарактеризовать либо наклоном кривой, либо производной от модельной функции. Эта область находится в интервале , равном . С этой точки зрения тест валиден. Если же для какого-то оператора это условие не соблюдалось бы, то в тест для повышения точности измерения уровня нечеткие модели знаний этого оператора необходимо добавить хотя бы одно задание, кривая которого пересекала бы кривую оператора вблизи точки с .

Для двух и трёхпараметрических моделей латентные параметры и вычисляются следующим образом. Следует вычислить экспериментальные значения доли р правильных ответов (при больших N) на каждое задание в зависимости от уровня профессиональных нечетких моделей знаний операторов. Однако этого нельзя сделать, если только один оператор имеет уровень профессиональных нечетких моделей знаний, для которого наблюдается равенство хотя бы в пределах стандартного отклонения ошибки, ибо он даёт либо правильный , либо неправильный ответ . Чтобы получить достаточно точные значения , необходимо иметь большое количество операторов с одним и тем же значением .

Пример 2.3.

Постановка задачи. Рассмотрим решение предыдущей задачи для 300 операторов при раскладке оценок для теста на 10 заданий, как показано в табл. 2.4. Причем, распределение операторов в данном случае близко к нормальному закону распределения.

Таблица 2.4. Результаты тестирования при = 300 и = 10

Суммарный балл	Число операторов, его получивших
1	10
2	20
3	32
4	53
5	69
6	56
7	29
8	22
9	9

Решение задачи. Для вычисления значений необходима упорядоченная матрица тестовых результатов. Например, тестовый балл 1 получили 10 операторов, и из матрицы данных легко вычислить долю правильных ответов на каждое задание при данном уровне нечетких моделей знаний (). И чем больше группа операторов, тем ближе эта доля к вероятности того, что люди с таким уровнем нечетких моделей знаний дадут правильный ответ на соответствующие задания.

Возможны 4 варианта расположения экспериментальных точек относительно идеализированных (усреднённых) кривых, которые показанных на рис. 2.7.

Рис. 2.7. Соответствие экспериментальных данных однопараметрической функции Раша

Случай соответствует ситуации, когда однопараметрическая модель Раша достаточно хорошо отражает действительность. Все остальные случаи свидетельствуют, что здесь необходимо переходить к двух- и трёхпараметрическим моделям.

Дифференцирующую способность задания можно рассмотреть следующим образом. Если точки не совпадают с кривой, то необходимо ввести ещё один параметр:

где - параметр, характеризующий крутизну кривой.

Если , то эта зависимость вырождается в однопараметрическую модель Раша, если , то кривая крутая, если , то пологая. Следовательно, каждое задание характеризуется не только величинами , но и . Параметр - дифференцирующая способность задания.

При формировании теста, в него можно и нужно включать задания с различными значениями и . Если тестируемая группа однородна по уровню профессиональных знаний, то в тест необходимо брать задание с большой крутизной характеристики. Если же группа неоднородна, то в тест включаются задания с малой крутизной, но при этом надо стараться, чтобы кривые заданий не пересекались и были расположены по всему пространству.

Величина вычисляется при помощи бисериального коэффициента корреляции между баллами -го задания и суммой индивидуальных баллов всех операторов:

Для системы тестового контроля профессиональных знаний бисериальный коэффициент корреляции описывается зависимостью:

где - средний суммарный балл тех операторов, которые на -е задание дали правильный ответ; - тоже самое для тех операторов, которые на -е задание дали неправильный ответ ; и - количество правильных и неправильных ответов на -е задание;

- ордината функции нормального распределения в точке, за которой лежит площадь под кривой нормального распределения.

Анализ проведен с использованием Curve Fitting Toolbox (версия 1.1.3) пакета MATLAB и результат анализа приведен на рис. 2.8.

Рис. 2.8. Статистические результаты имитационного моделирования

Из данного анализа следует, что крутая кривая задания позволяет лучше дифференцировать тех операторов, уровни знаний которых лежат по разные стороны перегиба. Если точки лежат по одну сторону от перегиба, то задания плохо дифференцируются. Тест должен содержать задания с крутой характеристикой, особенно в средней области трудности, где больше всего операторов, чтобы дифференцировать все нечеткие модели знаний.

В случае теста, результаты тестирования по которому представлены в табл. 2.2, вместо одного из заданий (6 или 7) нужно включить несколько заданий с крутой характеристикой, чтобы дифференцировать профессиональные нечеткие модели знаний операторов с общей суммой баллов равной 4.

В результате проведенных исследований установлено, что наименьшие ошибки наблюдаются для операторов ИУС со средними нечеткими моделями знаний и для заданий со средней трудностью, рис. 2.9.

Рис. 2.9. Графическое представление результатов имитационного моделирования

2.3 Метод дихотомического оценивания нечетких моделей знаний операторов ИУС

В данной части раздела рассматривается процесс применения некоторого дихотомического теста к группе операторов и систематизация возможных исходов такого процесса. Конечно, цель тестирования сводится к оценке латентных признаков операторов, но при этом не упускается из виду, что на первом плане рассматриваются все же свойства самого теста. Поэтому задачей данного раздела является разработка метода дихотомического оценивания нечетких моделей знаний операторов ИУС.

Рассмотрим случайную величину , принимающую лишь два значения

которую будем называть далее индексом ответа. Тогда матрица

является естественным и наиболее полным описанием процесса тестирования (в случае дихотомического теста).

Введем далее в рассмотрение случайную величину , являющуюся элементом матрицы-столбца



где [] - единичная матрица-столбец.

Таким образом, величинаопределяется как

и может быть названа баллом оператора. Разумеется, балл оператора может принимать лишь целочисленные значения - с вероятностью

Если ввести в рассмотрение матрицы операторов [] и баллов []:

; ,

то можно определять как вероятность соответствия -го элемента матрицы операторов -му элементу матрицы баллов.

Введем далее понятие балла теста, определяя его как случайную величину , получаемую при выборе наугад (с вероятностью) из множества баллов операторов. Балл теста также принимает лишь целочисленные значения с вероятностью



Если подмножество операторов, имеющих равные баллы, , определить как класс операторов `', то случайная величина , принимающая значения

может быть названа классовым индексом ответа.

Если считать классовым индексом оператора случайную величину , принимающую значения

то классовым описанием операторов может явиться матрица

которая позволяет найти матрицу классовых индексов вопросов

Таким образом, классовый индекс вопроса (т.е. число ответивших верно на -й вопрос из класса ) определяется как

Наконец, классовый индекс теста (т.е. численность класса) может быть определен как случайная величина, являющаяся элементом матрицы-столбца

где [] - единичная матрица-столбец.

Таким образом, все классовые индексы (ответов, операторов, вопросов и теста в целом) связаны соотношением

Кроме классовых, тест может быть охарактеризован и весовыми индексами. Так, весовой индекс вопроса есть случайная величина, являющаяся элементом матрицы-строки

Таким образом, весовой индекс вопроса есть сумма его классовых индексов

Случайную величину _, являющуюся элементом матрицы-строки

и равную

будем называть весом вопроса, а величину

- удельным весом вопроса.

Весовые показатели можно использовать и применительно к классу тестам. Так, случайную величину _, являющуюся элементом матрицы столбца

следует называть весом класса; а величину

- удельным весом класса.

Наконец, для теста в целом весовые показатели могут быть представлены как

- вес теста;

- удельный вес теста;

- удельный весовой индекс теста.

Таким образом, сущность предлагаемого метода вероятностного оценки нечетких моделей знаний операторов ИУС заключается в том, что, введя исходные понятия индексов ответов [] и классовых индексов операторов [], мы можем описывать тест системой уравнений

в которую входят все остальные показатели (параметры) теста, являющиеся случайными величинами.

Ставя задачу отнесения каждого из квалифицируемых наблюдений к одному из классов, необходимо четко определить понятие класса, для этого необходимо классифицировать дихотомические тесты. Обобщая проведенные исследования, следует заметить, что предложенный метод дихотомической оценки нечетких моделей знаний операторов ИУС следует оптимизировать по критерию наилучшей четкости.

2.4 Оптимальное оценивание нечетких моделей знаний операторов ИУС дихотомическими тестами

Все количественные показатели тестирования являются случайными, поэтому исследование этих показателей требует использование методов математической статистики. Следует заметить, однако, явную диспропорцию между глубокой разработкой общей теории тестов с применением мощного аппарата современной статистики с одной стороны и довольно скудными попытками применения этой теории в практике тестового контроля, с другой стороны. Возможно, что это обстоятельство в какой-то мере объясняется некоторыми трудностями, связанными необходимостью оперирования с понятием математической модели. Использование статистических методов при построении тестов и практике их контроля нечетких моделей знаний возможно лишь при условии глубокого проникновения в дидактическую и психологическую сущность этого процесса. Поэтому задача обобщения теоретических предпосылок, оптимизации оценивания нечетких моделей знаний операторов ИУС представляется актуальной.

Рассмотрим вопросы исходного определения параметров дихотомического тестирования. Во всех поставленных задачах, под термином «класс» мы будем понимать генеральную совокупность, описываемую одномодальной функцией плотности или одномодальным полигоном вероятностей в случае дискретных признаков . Тогда под классификацией мы будем понимать разделение рассматриваемой совокупности объектов или явлений на однородные, в определенном смысле группы либо отнесение каждого из заданного множества объектов к одному из заранее известных классов.

Рассмотрим применяемые модели теста. Формальное описание и аналитическое представление функции

т.е. модели теста, производились многими исследователями на самых различных научных уровнях. Характерно, что в подавляющем большинстве случаев зависимость (2.35) отыскивается чисто волевым приемом, с использованием эвристических предпосылок.

Так автор [8] определяет вероятность правильного ответа на -ю порцию программы как

Заметим сразу же, что рассматривается как совместный признак оператора и вопроса, а это означает априорную неэквивалентность отдельных вопросов теста, непригодность их для оценки одного и того же признака оператора. Кроме того, в [10] предполагается вероятность верного ответа при условии нечетких моделей знаний (усвоения) равной 1, что далеко не всегда справедливо. Вероятностью верного ответа при условии нечетких моделей знаний оперирует в своих исследованиях [8], определяя ее как

И здесь ^', '' и являются совместными признаками вопроса оператора, что чрезвычайно затрудняет анализ единственным видом информации о процессе тестирования как свойств теста, так и итогов тестирования.

В работах автора [50] непосредственно рассматривается модель процесса контроля знаний. При этом используется разделение признаком оператора и вопросов теста. Основным латентным признаком оператора полагается так называемая относительная подготовленность или

В качестве признака вопроса используется лишь вероятность угадывания верного ответа

Тем самым, по сути дела, вопросы теста полагаются равнотрудными.

С аналогичных позиций рассматривает модель теста и автор [10]. По основной гипотезе автора

С сугубо информативных позиций решают проблему статистической модели теста другие исследователи. Так, например, автор [10], ставит в однозначную зависимость от количества информации, которое получил оператор в процессе подготовку.

Наиболее корректно решена задача выбора модели дихотомического теста в работе Раска Дж. Ставя конкретную задачу - поиск с такими свойствами, при которых тест был бы «инвариантным» к особенностям группы испытуемых, автор решает ее (хотя и на эвристическом уровне), доказывая, что при

заданное свойство будет обеспечено.

Могут существовать, по крайней мере, три ситуации использования теста как инструмента контроля знаний, по которому можно также провести классификацию.

Целью теста является установление диагноза. Это означает, что оператор ИУС теста заранее, apriori представляет оператора относящимся к одной из категорий: «знает» - «не знает»; и т.д. Заметим сразу же, что тест такого типа (-тест) требует в конце его применения вывода о состоянии оператора. Конечно, этот вывод будет статистическим; это будет решение, принимаемое в условиях неопределенности, иначе это будет гипотеза о диагнозе.

Целью теста является измерение признака уровня нечетких моделей знаний. В этой ситуации по итогам тестирования требуется выставить оценку (по некоторой шкале) каждому оператору. Такой тест может быть назван метрическим (М-тест). Здесь задачей пользователя теста является обеспечение наибольшей достоверности в отнесении оператора к некоторому уровню шкалы оценок, т.е. и в этом случае речь идет о статистической гипотезе - оценке уровня нечетких моделей знаний оператора.

Анализ исследований в области теории тестов показывает, что в подавляющем большинстве случаев такому исследованию подлежат -тесты. Менее изучены проблемы теории диагностических или -тестов. Конечно, такие тесты иногда можно относить к метрическим с двумя уровнями на шкале главного латентного признака, однако, как будет показано ниже, -тесты обладают особыми свойствами и разработка их теории представляется весьма плодотворным направлением.

Конечно, некоторый реальный тест может оказаться вполне пригодным для решения каждой из задач: диагноза или оценки уровня нечетких моделей знаний. Однако, требования к -, -тесту совершенно различны, а следовательно, различными могут оказаться и понятия эталонного теста.

К сожалению, эти понятия до настоящего времени не определены достаточно четко. Поэтому попытаемся дать формальные определения эталонного теста, ориентируясь, прежде всего, на непосредственную цель тестирования.

Докажем, что эталонный тест (любого из классов М, или ) должен быть некоррелированным. Это означает, что факт верного или неверного ответа оператора на любой данный вопрос теста никак не должен влиять на вероятность верного (неверного) ответа на любой последующий вопрос. Действительно, при наличии хотя бы двух коррелированных вопросов теста, независимо от степени корреляции, объем теста будет явно завышен. Если данный вопрос имеет назначением выяснить что-то об операторе, то наличие коррелированного (в пределе - того же самого) второго вопроса является совершенно излишним. Более того, если некоторый вопрос теста оказывается «неэффективным», то наличие другого, коррелированного с первым, вопроса приведет к неизбежной большей потере информации, снижению эффективности теста в целом. Свойство некоррелированности вопроса эталонного теста может быть описано кратко - множество событий, связанных с данным -м вопросом теста, должно являться независимым.

Рассмотрим теперь требования к -тесту, выполнение которых позволило бы отнести его к эталонному. Если исходить из непосредственной цели этого теста - оценки уровня латентного признака оператора с наибольшей достоверностью, то можно согласиться с тем, что в идеале метрический тест должен быть предельно валидным и предельно надежным. При этом под «валидностью» теста понимается его возможность измерять именно то, для чего он создан. Мерой валидности обычно считают коэффициент корреляции между тестовыми показателями и какой-либо иной объективной оценкой латентного признака. Под «надежностью» теста понимают степень устойчивости тестовых показателей; мерой надежности считается коэффициент корреляции тестовых показателей, полученных при испытании той же группы операторов одним и тем же тестом (или равноценным ему). Подобные критерии эффективности теста, его близость к идеалу представляются вполне обоснованными. Однако, к сожалению, практическая оценка таких показателей как валидность и надежность теста оказывается возможной только в определенных областях: психологии, социологии, медицине. Что же касается области контроля знаний, то здесь зачастую, кроме тестовой, нет возможности найти иную, объективную оценку знаний для установления валидности. Тем более совершенно лишено смысла повторное тестирование одной и той же группы операторов.

Все это обуславливает выдвижение иных требований к эталонному М-тесту, разработку других критериев. Такие критерии можно обнаружить, если учесть тот факт, что никакая, самая совершенная теория тестов не сможет дать ответ на методологию составления теста. Иное дело - проблема оптимизации реального теста, улучшения свойств его отдельных вопросов или, по крайней мере, поиска вопросов, которые резко отличаются от остальных. В этом плане становится вполне очевидным требование эквивалентности вопросов теста, их равной эффективности. Дело в том, что при любом смысле и формальном определении понятий «эффективность», «трудность», «различительная сила» вопросов теста максимум информации, доставляемой тестом о каждом операторе, будет достигнут при равенстве долей этой информации, получаемой от каждого вопроса. Это положение вытекает из основных теорем теории информационных систем.

Таким образом, эталонный -тест должен быть однородным, т.е. все его некоррелированные вопросы должны обладать одинаковым уровнем латентных признаков , при любом числе этих признаков, входящих в модель теста.

Из необходимости практической оптимизации реального теста вытекает и другое требование или критерий эталонного -теста. Совершенно необходимо, чтобы итоги тестирования позволяли каким-то образом судить о сравнительных свойствах вопросов. Иными словами, информация, содержащаяся в итогах теста, должна быть доступной для вынесения решений не только о признаках операторов, но и о признаках вопросов. Этот критерий эталонного теста прямо связан с его моделью - от того, каким образом будет определена функция , и зависит возможность статистической оценки распределений .

Таким образом, эталонный тест любого класса должен в пределе удовлетворять трем условиям: быть некоррелированным; быть однородным; иметь модель определенного вида, позволяющего с максимальной достоверностью использовать информацию, содержащуюся в итогах тестирования.

3. Базы нечетких моделей знаний операторов информационно-управляющих систем

3.1 Основные понятия теории нечетких множеств и нечеткой логики для решения задач формирования БНЗ

При построении любой БНЗ, прежде всего, следует сформировать некоторые понятия и определения исходных фактов, не требующих доказательств и некоторые допущения. Задачей данного раздела диссертации являются основные понятия теории нечетких множеств и нечеткой логики для решения задач формирования БНЗ.

Понятие нечетких множеств (fuzzy sets) как обобщение обычных (четких) множеств было введено Л. Заде. Традиционный способ представления элемента множества состоит в применении характеристической функции , которая равна 1, если элемент принадлежит множеству , или равно 0 в противном случае. В нечетких системах элемент может частично принадлежать любому множеству. Степень принадлежности множеству , представляющая собой обобщение характеристической функции, называется функцией принадлежности , причем , и =0 означает отсутствие принадлежности множеству , а =1 - полную принадлежность. Конкретное значение функции принадлежности называется степенью или коэффициентом принадлежности.

Эффективным средством формализации и представления баз нечётких моделей знаний (БНЗ) в информационных управляющих системах (ИУС) является нечёткая логика, основанная на теории нечётких множеств. Достоинством нечёткой логики является возможность использовать экспертные нечеткие модели знаний о решаемых проблемах или структуре объекта в виде лингвистических высказываний, представляемых нечёткой базой правил: «если <входы>, то <выход>». Нечеткая логика ближе по духу к человеческому мышлению и естественным языкам, чем формальная двузначная логика. Наличие математических средств отражения нечеткости исходной информации позволяет построить модель, адекватную реальности.

В качестве базового теоретического материала для синтеза баз нечётких моделей знаний введём некоторые основные понятия теории нечётких множеств и нечёткой логики.