Разработка системы аудита знаний и подготовки специалистов и рабочих логистического предприятия

Размещено на http://www.allbest.ru/

ДИПЛОМНЫЙ ПРОЕКТ

Разработка системы аудита знаний и подготовки специалистов и рабочих логистического предприятия

Введение

Рассматривая современные системы производственных процессов и ведения бизнеса, можно сказать, что большинство из них получило широкую поддержку в виде компьютерных программ. Они используются как для учета товарооборота, документов и другой «бумажной» работы. Также компьютерные системы входят в системы автоматизированного учета, например, это способствует применение систем штрих кода, которые позволяют обеспечивать электронный учет потока товаров и производимой продукции. Также используя специализированные каналы связи и систему определения координат GPS, последнее время стала применяться компьютерная система слежения за движением грузов.

Все эти технологии также получили свою поддержку и в логистических предприятиях, обеспечивающих доставку и сопровождение товара. Новая техника и специализированное оборудование требует особых знаний и навыков, а соответственно работники подобных предприятий должны проходить периодическое обучения для освоения новых технологий, например, правил оформления документации. Такие требования обоснованы тем, что ошибки работников могут приносить значительные финансовые и временные потери предприятию. Отсюда возникла закономерная задача оценки уровня знаний работников предприятия, с целью получить достоверную картину уровня знаний и навыков.

Современная система образования давно активно использует информационные технологии и компьютерные телекоммуникации. Разрабатываются различные программы обучения и контроля, которые позволяют даже удаленно обеспечить повышение уровня знаний работников и проверить полученный результат и уровень новых и остаточных знаний. Такой опыт и было решено перенести в систему бизнес контроля знаний. В этом и состоит актуальность данной темы.

ГЛАВА 1. Аналитическая часть

компьютерный тестирование логистика алгоритм

1.1 Обследование объекта и обоснование необходимости систем компьютерного тестирования

В рассматриваемом логистическом предприятии необходимость мониторинга знаний работников возникла как насущная необходимость, позволяющая обеспечить своевременную упреждающую коррекцию ошибок. Так как, в связи с недостатком необходимых знаний, человек может совершить ряд ошибок, а любая ошибка приводит минимум к потерям времени. Это все, в ряде случаев, хотя и поправимо, но в любом случае, несет финансовые и временные потери, а бывает, такие ошибки выливаются, например, в неправильное сопровождение товара и потерю им требуемых параметров качества (товар портиться, это характерно не только для продуктов, но и для химии и т.п. А соответственно, возникают уже значительные финансовые потери на компенсации потерь поставщиком или пересылавшим товар заказчиком.

Важно указать, что логист, не просто менеджер или перевозчик, это человек с комплексным подходом к процессу обеспечения наилучшего качества и скорости доставки товара потребителю. Таким образом, если просто описать то, что логист является человеком, ориентированным на достижение максимальной эффективности и скорости доставки груза, при минимальных затратах. Комплексный подход требует соответствующих знаний: как бухгалтерских документов, так и особенностей перевозки, знаний карт и качества дорог, систем хранения и обеспечения безопасности перевозок, умения провести статистический анализ и т.п. Так как на любом этапе логистического процесса, ошибка или увеличивает финансовые риски, или повышает временные затраты, то отсюда важно определение уровня базовых знаний по основным сферам затрагиваемым логистической деятельностью.

Также специфика логистического предприятия состоит в том, что отдельные подразделения: склады, бухгалтерия, транспортники, экономисты и просто менеджеры должны быть взаимосвязаны с определенную иерархическую структуру, определяющую их взаимодействие. Во главе этой структуры, конечно, находиться руководство и менеджеры координаторы процессов -- именно те, кого называют специалистами логистами.

Рис. 1.1 Типовая структура логистического предприятия

Типовая структура включает в себя группу взаимосвязанных между собой подразделений, каждое из которых обеспечивает отдельную функцию логистического предприятия с целью создать, скоординированный эффективный процесс, от момента получения какого либо товара или его составляющих, до момента поставок потребителю готового продукта или услуги с использованием полученного ранее товара или компонента.

Логистическое предприятие в нашей стране обычно это предприятие транспортировки и хранения грузов, но некоторые специалисты подразумевают, что каждое предприятие должно отрабатывать логистический подход, как своей деятельности, так и концепциям развития.

Рассмотрим основные структурные подразделения предприятия с целью выявления спектра знаний, которые они должны уметь рассмотреть и правильно принять решение, на основе имеющихся у них знаний. Если возникает, какое либо непонимание или неясность, родственные службы должны выполнять обязательное согласование между собой, это обязательное условие чтобы обеспечить правильное функционирование всего процесса. Отсюда, как показывает практика, возникает пересечение областей взаимопересекающихся знаний и человек должен иметь не только ограниченные знания по складскому или транспортному хозяйству, но и знания на стыке. Водитель при перевозке конкретного груза должен обеспечивать условия его доставки, в одном случае это пониженная температура, в другом наоборот (например, случай из жизни, фура, перевозя вина, приморозила их и в результате водитель оплатил стоимость всей партии). Если кладовщик, который, например, знает параметры груза и при перегрузке допустит разморозку (например, из-за непланового простоя) каких-то мороженых продуктов, они потеряют после повторной заморозки свои качества. Также порой важны и исходные параметры груза, когда экспедитор в первой точке при приемке товара не отследил и не зафиксировал, что принимаемый к перевозке груз недостаточно охлажден, то он также несет ответственность за то, что в дальнейшем груз не удалось сохранить в требуемом состоянии. В общем, случаев подобных ошибок много, а результат один как финансовые - прямые убытки, так и убытки косвенные, при потере имиджа компании, в случае, например возникновения повторяющихся ошибок. Отсюда можно сделать заключение, насколько важен процесс обучения.

Для построения собственной системы аудита и коррекции знаний, было решено рассмотреть специализированные системы компьютерного тестирования, широко используемые в образовании и зарекомендовавшие себя с положительной стороны, особенно в последние годы. В настоящее время используются в основном компьютерные технологии тестирования, минуя рукописные тестовые методики. В этом случае тестируемый получает тест (задания с вариантами ответов), и проанализировав содержание вопроса и всех ответов выбирает по его мнению наиболее верный и вводит ответы с клавиатуры, или с помощью мыши, результаты выводятся на экран и печать.

Другая бланочно-компьютерная технология используется, например, для государственного централизованного тестирования выпускников школ, гимназий, лицеев, она рассчитана на заполнение тестируемым специальных бумажных бланков, и потом перенос с них информации в компьютер с последующей оценкой. Данная технология обусловлена требованием формирования специального рукописного документа, который будет являться юридическим актом, представляющим действия конкретного человека. Такие особенности в случае проведения тестирования на предприятии совершенно необязательны, потому предпочитаемы, выбирается первый более простой вариант полностью компьютерного тестирования. Однако на этом этапе следует уточнить некоторые особенности проведения тестирования и специфику формирования заданий.

В системе образования, компьютерные и тестирующие программы обеспечивают разработку дисциплинарных, междисциплинарных, квалификационных и других программ-тестов в различных предметных областях, с использованием различных форм заданий. Для проверки знаний по техническим и другим дисциплинам применяются не только тестовые, но графические и даже мультимедийные задания. В каждом конкретном случае необходимо учесть специфику восприятия человека и, например, для опыта по физике мультимедиа вставка -- мультик о прохождении опыта будет более информативен и нагляден, чем его текстовое описание. В другом случае когда, например, рассматриваются особенности хранения каких-то материалов, вполне достаточно описания, а для иллюстрации графика допустимых температурных режимов.

Компьютерные тесты позволяют автоматизировать не только оценку теоретических знаний, но и умений решать расчетные практические задачи. Например, может быть реализована подготовка задач с генерируемыми переменными. В задаче указываются пределы изменений значений переменных и формула (формулы) расчета. При тестировании обучаемые с помощью встроенного калькулятора будут решать однотипную задачу с разными значениями переменных (сгенерированными в заданных пределах), что исключает подбор правильного ответа, списывание. Такое решение, например, покажет уровень знания по математике, но в случае более простых расчетов предпочтительнее, если человек будет выполнять эти расчеты в уме, что дополнительно развивает его мышление.

Все разработки нам предлагают обычно кучу опций возможностей и настроек, но так ли они нужны и не усложнят ли они, например, на производстве или в данном случае в логистике создание и заполнение самого теста? Так как в таких информационных и производственных системах нет специалистов со специальным педагогическим образованием, это следует учесть и максимально упростить систему тестирования и создания тестов, чтобы например опытный кладовщик, имеющий багаж знаний и опыта, создал базу знаний и проверочных тестов. Далее, эта база как эталон для сравнения будет использоваться для тестирования других специалистов складской сферы.

Также следует учитывать и определенную иерархию организации управления, во главе которой должен стоять, например менеджер координатор, которому может быть доверена задача оценки знаний персонала для выработки рекомендаций начальнику отдела кадров, на конкретные перестановки по должностям. Например, человека знающего можно повысить и в должности и в зарплате (всегда ответственность должна стимулироваться материально), а обладающего значительными пробелами или заставить доучиться и проверить результат или понизить на менее ответственную должность, где он принесет меньше вреда или будет достаточно компетентен.

Обычно системы компьютерного тестирования включают минимум две основные программы - конструктор тестов (он нужен для преподавателей) и программу контроля знаний (для студентов, проходящих тестирование). Программой конструктора тестов производится формирование и запись на жесткий диск сценария и содержимого теста. Программа конструктора позволяет изменять содержимое специализированной базы данных, в которой содержится тестовый материал, в т. ч. корректировать параметры, редактировать, удалять и добавлять задания.

При тестировании сценарий теста и содержимое полей заданий считывается программой контроля знаний, задания предъявляются обучаемому на мониторе ЭВМ, а далее он вводит ответы, которые сравниваются с эталонными, и выставляется оценка. Результаты тестирования выводятся на монитор ЭВМ и печать. Так построен простейший тестовый алгоритм.

Однако не всегда, чтобы правильно оценить уровень знаний достаточно простейшего теста, поэтому существуют и специализированные алгоритмы, выставляющие не просто конкретную оценку, а оценивающие и важность («вес» в системе знаний) каждого элемента знаний который проверяется в тестировании. Такая система, по мнению специалистов хоть и немного сложнее в реализации и формировании оценки, но более информативна и показывает более четко уровень усвоения информации. Такой подход, также позволяет оценить и общей уровень испытуемого, как комплексную величину.

Существуют и более сложные системы тестирования, имитирующие работу с живым экзаменатором. Дальнейшее развитие логики построения сценария - специализированные алгоритмы прохождения заданий, когда любая ошибка или правильный ответ, формируют вызов следующего вопроса, в зависимости от предшествующего ответа. Такие алгоритмы имитируют опрос преподавателя, подобно тому, как он сам по полученному ответу, корректирует процедуру опроса. Он, например, может задать следующий уточняющий вопрос, чтобы выяснить глубину знаний ученика, или наоборот проверить, не случайно ли ошибся ученик. Так легко проверяется, знает ли тестируемый ученик вопрос в целом, но ошибается в отдельных частных элементах или просто строит свой ответ на догадках. Такой алгоритм намного более сложен в формировании сценария и при формировании оценки (в данном случае обязательно используется специализированная «весовая» система оценивания, рассмотренная выше). А еще более интересны последние разработки, которые включают в себя экспертную систему, как элемент искусственного интеллекта и обеспечивающую возможность формирования сценария на ходу, не просто по четко заданному алгоритму, а по алгоритму, рассчитываемому самой системой, в зависимости от специальной структуры связей, заданных преподавателем и определяющей взаимозависимость знаний, как «веса» связей между отдельными знаниями. Например, знания об электропроводимости имеют большой «вес» взаимосвязи для выбора провода нужного сечения, и необходимы при проектировании проводки, но они мало связаны со строительством или совсем не связаны с литературой. Однако последние рассмотренные системы тестирования, с экспертной системой, пока из за своей сложности и малой формализованности, еще не нашли широкого применения.

Однако существующие, например, в тренажной сфере, самые сложные системы мультимедийного контроля и обучения не только теории, но и навыкам. Тренажеры особенно авиационные и космические уже давно широко используются. И, несмотря на свою сложность и дороговизну, они оправдывают свою цену, упреждая возможные ошибки пилотов или водителей, которые могут быть критическими для их жизни, так и для жизней пассажиров, а также нанести огромные финансовые потери.

Как уже было указано, каждая сфера деятельности взаимосвязана, а логистика охватывает несколько сфер. Специфика сферы логистики заключается в том, что как говорят специалисты:- «Логистика - это искусство управления материалопотоком». Исходя из этого, пусть и нечеткого определения можно сказать, что спектр знаний менеджера логиста, должен быть достаточно широк и для четкой комплексной оценки следует определить несколько сфер, в которых проходит тестирование. А также нужна поддержка таких специалистов как: бухгалтеры, экономисты, технологи, транспортники, работники складского хозяйства и т.д. Причем каждый из специалистов должен быть профессионалом, владеющим глубокими и теоретическими и практическими знаниями. А менеджер -- логист должен объединять все эти знания и уметь использовать их в комплексе, обеспечивая наиболее эффективное управление материалопотокам. Учитывая все вышесказанное, планируемая система аудита должна учесть все особенности и обеспечить разбиение тестирования на тематики связанные с конкретной специализацией отдельных специалистов (кладовщиков, транспортников и т. д.), а по каждой специализации формировать комплексную оценку, и уметь оценивать и все тесты в целом, когда поэтапно их проходит логист.

Последняя особенность, рассмотренная нами, требует чтобы в систему, как комплекс средств для обеспечения процесса аудита знаний, входила третья программа - специализированное средство оценки результатов тестирования (ранее рассматривались только две конструктор и тестирующая). Она по нашей идее особым образом обрабатывает полученные результаты и указывает корреляционные зависимости - пробелы знаний, как отдельного индивида, так и группы в целом.

Исходя из того, что предполагается использовать базу данных как защищенный контейнер, обеспечивающий не только удобство хранения, обработки и извлечения разнотипной информации (текст, графика, цифры), но и определенную степень защиты от просмотра и прямого редактирования (в такой базе проблематично подсмотреть ответы). Аналогично для хранения информации о тестируемых и хранения их результатов, рекомендуется использовать отдельную вторую базу, так как ее структура отличается от первой базы для системы тестирования.

При контроле знаний в первой базе данных храниться информация о сценарии - правилах прохождения теста и содержимом (вопросы и ответы), а также оценочная шкала минимум по двухбалльной (верно+1 или нет-1), до наиболее гибкой стобальной (последняя позволяет указать более точно уровень знаний). В другой базе данных формируется и хранится в памяти протокол опроса каждого обучаемого. Так как база общая, для всех тестируемых может быть легко сформирована групповая ведомость по заданным, преподавателем критериям, например по итоговой оценке или по средней оценке за каждый конкретный тест всей группы обучаемых и т. д. Электронный протокол опроса обычно включает наименование теста, дату, ФИО обучаемого, номера заданий, ответы (номера ответов, их содержимое в словесной или графической форме), оценки по каждому заданию (верно, неверно). Протокол может быть распечатан, например для анализа неверных ответов.

Применение компьютерного тестирования обеспечивает объективность оценки знаний на основе единых требований (стандартов). Это особенно важно для выпускных и квалификационных экзаменов (получение лицензий, аттестатов) аудиторов, банковских работников, экспертов и других специалистов. А также важный положительный фактор компьютерного тестирования, повторяемость параметров теста, вне зависимости от тестируемого, это невозможно для человека-экзаменатора, отсутствие эмоционального фактора оценивающего (нравиться или не нравиться ученик). В тесте рекомендуется использовать задания одной формы (например текст), но допускается также сочетание разных форм заданий(текст, графика, формулы).

Сценарий теста вводится в ЭВМ с помощью специальной программы, называемой конструктором (дизайнером) тестов. Входящий в систему компьютерного тестирования конструктор тестов должен позволять в диалоговом режиме ввести данные сценария и сами тестовые задания с эталонными ответами и оценками, также необходимо ввести минимальную инструкцию и выбрать из предлагаемых вариантов необходимые параметры теста, изменить предлагаемые настройки. Например, изменить предлагаемую программой шкалу оценок и окончательную пороговую оценку результата не в баллах, а в уровне достаточный или нет. Выбирая (устанавливая) те или иные параметры, можно сформировать разные варианты теста, в т.ч. контрольно-обучающие. Для последнего необходим дополнительный материал, поясняющий каждый из вопросов, но не дающий прямого ответа на тест.

В зависимости от назначения теста и возможностей системы компьютерного тестирования, в сценарий могут быть включены и другие части, дополнены параметры теста и заданий. Например, кроме рассмотренных выше частей сценария теста системы компьютерного тестирования позволяют включить список литературы, учебно-справочный материал по тесту. Краткий конспект, статистические данные, нормативы и т.п. предназначены для самообучения, самоконтроля (тренинга). При работе в контрольно-обучающем режиме студент, отвечая на задание, может обратиться к данному учебно-справочному материалу.

Если тест предназначен для использования в контрольно-обучающем режиме, то по заданию может быть разрешено 2 или 3 попытки ответа. По умолчанию при компьютерном тестировании дается только одна попытка ответа на задание. Следует отметить, что обычно разрешение на повторный ответ на задание дается при установлении в «Параметрах теста» порядка предъявления заданий «В порядке, выбираемом обучаемым, или при случайном порядке, или по темам и т.д.». Когда при компьютерном тестировании обучаемый из общего списка заданий сам выбирает, на какие вопросы он будет отвечать в первую очередь, то можно определить его внутреннюю шкалу понимания. Так как и при письменном тестировании, обучаемый обычно сначала отвечает на легкие, а потом на трудные (сложные для него) задания.

При выставлении оценки в классическом варианте по четырехбальной (пятибалльная без 1, так как достаточно 2-ки) или зачетной системе по соответствующей шкале за правильный ответ на задание условно по умолчанию дается 1 балл, за неверный ответ - ноль (в т.ч. за частично правильный). В других системах оценивания по каждому правильному ответу выставляется +N (N определяет значимость ответа в системе комплексного теста) баллов или 0 за неправильный ответ. Еще более интересна система, в которой при наличии нескольких неверных ответов, «цена ошибки» тоже имеет свой вес и из общей суммы баллов вычитается какое-то их количество, установленное разработчиком. Последний вариант, при показе результата пользователю, показывает виртуально какие последствия, например экономические может нанести такая ошибка, что становиться дополнительным мотиватором его действий, для восполнения недостающих знаний.

Задания могут отличаться по трудности (сложности), но предполагается, что все обучаемые находятся в равных условиях, отвечая на относительно большое количество одних и тех же простых и трудных заданий. Как показывает многолетняя практика, при установлении относительно высокого процентного уровня для получения зачета или удовлетворительной оценки (70-80%) такой подход может использоваться для текущей аттестации, приема семестровых зачетов и экзаменов. Но в случае аудита знаний важно оценить и то, как отвечает человек, потому в протокол заноситься не только его оценка, но и то время, которое он потратил на выбор ответа, это второй косвенный признак, помимо ранее рассмотренного выбора ответов в последовательности пользователя. Также по нему можно оценить насколько задумывается человек при прохождении теста, а где просто щелкает мышкой или клавиатурой, выбирая ответы (что говорит, например, о полном незнании вопроса).

Оценка может определяться и по сумме набранных баллов при соответствующем назначении их количества за верный ответ по каждому заданию в зависимости от уровня трудности. При необходимости результат легко перевести в обычную пяти или трехбалльную систему. По сумме набранных баллов определяется результат обучаемого и например его место в списке прошедших тестирование -рейтинг, и как результат выставляется общепринятая в большинстве учебных заведений четырёхбалльная оценка: неудовлетворительно, удовлетворительно, хорошо, отлично.

1.2 Обзор аналогичных решений представленных на рынке

В качестве основы был взят обзор и анализ проведенного в компьютер пресс тестирования подобных программ тестирования и обучения. Рассмотрим их особенности и выделим наиболее полезные для разработки своей программы элементы интерфейса и возможности.

Система программ создания тестов SunRav TestOfficePro

Способ распространения: shareware

Цена: 5900 руб. (для всех образовательных учреждений цена -- 4720).

В пакет SunRav TestOfficePro входят программы для создания тестов, проведения тестирования и обработки результатов тестирования. С его помощью можно организовать и провести тестирования и экзамены в образовательных учреждениях (вузы, колледжи, школы), а предприятия и организации могут осуществлять аттестацию и сертификацию своих сотрудников. Пакет позволяет создавать тесты по предметам разного формата от школьной и вузовской программы, до тестов для профессионального тестирования.



Рисунок 1.2 Пример интерфейса программы тестирования

Все тесты и результаты тестирования шифруются методами стойкой криптографии, что исключает возможность просмотра содержимого базы и подделки результатов. Кроме того, на тест можно установить пароли: на редактирование -- защищает тест от просмотра его структуры, правильных ответов и т.д.; на просмотр -- предотвращает пробное тестирование с целью выяснения правильных ответов.

Вопросы и варианты ответа можно форматировать, используя для этого встроенный текстовый редактор, близкий по своим функциям к MS WORD. В редакторе можно вставлять изображения, формулы, схемы, таблицы, аудио - и видеофайлы, HTML-документы и любые OLE-документы.

В тестах возможно использование пяти вышеперечисленных типов вопросов. Тест может быть разделен на несколько тем. При этом возможно оценивать знания тестируемого как по каждой теме в отдельности, так и по тесту в целом.



Рисунок 1.3 Процесс тестирования и организация взаимодействия программ на всех этапах

Вопросы в тесте можно перемешивать, причем программа это делает автоматически. Более того, создатель теста может определить, сколько вопросов из каждой темы получит пользователь для тестирования. Допустим, каждая тема состоит из 100 вопросов. Если выбрать случайным образом только 10 вопросов, то тестируемые получат совершенно разные наборы вопросов из одного и того же теста. Варианты ответов также можно перемешать.

Порядок следования вопросов может быть не только линейным, но и зависеть от ответов пользователя.

Каждый вопрос и вариант ответа может иметь свой «вес». Это позволяет начислять пользователю больше баллов за правильные ответы на сложные вопросы и меньше баллов за ответы на легкие вопросы. Таким образом, обеспечивается так называемая гибкая система построения сценария и системы весов. Каждый вопрос может быть снабжен комментарием, содержащим информацию о правильном ответе и т.п.

Возможна следующая реакция на ответ пользователя:

· предложение пользователю ответить на следующий вопрос;

· сообщение о том, что пользователь ответил правильно/неправильно;

· показ любого документа, связанного с вопросом. В нем, в частности, можно подробно объяснить, почему данный ответ неправильный, предоставить дополнительный материал, который позволит глубже изучить вопрос. Тестирование можно ограничить по времени -- как для теста, так и для каждого вопроса. При этом количество времени, выделяемое для каждого вопроса, может быть разным.

В пакет SunRav TestOfficePro входят следующие программы:

· tMaker -- программа, позволяющая создавать и редактировать тесты. Возможно импортирование тестов, созданных в текстовом редакторе или в редакторе электронных таблиц;

· tTester -- программа для проведения тестирования;

· tAdmin -- программа для удаленного администрирования пользователей и обработки результатов тестирования. Позволяет просматривать/печатать результаты тестирования, а также создавать, печатать, редактировать, экспортировать отчеты по тестированию групп пользователей. Возможно создание матрицы ответов.

В настоящее время для данного пакета подготовлено большое количество тестов. В частности, имеются образовательные тесты по информатике, экономике, английскому языку, истории, обществознанию.

Программа тестирования SunRav TestOfficePro.WEB

Разработчик: SunRav Software

Сайт программы

Цена: 5900 руб. (для всех образовательных учреждений скидка 20% ).

SunRav TestOfficePro.WEB -- это приложение для тестирования по сетям Интернет и интранет. Вся информация (тесты, разделы тестов, результаты и т.д.) хранится в базе данных и защищена от несанкционированного доступа. База располагается на удаленном сервере в защищенном хранилище, и отрабатывает только запросы добавления информации. Если у пользователя нет соответствующих прав, то он не сможет просматривать, редактировать и удалять свои или чужие результаты тестирования. Пакет подходит для тестирования удаленных сотрудников, студентов, школьников и т.д. Пользователю для тестирования ничего на своем компьютере устанавливать не нужно -- достаточно браузера (Microsoft Internet Explorer, Opera, Mozilla и т.п.). Возможности тестов аналогичны возможностям тестов из программы SunRav TestOfficePro, которые можно использовать и в программе SunRav TestOfficePro.WEB.

Для организации тестирования требуются:

· Web-сервер-- в качестве такового можно использовать Apache или и MS IIS. По сведениям авторов программы, разработка велась с использованием бесплатного сервера Apache версии 1.3 и 2.0. Его можно свободно скачать с сайта

· база данных MySQL-- по сведениям авторов программы, разработка велась с применением версии 3.23. Ее можно свободно скачать с сайта

· PHP-интерпретатор -- по сведениям авторов, разработка велась с использованием версии 4.3. Его можно свободно скачать с сайта

Если у пользователя нет собственного Web-сервера, можно использовать обычный хостинг, который предоставляет услуги по применению БД MySQL и PHP.

С помощью SunRav TestOfficePro.WEB можно:

· организовывать тесты в разделы;

· регистрировать импортировать, редактировать пользователей;

· проводить тестирование как зарегистрированных, так и не зарегистрированных пользователей;

· просматривать результаты тестирования по индивидуальному пользователю и по группе пользователей (отчеты);

· просматривать результаты рейтинга по данному тесту;

· сохранять результаты тестирования в базе данных.

Некоторые недостатки данного программного тестирования возникают в том, что возникает сложность размещения базы данных.

Программа конструктор тестов Keepsoft

Разработчик: Keepsoft

Цена: Стандартная лицензия -- 300 руб.; студенческая лицензия -- 200 руб.; корпоративная лицензия на 10 компьютеров -- 1000 руб. корпоративная лицензия на неограниченное число компьютеров -- 3000 руб.

«Конструктор тестов» -- это универсальная программа для проверки знаний. Приложение можно применять для проведения тестирования дома и в учебных заведениях. Программа позволяет использовать неограниченное количество тем, вопросов и ответов.

Возможности программы:

· вопросы могут содержать музыку (файлы WAV, MID. RMI), изображения (файлы JPG, BMP, ICO, EMF, WMF), видеоролики (файлы AVI);

· поддерживаются вопросы всех пяти вышеперечисленных типов;

· печать на принтере и сохранение в файл тем, вопросов и ответов;

· печать на принтере и сохранение в файл результатов тестирования;

· экспорт тем, вопросов и ответов в файлы различных форматов (MS Excel, MS Word, MS Access, Paradox, DBase, текстовый файл, HTML, XML, RTF (RichText format), PDF (Adobe Acrobat), буфер обмена MS Windows, Lotus 1-2-3 и др.);

· тестирование на одном компьютере нескольких пользователей. Для каждого пользователя заводится персональная карточка пользователя, поля в которой являются настраиваемыми;

· установка различных прав доступа к редактированию базы данных в «Редакторе» для разных пользователей;

· задание вопросов в произвольном порядке;

· задание цены каждому вопросу в баллах;

· ограничение времени на ответ;

· возможность прервать тестирование и продолжить его в другое время;

· выставление оценки по окончании тестирования. Система оценок настраивается в «Редакторе». Шкалу оценок можно настроить от 2- до 100-балльной системы;

· синхронизация базы данных; при помощи этой функции можно легко обмениваться данными с другими пользователями и переносить данные с компьютера на компьютер;

· проверка орфографии в «Редакторе»;

· поиск по базе данных в «Редакторе»;

· сжатие базы данных;

· настраиваемый интерфейс;

· функция проверки обновления через Интернет.

«Конструктор тестов» можно загрузить с сайта разработчика и ознакомиться с программой бесплатно в течение 30 дней. Для дальнейшей работы с программой необходима регистрация с оплатой. Зарегистрированным пользователям предоставляются персональный регистрационный ключ и бесплатная техническая поддержка по e-mail.

В зарегистрированной версии можно использовать готовые тесты, которые можно скачать с сайта разработчика. В настоящие время были доступны следующие готовые тесты: по правилам дорожного движения, единый государственный экзамен для выпускников средних школ, по английскому и французскому языку, по информатике, математике и др.

Выводы

Всего было рассмотрено порядка 10 программ тестирования, наиболее интересные средней сложности (без экспертных встроенных в систему построения теста). Эти программы просто не вынесены в обзор, как менее эффективные и функциональные. Они также обеспечивают тестирование, но уже в простом пятибалльном варианте построения теста, что моему мнению является ограничением, так как система стобальной оценки более гибка, а суммарный принцип накопления балов дает большие возможности более адекватного точного оценивания. Хотя в системе в программе создания теста конструктора приходится выполнять определенные более сложные весовые оценки, то такой подход помогает более качественно, и адекватно оценивать ответы, с привязкой к их важности в комплексе знаний по предметной области.

Программы в целом недорогие и позволяют обеспечить требуемые параметры тестирования. Но так как нашей целью является разработка собственной системы, то следует использовать уже накопленный положительный опыт и взять наиболее интересные и удобные для работы решения, как в плане интерфейса, так и функциональности.

Наиболее развернутый и функциональный вариант SunRav TestOfficePro. Его поэтому решено взять за основу в качестве прототипа собственной программы. Но в связи со специфической сферой в которой «экспертами» составителями и заполнителями тестов будут не профессиональные преподаватели, а специалисты логистического предприятия, то функцию построения сложного алгоритма -сценария тестирования решено было исключить, чтобы излишне не усложнять сам процесс создания. Однако остальные функции, особенно технологию оценки с помощью весовых коэффициентов, следует обязательно сохранить. Функцию ввода в вопрос дополнительного документа решено использовать в режиме обучения-тестирования. Такой режим был предложен в последнем, рассмотренном нами программном комплексе «Конструкторе тестов». Поэтому после первичного прохождения теста и фиксации результатов (так определяются базовые знания), работник может пройти упрощенное обучение. Для этого человек заполняющий тест выполняет не только формирование вопросов и ответов, но и дополнительно формирует специальную текстовографическую вставку, описывающую правильное решение по данному вопросу, но без прямого указания на правильный ответ. Такой комментарий после прохождения теста позволит откорректировать имеющиеся по данному вопросу знания или восполнить недостающие пробелы.

Мультимедийные элементы, такие как видео и звук, было решено исключить, так как они значительно увеличивают размер используемой базы данных и создают определенные трудности для заполнения тестовой системы. Система также как и исходный прототип должна предусматривать защиту базы от просмотра сторонними программами. Но сама система имеет, по моему мнению, и недостаток - оценка, это только плюс баллы за правильный ответ, но как показывает практика, для правильного баланса требуется, назначать веса в минус для неверных ответов (а этого в программе прототипе не делается, что, по моему мнению, является недостатком).

Простые типовые формы организации интерфейса, как для разработчика, так и для тестируемого, способствуют скорейшему освоению и более успешному использованию подобной системы аудита знаний. Также важно продумать дополнительные возможности и на этапе обработки результатов.

Целью работы является разработка системы компьютерного тестирования для аудита знаний работников логистического предприятия. В данном случае имеется ряд особенностей, рассмотренных ранее которые необходимо учесть при создании собственной системы аудита знаний (САЗ).

Первый момент, почему система, а не одна программа? В комплексном подходе с разработкой нескольких программ большее удобство каждая программа может выполнять свое функционирование параллельно и, например доступ из программы тестирования к базе вопросов возможен только в режиме чтения и невозможно подсмотреть правильный ответ. А программа анализа результатов также может читать и анализировать данные из обоих баз, но при этом не позволяет изменить полученные результаты. Так в целом ограничением функций доступа к определенным полям, осуществляется разграничение и доступы различных пользователей к первой и второй базе.

Второй момент система аудита знаний должна быть достаточно проста, но вместе с тем обеспечивать охват всех тем, охватывать широкий перечень вопросов связанных со специальностью. Решение такого вопроса обеспечивается разбиением на отдельные темы и это позволяет обеспечить средние нагрузки при проведении тестирования, а тестирование разбивается на несколько этапов. Разбиение тестирования позволяет проводить опрос с любыми уровнями сложности.

Используемые на устных и письменных зачетах и экзаменах традиционные вопросы и задачи без переработки, как правило, не могут быть использованы в тестах. Для них специально разрабатываются задания в тестовой форме. По трудоемкости, сложности и важности данную работу можно сравнить с поэтапной подготовкой учебника по новой дисциплине (написание лекций, учебного пособия, учебника).

По содержанию действий обучаемого при контроле знаний можно выделить типы тестов и задания на:

- выбор одного ответа;

- выбор нескольких ответов;

- установление (нахождение) соответствия между элементами двух множеств;

- установление правильной последовательности в ряду предлагаемых элементов;

- ранжирование предлагаемых элементов;

- заполнение пропусков, завершение предложений;

- подстановку;

- составление ответа;

- вычисление ответа;

- вычисление и выбор ответа.

Как показывает практика такое решение, как выбор соответствий не всегда удобно в формировании, также установление правильной последовательности имеет некоторые сложности при проектировании и реализации теста. Исходя из опыта, наиболее востребованы и просты типы: один ответ из многих или несколько ответов из многих. Учитывая то, что тип тестирования выбираем наиболее простой и доступный для пользователей и составителей предпочтение отдается режиму один ответ из многих.

Тестовые задания могут быть вопросительными, утвердительными, текстовыми, табличными, графическими (используются графики, рисунки, диаграммы).

Все вышерассмотренное следует соединить и обобщить в конечное техническое задание, которое обеспечит акцекнтуализацию отдельных основополагающих правил для построения системы, выявленных при анализе тематики и при рассмотрении аналогичных программ.

1.3 Построение тестового материала

Как известно в любой сфере деятельности существует своя группа специалистов, которые обеспечивают поддержку того или иного действия. В системе обучения любой дисциплине существуют помимо преподавателей такие специалисты как «эксперты» В качестве эксперта может выступать любой человек, который имеет достаточный уровень практических и теоретических знаний. «Эксперт» имеет этот уровень в силу своего опыта, но часто этот человек не обладает навыками «учителя» и «экзаменатора», поэтому ему на помощь приходит другой специалист преподаватель. Он также должен быть экспертом в сфере знаний, в которой проводиться обучение, но он не имеет требуемой глубины знаний в рассматриваемой сфере, если он не проводит практической деятельности в этой сфере. Поэтому он должен проводить консультации со специалистами, работающими на этом производстве и выяснять в процессе опроса нюансы и особые специфические знания, которые часто приобретаются именно в практической работе и закрепляются методом «проб и ошибок». Также такое взаимодействие позволяет не только получить спектр знаний недоступных в теоретическом исследовании, но и позволит за счет взаимообмена повысить уровень эксперта производства. Такой человек, далее будет называться «эксперт» по выше заданным условиям, он является специалистом, обладающим нужным перечнем практических и теоретических знаний и обладает специфическими навыками, позволяющими ему проводить обучение других людей. Данный «эксперт» может обеспечить не только обучение, но и сформировать правильный перечень вопросов для проведения последующей тестовой оценки знаний и по их результатам произвести необходимую коррекцию заданий. Также важно учесть, что тестирование является, как ни странно, одной из форм обучения, когда тестируемый осуществляет более глубокое усвоение полученных теоретических и практических знаний в силу дополнительной мотивации, которая позволяет стимулировать более качественное запоминание усвоенных знаний.

Если рассматривать различные формы тестирования, то можно сказать что компьютерная форма является наиболее простой и удобной формой, которая позволяет провести оценку качества усвоения информации или оценить уровень остаточных знаний человека при минимальных затратах на процесс, как временных, так и экономических. Тест единожды составленный может быть легко размножен и модифицирован под конкретные задачи и правила. Однако по сравнению с прямым контактным общением, когда специалист экзаменатор может обеспечить более детальное исследование глубины и качества имеющейся информации, компьютерный тест имеет меньшую глубину исследования. Но если правильно сформировать вопросы и выполнить корректный оценочный анализ, то компьютерное тестирование становиться даже более эффективным средством в силу своей повторяемости подхода к оценке и правилам построения опросной таблицы. Человек в силу своих специфических нелинейных свойств восприятия и эмоционального подтекста, невольно действующего на оценку, может сформировать ошибочные оценки и не всегда правильно сформировать перечень вопросов, даже например в силу усталости. Так что все больше предпочтение отдается системам компьютерного тестирования и оценки знаний.

Рассмотрим сложность тестовых заданий и правила построения их, рекомендуемые для «эксперта» не имеющего специального педагогического образования, но имеющего глубокие и расширенные знания по исследуемой сфере деятельности.

Первое что нужно сделать, это сформировать перечень тестовых тем, в которые входят знания необходимые для выполнения определенных задач связанных с исследуемой сферой деятельности. Такое разбиение позволяет выделить наиболее важные элементы информации и в дальнейшем акцентировать на них внимание в процессе обучения. Также важно по каждой из выделенных тематик построить корректные вопросы, ориентированные на контроль не просто наличия информации, а степени ее усвоения, это делается формированием вопросов в ключе -- а как вы можете применить данные знания в случае той или иной практической ситуации. Далее по списку правильных ответов формируется специальный перечень ответов ошибочных. Причем эти ошибки должны быть сколь и явными, так и скрытыми, и по каждому такому ответу нужно оценить «грубость» или иначе критичность ошибки, например, легко поправимая -5 баллов, трудно исправимая ошибка 20 баллов и неисправимая -50 баллов. Также и для правильного ответа следует определить, сколько баллов в зависимости от важности может получить тот или иной ответ, например, наиболее важный +100 баллов, маловажный, но необходимый в сфере деятельности (например, для правильной консультации клиента) +20 баллов. Такое бальное взвешивание правильных ответов и ошибок, по мнению специалистов, в компьютерных системах обучения поможет оценить все комплексно и не только структуру знаний, но и условно «взвесить» их.

Исходя из опыта работы с компьютерными системами обучения и диагностики, типа выбор правильного ответа из группы, специалисты рекомендуют проводить тестирование с ограниченным уровнем сложности, при этом каждый тест должен включать от трех до пяти вариантов правильных и ошибочных ответов, представляемых тестируемому. Если использовать меньше 3-х повышается вероятность угадывания, более 5-ти ответов - резко возрастает сложность восприятия. Так что последняя рекомендация дает нам рекомендуемые 3-4 ответа на каждый вопрос, один из которых является правильным. Вопросы рекомендуется также выстраивать по смысловым или предметным группам, каждая из которых, взаимосвязана по какому либо признаку. Такое решение позволяет оценить взаимосвязи внутри определенной группы знаний, которые должны быть усвоены испытуемым. Также важно не создавать слишком большой группы тестов (более 30-ти, как показали исследования экспертов), а лучше при необходимости выполнить многоэтапное тестирование, которое позволит обеспечить охват всех требуемых вопросов области специализации. Если человек освоит все знания и пройдет все тесты, то он сможет обеспечить требуемый уровень работы, как обычно считается, однако даже в этом утверждении есть несколько НО . Первое НО: человек мог просто угадать правильные ответы и получить требуемый минимальный бал, или наоборот в силу усталости и невнимательности с ней связанной, не набрать необходимых баллов. Второе НО: человек мог выучить все правильные ответы по рекомендации своих сослуживцев ранее прошедших тестирование и потом он как быстро выучил, так быстро и забудет «ненужные» ему знания. Третье НО: сама система тестирования, как показала практика, наиболее достоверно работает, когда проводиться многократное (минимум двукратное) тестирование по одному и тому же перечню вопросов, причем с условием, если вопросы меняются местами и представляются в случайном порядке. Все эти НО определяют перечень рекомендаций по организации тестирования и подходу к самому процессу проведения тестов. Еще как говорят специалисты, рекомендуется проводить первый тест, без какой либо подготовки и предупреждения, но и без выставления оценки представляемому пользователю как тренировка, требуемая для ознакомления с тестом. Так преподаватель может оценить приблизительные знания, которые имеет работник, это также в комплексе по оценке пробелов группы работающих, позволяет оценить не только уровень каждого, но и в целом системные ошибки по пробелам знаний в группе, которые показывают упущения уже руководящего персонала, который не доводит необходимую информацию до исполнительского состава. Далее по результатам первичного тестирования работнику необходимо рекомендовать провести дополнительное обучение и пополнение знаний. Особенно в темах, где обнаружены пробелы. Пополнение знаний, как показали различные исследования, наиболее эффективно проводиться в первый момент после тестирования, пока человек помнит обнаруженные им пробелы знаний и у него есть определенная мотивация о необходимости обучения. Далее по истечению минимум суток, человек может переходить к повторному тестированию, суточный срок определяется нейрофизиологическим особенностями мозга, за это время полученные и обновленные знания закрепляются в виде нейронных цепочек (долговременная память), а не в химическом и электрическом виде (кратковременная память). Такая особенность была отмечена многими преподавателями, то что через сутки знания или забываются или становятся более четкими. Это также связано с тем, что нейроцепочка присоединяется в группу соседних и родственных, фиксирующие ближние к ней знания и формируется более четкое представление о том или ином понятии. А как отмечают все специалисты в образовании «вызубривание» или иначе выучивание намного менее эффективно, чем понимание, которое связано именно с взаимосвязанной интеграцией имеющихся знаний в группу уже существующих знаний. После второго оценочного тестирования, чтобы оно психологически не сопровождалось слишком жестким эмоциональным всплеском, рекомендуется сообщить тестируемому, что у него есть возможность пересдать тест в случае неудачи, но указать, что сдать желательно с первого раза, тогда будет и достаточная мотивация на получение недостающей информации, но при этом ограничивается уровень стрессовой ситуации. В таком тестировании производиться оценка реального уровня знаний полученного после дополнительного обучения и восстановления ранее забытой информации. На этом этапе выявляется то, насколько человек смог восполнить недостающие знания и каков его уровень восприятия, например, если ранее у него был пробел по целой группе знаний, что возможно связано с их неправильным восприятием и непониманием. Все пробелы, выявленные на втором этапе, также необходимом показать тестируемому с целью, чтобы у него были четкие знания о том, каких ему знаний недостает для прохождения теста и для работы на своей должности. Также это мотивирует на восполнение недостающих знаний и обеспечение нужного информационного и понятийного потенциала.

Далее идет третий повтор тестирования завершающий, по которому производиться окончательная оценка уровня знаний. Третий этап проводиться и для людей успешно прошедших второй этап, так как он позволяет выявить случайные правильные ответы или уровень забывания информации. Третий этап лучше проводить через два дня после второго тестирования, что покажет также скорость потери знаний и её величину. Третий этап показывает окончательно уровень знаний испытуемого в сфере знаний необходимых для его профессиональной деятельности. Поэтому этапу при оценке тестов группы осуществляется оценка и коррекция «экспертом» проблемных (не совсем правильно составленных вопросов ) или малопонятных вопросов (это может быть связано с недостатком базовых знаний).

Дополнительно в тестовой программе можно вести поле заполняемое испытуемым и означающее уровень понимания вопроса в пяти или лучше стобальной системе. Это поле в дальнейшем оценивается «экспертом» составителем или экзаменатором и позволят произвести коррекцию вопросов или дополнительно оценить уровень знаний испытуемого (например, таким образом, косвенно обнаружить пробелы в знаниях).

1.4 Разработка технического задания для системы аудита знаний

Система аудита знаний для организации работы логистического предприятия предусматривает разработку трех взаимодействующих между собой программ. Первая программа из разрабатываемых -- это программа «конструктор» тестов, в которой тест создается и наполняется специализированными материалами и в нем же разрабатывается система оценок, и проставляются конкретные баллы за каждый из ответов. В разработке рекомендовано использовать стобальную систему, как боле гибкую и информативную. Для сохранения результатов работы требуется организация специализированной базы данных, которая обеспечивает сохранение результатов работы специалиста эксперта наполняющего её.

Вторая программа обеспечивает уже непосредственно сам процесс тестирования, которая использует не только первую, но и специально разработанную вторую базу данных, которая содержит необходимые информационные элементы. Эти элементы должны представлять данные людей проходящих тестирование, обеспечивать вход в систему под своим логином и паролем, а в процессе самого тестирования сохраняется оценка как общая, так и за каждый ответ. Последнее решение обусловлено требованием тем, что в системе обработки необходимо оценивать специальную систему оценки пробелов знаний у группы испытуемых.