Исследование интеллектуального развития детей

Редактирование матриц исходных результатов испытуемых.

Самый первый метод, предваряющий создание теста в соответствии с любой теорией педагогических измерений - это построение матриц тестовых результатов и их редактирование. Все матрицы тестовых результатов полезно делить на две группы - редактированные и не редактированные. Для разработки педагогических тестов используются только редактированные матрицы данных. Эти матрицы публикуются в научных отчётах, что обеспечивает возможность проверки качества создаваемого теста. Самый верный способ похоронить надежду на создание качественных тестов - это скрывать матрицы исходных тестовых баллов.

Матрица представляет в обобщённом виде результаты всех испытуемых, на все задания. Краткий пример различий между матрицами можно видеть при сравнении табл. 1 и 2. В табл.1 сверху, снизу, слева и справа матрицы расположены номера испытуемых, номера заданий и суммы баллов - всё это выделено курсивом Они являются элементами не матрицы, а таблицы.

Таблица 2. Пример матрицы исходных результатов проектируемого теста

Исп.	Задания	Сумма
	1	2	3	4	5	6	7
1.	1	1	1	1	1	1	1	7
2.	1	1	1	1	1	1	0	6
3.	1	1	1	1	1	0	0	5
4.	1	1	1	1	0	0	0	4
5.	1	1	1	0	0	0	0	3
6.	1	1	1	0	0	0	0	3
7.	1	1	1	0	0	0	0	3
8.	1	1	1	0	0	0	0	3
9.	1	1	0	0	0	0	0	2
10.	1	0	0	0	0	0	0	1
Сумма	10	9	8	4	3	2	1	37

Педагогическое измерение требует обязательного редактирования исходных матриц результатов проектируемого теста [29]. В этой работе тестологи опираются на два понятия. Первое из них - экстремальные задания. В приведённой для примера матрице таблице 2 экстремальным является задание №1. На него правильно ответили все испытуемые. Оно оказалось очень лёгким, в процессе апробации никого не дифференцировало по уровню подготовленности, а потому оказалось непригодным для применения в тесте. Экстремальным (непригодным) называется также и задание, на которое ни один испытуемый не может дать правильный ответ. Оно также удаляется из матрицы исходных результатов, поскольку тоже никого не дифференцирует, но по причине завышенной трудности. В таблице 2 такого задания нет.

Второе понятие - экстремальные испытуемые. В таблице 2 к таковым относится первый испытуемый. Он ответил на все задания, и это означает, что его уровень подготовленности выше уровня трудности проектируемого теста. Надо либо добавлять в тест более трудное задание, либо удалять такого испытуемого из матрицы, как оказавшегося несоответствующим уровню трудности заданий. Уровень его подготовленности предлагаемой системой заданий точно измерить невозможно.

После удаления экстремальных испытуемых и заданий получается редуцированная матрица. В ней номера заданий и испытуемых можно поменять, но можно и оставить, во избежание путаницы, до момента практического применения теста. Редуцированная матрица представлена в таблица 3.

Таблица 3. Пример редуцированной матрицы

Исп.	2	3	4	5	6	Сумма
2.	1	1	1	1	1	5
3.	1	1	1	1	0	4
4.	1	1	1	0	0	3
5.	1	1	0	0	0	2
6.	1	1	0	0	0	2
7.	1	1	0	0	0	2
8.	1	1	0	0	0	2
9.	1	0	0	1	0	2
10.	0	0	1	0	0	1
Сумма	8	7	4	3	1	23

После удаления экстремальных заданий может возникнуть новое экстремальное задание. Здесь это стали №2 и №7. Могут также появиться новые экстремальные испытуемые. Здесь это № 8 и №10. Их тоже удаляют. Остаются элементы таблица 4.

Таблица 4. Вторая редуцированная матрица

Исп.	3	4	5	6	Сумма
2.	1	1	0	1	3
3.	1	1	1	0	3
4.	1	1	0	0	2
5.	1	1	0	0	2
6.	1	0	1	0	2
7.	0	1	0	0	1
8.	1	0	0	0	1
Сумма	6	5	2	1	14

Для прекращения эффекта возникновения новых экстремальных заданий и испытуемых в результате удаления строк и столбцов матрицы, иногда искусственно добавляются вектор-столбец или вектор-строка, профиль которых прекращает отмеченный эффект.

Методы определения параметров тестовых заданий и параметров испытуемых

Понятие «трудность задания» является не абсолютным, а относительным. В статистической теории педагогических измерений трудность задания определяется как статистическая мера его не решаемости испытуемыми данного множества. Это статистическая доля неправильных ответов. Относительность этой меры зависит преимущественно от состава группы испытуемых. Чем лучше подготовлены испытуемые, тем легче оказывается задание.

В МТИ чем больше тестируемая группа, тем точнее и устойчивее получаемый параметр трудности задания. Определение данного параметра проводится в два этапа. На первом этапе рассчитываются примерные эмпирические значения параметра трудности задания, обозначаемые латинской буквой bj, где j - номер задания. Эта примерные значения меры трудности заданий представлены в последней строке учебной матрицы таблица 5, нередко приводимой в статьях автора из соображений обеспечить доступность и наглядность излагаемого материала. Они являются лишь начальными оценками истинных значений параметров трудности заданий. Параметрами трудности заданий они могут стать после уточнения методом максимального правдоподобия и процесса шкалирования значений логарифмических мер трудности заданий.

Таблица 5. Пример таблицы исходных тестовых результатов

№	Х?1	Х?2	Х?3	Х?4	Х?5	Х?6	Х?7	Х?8	Х?9	Х?10	Yi	pi	qi	pi/qi	lnpi/qi
1.	1	1	1	0	1	1	1	1	1	1	9	.90	.10	9	2.20
2.	1	1	0	1	1	1	1	1	1	0	8	.80	.20	4	1.39
3.	1	1	1	1	0	1	1	0	1	0	7	.70	.30	2.33	.85
4.	1	1	1	1	0	1	0	1	0	0	6	.60	.40	1.50	.40
5.	1	1	1	1	1	1	0	0	0	0	6	.60	.40	1.50	.40
6.	1	1	1	1	0	0	1	0	0	0	5	.50	.50	1.00	0
7.	1	1	0	1	1	0	1	0	0	0	5	.50	.50	1.00	0
8.	1	1	1	1	1	0	0	0	0	0	5	.50	.50	1.00	0
9.	1	0	1	0	1	1	0	0	0	0	4	.40	.60	.66	-.42
10.	0	1	1	0	0	0	0	1	0	1	4	.40	.60	.66	-.42
11.	1	1	1	0	0	0	0	0	0	0	3	.30	.70	.43	-.84
12.	1	1	0	0	0	0	0	0	0	0	2	.20	.80	.25	-1.39
13.	1	0	0	0	0	0	0	0	0	0	1	.10	.90	.11	-2.21
Rj	12	11	9	7	6	6	5	4	3	2	65
Wj	1	2	4	6	7	7	8	9	10	11
pj	.923	.846	.692	.538	.462	.462	.385	.308	.231	.154	5
qj	.077	.154	.308	.462	.538	.538	.615	.692	.769	.846
pjqj	.071	.130	.213	.248	.248	.248	.236	.213	.178	.130
qj/pj	.083	.182	.445	.859	1.164	1.164	1.597	2.246	3.329	5.493
lnqj/pj	-2.489	-1.704	-.810	-.152	.152	.152	.468	.809	1.202	1.703

Только после этого появляются основания говорить о педагогическом измерении уровня трудности заданий.

Чем труднее задание, тем правее располагается его график. Точнее, проекция точки перегиба функции более трудного задания на ось абсцисс располагается правее. Этим объясняется второе английское название параметра трудности задания - location parameter. В компьютерных программах для разработки тестов по МТИ для характеристики меры трудности заданий чаще используется второе название.

Метод вычисления параметра крутизны заданий

На значение, а значит, и на расположение меры трудности задания в МТИ оказывает некоторое влияние параметр крутизны заданий. Чем выше значение параметра крутизны (аj) задания теста, тем левее, при прочих равных условиях, на графике оказывается точка перегиба функции задания.

Напомним, что параметр крутизны (аj) задания под номером j является частью всех трёх моделей педагогических измерений. В однопараметрической модели Г. Раша значение этого параметра принимается равным единице, что делает крутизну всех заданий теста одинаковой. Вследствие чего этот параметр в формуле 1 не приводится.

P_j {x_ij = 1Ѕв_j}= exp(? - в_j) / (1 + exp(? - в_j) (1)

При пользовании двухпараметрической моделью МТИ параметр aj является важной частью формулы, а потому возникает вопрос вычисления значения этого параметра для каждого задания.

P_j{ = 1Ѕb_j, a_j}= exp a_j(q - b_j)/(1 + exp a_j(q - b_j) (2)

Процесс вычисления aj облегчается тем, что F.М.Lord обнаружил связь между значениями коэффициентов корреляции ответов на задания теста с суммой баллов испытуемых и значениями aj. Эта связь выражается формулой 3, где символ сj выражает идею меры связи ответов испытуемых на задание под номером j c суммой баллов,

a_j = (3)

Поскольку значения сj, коэффициентов корреляции в генеральной совокупности испытуемых реально неизвестны, вместо них нередко в качестве оценки интересующей меры связи используется один из бисериальных коэффициентов корреляции, или классический коэффициент корреляции Пирсона. Матрица коэффициентов корреляции Пирсона между всеми заданиями таблица 5 и суммой баллов представлена в таблица 6 [31].

Таблица 6

Корреляционная матрица

	1	2	3	4	5	6	7	8	9	10	ryj
1	1	-0,1231	-0,192	0,3118	0,2673	0,2673	0,2282	-0,433	0,1581	-0,677	0,132
2	-0,1231	1	0,178	0,4606	-0,0329	-0,0329	0,3371	0,2843	0,2335	0,1818	0, 488
3	-0,192	0,178	1	0,051	-0,051	0,283	-0,0158	0,083	-0,03	0,284	0, 305
4	0,3118	0,4606	0,051	1	0,2381	0,2381	0,4148	-0,0514	0,1409	-0,4606	0,495
5	0,2673	-0,0329	-0,051	0,2381	1	0,381	0,2196	0,0514	0,2254	0,0329	0,495
6	0,2673	-0,0329	0,283	0,2381	0,381	1	0,2196	0,3858	0,5916	0,0329	0,707
7	0,2282	0,3371	-0,158	0,4148	0,2196	0,2196	1	0,1581	0,6928	0,1011	0,652
8	-0,433	0,2843	0,083	-0,0514	0,0514	0,3858	0,1581	1	0,426	0,6396	0,534
9	0,1581	0,2335	-0,03	0,0141	0,2254	0,5916	0,6928	0,426	1	0,2725	0,752
10	-0,677	0,1818	0,284	-0,4606	0,0329	0,0329	0,1011	0,6396	0,2725	1	0,293

Последовательный расчет значений параметров крутизны заданий для данных таблица 5 по формуле 3 представлен в таблица 7.

Таблица 7. Пример расчёта значений параметра аj для данных таблица 6.

№ задания	rjy	rjy2	1 - rjy2	rjy2	aj
1	0, 132	0.017	0,983	0,991	0,133
2	0,488	0.238	0,762	0,873	0,559
3	0,305	0.093	0,907	0,952	0,320
4	0,495	0.244	0,756	0.869	0,570
5	0,495	0.244	0,756	0,869	0,570
6	0,707	0.498	0,502	0,708	0,999
7	0,652	0.424	0,576	0,759	0,859
8	0,534	0.285	0,715	0,845	0,632
9	0,752	0.565	0,435	0,659	1,140
10	0,293	0.086	0,914	0,956	0,306

При сопоставлении значений второго и последнего столбцов можно заметить связь: чем выше значения коэффициентов корреляции, тем больше значения параметра аj.

Противоречивые смыслы и разрушительная роль третьего параметра

Третий параметр оценки качества тестового задания сj. часто называют параметром угадывания, но это надо признать спорным. F.M. Lord в своих ранних работах обращал внимание на то, что во время тестирования не все испытуемые пытаются угадывать ответ, а только те, кто не знает правильный ответ. А потому угадываемость правильного ответа зависит не только от формы и содержания задания, но и от уровня подготовленности испытуемых. Отсюда и уточнённое им название - параметр псевдоугадывания.

Формальный смысл этого параметра - это мера зависимости правильного ответа на задание из-за вероятности угадывания правильного ответа. Иными словами, вероятность правильного ответа на задание, с выбором одного правильного ответа нередко завышается из-за возможности угадывания.

Ф. Бейкер полагает, что добавление третьего параметра сj в формулу вероятности правильного ответа приводит к утере математических свойств логистической функции. Из-за этого он считает, что трёхпараметрическую модель уже нельзя считать логистической функцией [32].

(4)

Надо заметить, что добавление третьего параметра вводит диссонанс в содержательную интерпретацию получаемой вероятности правильного ответа. Из формулы 4 видно, что значение сj принимается одинаковым для испытуемых, любого уровня подготовленности. Но это - элемент эрозии первой простой истины и упрощение реальной тестовой ситуации: хорошо подготовленные испытуемые не угадывают ответы, а решают задания и находят правильные ответы.

Слабо подготовленные испытуемые ведут себя противоположным образом. Решение заданий они заменяют угадыванием правильного ответа. Тестирование для них превращается в лотерею или в игру «угадайку». То и другое далёко от идеалов качественной образовательной деятельности. Таким образом, можно определённо утверждать, что содержательная интерпретация параметра сj входит в противоречие с формальной интерпретацией.

В отмеченном противоречии можно усмотреть одну из причин, по которым многие исследователи не склонны применять в своей работе трёхпараметрическую формулу для определения вероятности правильного ответа испытуемых на задания теста. В этом смысле самую радикальную позицию занимал Г. Раш. Он отвергал не только трёхпараметрическую функцию определения вероятности правильного ответа, но и двухпараметрическую. Идея теста как системы заданий возрастающей трудности не сочетается с возможностью пересечений графиков различных заданий [33] из-за различий в значениях параметра крутизны заданий.

У параметра сj обнаруживается ещё один весомый дефект. В однопараметрической и двухпараметрической функциях заданий нижним пределом вероятности правильного ответа у очень слабо подготовленных испытуемых является ноль. Соответственно, параметр трудности задания определялся как проекция точки перегиба функции на ось абсцисс, т.е. латентный уровень подготовленности испытуемых. Ведение в функцию третьего параметра сдвигает вверх, как уже отмечалось, нижний предел значений вероятности правильного ответа. Мера сдвига вычисляется по формуле P (и) = c + (1 - c) (0,5).

После раскрытия скобок и перестановки членов получаем, что вероятность правильного ответа на задание среднего уровня трудности повышается до уровня

P (и) = 1/2 (1+c).

Этот эффект фактического облегчения заданий наглядно представлен на примере рис. 2. Там мы имели дело с возможностью угадывания 0, 25 при ответе на задание среднего уровня трудности. При сj = 0,25 вероятность правильного ответа на задание средней трудности становится P (и) = 1/2 (1+ 0,25) = 0, 625. Именно это значение и отложено на оси ординат рис. 4.

Рис. 4. График задания, представленный в соответствии с трёхпараметрической моделью оценки вероятности правильного ответа испытуемых.

Игнорирование роли параметра сj разрушительно повлияло на качество результатов ЕГЭ. Именно высокая вероятность угадывания правильных ответов на задания части «А» стала первой причиной некачественности КИМов ЕГЭ. Если 25-30 баллов по некоторым КИМам являются двойкой в привычном для школы содержательно-ориентированном истолковании результатов ЕГЭ, то это значит, что угадывание, подсказки и помощь там стало главным фактором обесценивания левой части шкалы результатов КИМов [34].

Очевидно, такие результаты не являются педагогическими измерениями. Большое количество (порядка 30-ти) баллов в КИМах у абсолютных двоечников - слишком наглядный признак демаркации теста как метода педагогических измерений от псевдоизмерений посредством КИМов ЕГЭ [35]. набрать в тесте такое количество баллов неподготовленному испытуемому невозможно. Параметр псевдоугадывания сj влияет на трудность задания. С увеличением значения сj возможностей для угадывания правильного ответа возрастают, а потому график функции становится заметно пологим. В результате задание становится, в среднем, легче.

С увеличением значений cj у слабо подготовленных испытуемых повышается вероятность правильно ответить на задание и получить незаслуженные ими баллы.

Заключение

Таким образом, в настоящее время в психологии существует громадное количество конкретных методических приемов исследования межличностных отношений, и даже беглый их обзор вряд ли уместился бы во всем объеме этой книги. Это понятно, имея в виду как обширную феноменологию межличностных отношений, задачи, решаемые отдельными методиками, так и различия в теоретической оценке сущности исследуемого явления. Систематика методик психодиагностики межличностных отношений возможна на различных основаниях: а) на основании объекта (диагностика отношений между группами, внутригрупповых процессов, диадных отношений и т. д.); б) на основании задач, решаемых исследованием (выявление групповой сплоченности, совместимости и т.д.); в) на основании структурных особенностей используемых методик (опросники, проективные методики, социометрия и т. д.); г) на основании исходной точки отсчета диагностики межличностных отношений (методики субъективных предпочтений, методики выявления личностных характеристик участника общения, методики исследования субъективного отражения межличностных отношений и т. д.). Возможны, конечно, и другие критерии систематики методик.

Необходимо отметить, что критерии систематики важны не сами по себе. Они представляют определенный аспект для оценки адекватности методики тому или другому конкретному исследованию.

Так как целью этой главы является осуществление помощи в выборе методики или категории методик для конкретного исследования, поясним предыдущую мысль более подробно.

Во-первых, объект исследования, или точка приложения методики. Межличностные отношения проявляются в большом разнообразии сфер человеческого бытия, которые существенно отличаются друг от друга и в которых действуют различные психологические детерминанты. Поэтому применение конкретных методик имеет свои границы, игнорирование которых приводит к «девалидизации» методики, необоснованности выводов. Так, социометрия, адекватная для исследования группы лиц, хорошо знакомых друг с другом, даст трудно интерпретируемые результаты при обследовании группы, в которой люди находятся на различных уровнях межличностного познания.

Во-вторых, задачи, решаемые в исследовании. От них совершенно определенно зависят требования, предъявляемые к валидности используемых методик, к объему поставляемых ею психологических данных. Понятно, что исследование, направленное, скажем, на выяснение совместимости экипажа парусного судна для продолжительного плавания, предполагает не только моделирование и анализ межличностных отношений в условиях, максимально приближенных к реальным, но и углубленное изучение мотивационно-потребностной сферы каждого с целью прогноза и предупреждения межличностных коллизий во время продолжительного плавания. В то же время эти методики, примененные для исследования структуры, сплоченности открытого для внешних социальных воздействий коллектива, дали бы излишнюю и не вполне адекватную информацию. В особом положении находятся методики исследования межличностных отношений в малых группах (скажем, в семье), используемые для решения задач психокоррекционной работы. Желательно, чтобы они были не только констатирующими, т. е. раскрывали бы картину существующих отношений, но и эвристическими - дающими психологу возможность понимания субъективного мира, исследуемого во всей его сложности, расширяющие диапазон психической реальности как для психолога, так и для обследуемого человека.

Список литературы

1. Бодалева, А.А., Столина В.В. Oбщая психодиагностика - М.: Просвещение, 2009 г.

2.Практикум по психодиагностике - М.: Просвещение, 2015г.

3.Бурлачук, Л.Ф., Морозов, С.М. Словарь-справочник по психодиагностике - С-П., 2016 г.

4.Обозов, Н.Н. Межличностные отношения - Л.: Интер; 2008 г.

5.Берн, Э. Игры, в которые играют люди. Люди, которые играют в игры - М.: Просвещение; 2010 г.

6.Андреева, Г.М. Социальная психология. Учебник для высших учебных заведений / Г.М. Андреева. - М.: Аспект Пресс, 2002. - 378 с.

7.Андриенко, Е.В. Социальная психология: учебное пособие для студентов пед.вузо. М.: 2000.

8.Аскевис-Леерпе, Ф. Психология: краткий курс/Ф. Аскевис-Леерпе, К. Барух, А.Картрон; пер. с франц. М.Л. Карачун. - М.: АСТ: Астрель, 2006. - 155 с.

9.Бодалев, А.А. психология межличностного общения. Рязань, 2013 г.

10. Бодалев, А.А. Психология общения. Избранные психологические труды. - 3-е изд., перераб. и допол. - М.: Издательство Московского психолого социального института; Воронеж: Издательство НПО "МОДЭК", 2002. - 320 с.

11.Большая энциклопедия психологических тестов. М.: Изд-во Эксмо, 2005. - 416 с.

12.Вердербер, Р., Вердербер, К. Психология общения. - СПб.: прайм - ЕВРОЗНАК, 2003. - 320 с.

13.Ганзен В.А., Балин, В.Д. Теория и методология психологического исследования: Практическое руководство. СПб.: СПбГУ, 2012 г.

14.Годфруа, Ж. Что такое психология: В 2-х т. Т. 2: Пер. с франц. - М.: Мир, 2015. - 376 с.

15.Горянина, В.А. Психология общения: Учеб.пособие для студ. Высш. Учеб. Заведений. - М.: Издательский центр "Академия", 2002. - 416 с.

16. Дружинин, В.Н. Структура и логика психологического исследования. М.: ИП РАН, 2009 г.

17.Ермолаев, О.Ю. Математическая статистика для психологов: Учебник /О.Ю. Ермолаев. - 2-е изд., испр. - М.: Московский психолого-социальный институт: Флинта, 2003. - 336 с.

18. Емельянов, Ю.Н., Кузьмин, Е.С. Теоретические и методические основы социально-психологического тренинга. Л.: ЛГУ, 2010. - 103 с.

19.Казаков, В.Г., Кондратьева, Л.Л. Психология: Учебник для индустр.-пед. Техникумов. - М.: Высш. Шк., 2011. - 383 с.

20.Духновский, С. В. Субъективная оценка межличностных отношений. Руководство по применению / С.В. Духновский. - СПб.: Речь, 2006. - 54 с.

21.Духновский, С. В. Шкала субъективного переживания одиночества. Руководство / С.В. Духновский. - Ярославль: НПЦ «Психодиагностика», 2008. - 17 с.

22.Духновский, С.В. Социально-психологическая дистанция в межличностных отношениях: факторы и регуляция / С.В. Духновский, Л.В. Куликов // Вестн. С.-Петерб. ун-та. -Сер. 12. - 2009. - Июнь. - С. 14-20.

23.Куницына, В.Н. Межличностное общение: учебник для вузов / В.Н. Куницына, Н.В. Казаринова, В.М. Погольша. - СПб.: Питер, 2001. - 544 с.

24.Рукавишников, А. А. Опросник межличностных отношений / А.А. Рукавишников. - Ярославль: НПЦ «Психодиагностика», 2009. - 47 с.

25.Смирнов, А. В. Опросник диагностики аддикций «ОДА-2010»: метод. пособие / А. В. Смирнов. - Екатеринбург: Изд-во Урал. гос. пед. ун-та, 2010. - 208 с.

Размещено на Allbest.ru