Главная | Обратная связь

Научение Методу Работы

Важно понять причины, побудившие авторов Прогрессивных Матриц придать тесту циклический формат.

Как указывает название теста, внешняя форма заданий побуждает испытуемых воспринимать каждое из них в рамках определенной мыслительной схемы, уделять внимание и рассматривать определенные детали изображения. Она также побуждает испытуемых к определенным способам размышления (смотри Jacobs and Vandeventer, 1972). Следовательно, последовательность заданий обеспечивает "научение методу мышления" и при выполнении Стандартной серии Матриц испытуемые получают пять возможностей для формирования смысла этого метода. Таким образом, тест позволяет диагносцировать тенденцию учиться через опыт, который является более логичным определением "потенциала обучаемости", нежели такое использование ПМР, где фактически оценивается тип научения посредством инструкции.

48 Именно по этой причине "натаскивание" на работу с ПМР дает меньший эффект, чем при работе со многими другими тестами, и это объясняет также эффект минимизации культурного неравенства. Тестирование с ограничением времени, а также использование сокращенных вариантов, ставят в невыгодное положение именно тех испытуемых, кто больше других выиграл бы от самообучения в процессе решения оригинальной последовательности заданий. Так Делено (de Lemos, 1989) установил, что (а) различия в средних оценках детей из англо­говорящей и неанглийской среды возрастали, если использовалась процедура тестирования с ограничением времени; (б) корреляции между тестовыми оценками, полученными с ограничением и без ограничения времени, ниже у детей из неанглийской среды.

Хотя способ конструирования теста и минимизирует эффект "натаскивания" и опыта прошлой работы с похожими тестами, тем не менее он не является абсолютной защитой от получения недостоверных результатов. Когда результаты теста могут оказать серьезное влияние на жизнь испытуемого, желательно проводить тест в индивидуальном порядке, и не в группе. В таких условиях проще выявить тех, кто просто заучил правильные ответы, тех, кого тестовые задачи приводят в замешательство, или тех, чье культурное происхождение снижает их заинтересованность в точности собственных ответов.

ФОРМАТ АНАЛИЗА ТЕСТОВЫХ ЗАДАНИЙ

Следуя современной терминологии, в ПМР изначально была заложена такая форма анализа тестовых пунктов (заданий), которая во всех отношениях отвечала требованиям трехпараметрической модели анализа тестовых данных Раша (Rasch) . Однако, вместо использования математических индексов применяли визуальный анализ характеристических кривых отдельных заданий. Такого рода исследования, проведенные с особой тщательностью, действительно позволяют больше узнать о природе измеряемой способности и о возможностях дальнейшего улучшения теста.

⁷ Читателям может быть будет интересно узнать, что Раш впервые тестировал свою модель именно на Матрицах (Rasch, 1947)

 

На психологическом уровне, анализ заданий должен продемонстрировать, что способности, необходимые для решения данного задания, надстраиваются над теми, которые требовались для решения предыдущих заданий. Однако, даже если и можно показать, что некоторые способности нужны для формирования остальных, тем не менее может случиться так, что для решения более простых и более сложных заданий потребуются разные психологические процессы.

Рисунок О14 показывает характеристические кривые (ХКЗ) для трех гипотетических заданий шкалы. Вертикальная ось показывает процент обследованных, правильно ответивших на данное задание, а горизонтальная показывает общую тестовую оценку. Отдельные кривые отражают процентную долю общей выборки, правильно решивших данное задание, как функцию итоговой результативности. В целом рисунок показывает, как будут вести себя удачно и неудачно подобранные задания, если каждый пункт теста оценивает одну и ту же, но последовательно прогрессирующую, интеллектуальную функцию.

Кривая А показывает идеальное поведение психологически эффективного тестового задания, имеющего уровень сложности ниже среднего. Кривая В показывает поведение столь же эффективного, но более сложного задания. Кривая С отражает поведение неэффективного задания такой же сложности, как и кривая В. Пунктирная линия на уровне 12.5% показывает частоту случайного выбора правильной фигура из восьми предъявленных вариантов фигур.

Рисунок О15 показывает, как должен вести себя идеальный набор заданий. Характеристические Кривые Заданий должны быть вертикальны и сдвинуты друг относительно друга на равное расстояние. В этом случае тестовые задания сформируют настоящую шкалу интервалов. Будет достигнуто абсолютно однозначное соответствие между полученным испытуемым общим баллом и последним правильно решенным им заданием.

ХКЗ для задания А на графике О14 показывает тенденцию, что испытуемые отвечают более-менее случайным образом до тех пор, пока их общая оценка не достигнет некоего определенного уровня. С момента, когда они начинают содержательно включаться в задачу, кривая монотонно и круто возрастает с увеличением суммарной шкальной оценки. В диапазоне 40-60% скорость изменения вероятности правильного решения с увеличением общего балла остается практически неизменной. На уровне выше 80-90% эта скорость изменяются также, как и на уровне 10-20%. Достижение уровня 100% означает отсутствие дальнейших ошибок, потому что испытуемые с более высокими тестовыми оценками уже не выбирают ложных альтернатив. Резкий подъем кривой в среднем диапазоне предполагает, что существует некая важная процессуальная • характеристика, необходимая для решения данного задания, которая подключается именно на этом, измеряемом общим тестовым баллом, уровне развития

продуктивной способности. До достижения этого уровня способности практически никто не выбирает правильную фигуру- После того как он достигнут, все меньше и меньше людей выбирают ошибочный вариант.

ХКЗ для задания В - столь же эффективного как А, но более сложного - показывает такую же крутую прогрессию от случайных угадываний до 100%-го успеха. Однако, для его решения требуется значительно более высокий уровень развития способности решать задачи.

ХКЗ для задания С иллюстрирует четыре причины, почему данное задание может быть неэффективным тестовым пунктом:

а. Некоторое количество испытуемых, чьи общие оценки не предполагают, что они способны решить данное задание, тем не менее выбирают правильный ответ. Наиболее вероятное объяснение этого заключается в том, что правильный ответ, в силу своего расположения или общей планировки, привлекает внимание испытуемого сильнее, чем альтернативные ответы.

б. Те испытуемые, чья общая тестовая оценка чуть ниже уровня, при котором они должны

быть способны правильно решать данную задачу, начинают выбирать другой ответ, так что процент правильных ответов опускается до полосы 12.5% - как при случайном угадывании. Это может быть потому, что одна из ошибочных фигур стала более привлекательной для испытуемых с этим уровнем способностей.

в. Среди тех, для кого данное задание становится психологически проблетичным, процент

правильного решивших растет только до 50%-го уровня. Для значительного диапазона способности кривая колеблется вокруг 50%-го уровня. Ошибочные выборы, совершаемые на этом уровне способности, могут указывать на то, что при решении данного задания испытуемые более или менее случайно выбирают между двумя очень похожими фигурами.

г. Выше 60%-го уровня успешности кривая растет медленно и никогда не достигает уровня

100%. Даже среди наиболее способных испытуемых есть такие, которые не могут решить задачу правильно.

Отметим, что область под кривой С приблизительно равна области под кривой В. Из этого следует, что нормативные индексы сложности этих двух заданий должны быть сходными, так что задания могут показаться одинаково трудными и одинаково удовлетворительными. Кроме того, нормативные индексы сложности не отразят того факта, что эти кривые пересекаются, то есть эти задания представляют различную сложность для людей с разными общими тестовыми оценками.

На рисунке О14 не показаны две разновидности откровенно неэффективных тестовых заданий - такие, которые решаются всеми испытуемыми, и те, которые не решаются никем.

Хотя данная измерительная модель предполагает, что создатель теста должен стараться подобрать задания с равноудаленными друг от друга ХКЗ одинаковой формы, сделать это практически невозможно. Некоторые ХКЗ продолжают пересекать другие. На одном уровне это значит, что необходимо применять трехпараметрическую модель Раша для аппроксимации данных. Однако на другом уровне это предполагает, что люди с высокими и низкими тестовыми оценками решают поставленные перед ними задачи качественно различными способами. Эта гипотеза подтверждается бимодальными распределениями, приведенными в Исследовательском Приложении №1. Однако, полученный набор ХКЗ показывает также, что начальные перцептивные задания формируют часть континуума когнитивных способностей, которые надстраиваются друг над другом.

В Исследовательском Приложении №4 приведено исследование Эндрич и Давс, в котором трехпараметрическая модель Раша успешно описывает тестовые данные. Фишер

(Fischer, 1988) и другие обсуждали это требование. Наш собственный вклад в эту дискуссию состоит в наблюдении, что ХКЗ позволяют обнаружить причины, почему тесты подтверждают или не подтверждают модель. Кроме того, Хэмблтон (Hambleton, 1988, 1989) продемонстрировал, что многие из используемых индексов не обладают стабильностью (завися от таких вещей как объем выборки и специфика тестируемой популяции) и что большая часть аргументов зависит от строгости критериев, устанавливающих "соответствие" или "несоответствие" модели Раша.

Применение факторного анализа к тестовым заданиям становится все более модным, и ввиду этого следует сказать несколько слов предостережения. Важно отметить, что и психологическая модель продуктивной способности, и техника шкалирования, использованная для создания ПМР и СШМХ, несовместимы со шкалами, конструируемыми при помощи факторного анализа для достижения внутренней согласованности. Если рассмотреть взаимные корреляции пунктов теста, построенного в соответствии с изображенной на рисунке О15 моделью, то будет обнаружена крайне высокая корреляция между соседними пунктами (поскольку на основании успеха или неуспеха при решении предыдущего задания можно предсказать правильность решения последующего) и крайне низкая корреляция между пунктами, расположенными на противоположных концах шкалы (поскольку успешное решение простейших заданий ничего не говорит о том, будет ли успешным решение сложных). Из этого следует, что поскольку пункты упорядочены по сложности, матрица корреляций будет такова, что высокие значения будут расположены вокруг диагонали, уменьшаясь практически до нуля по мере удаления к углам. Такая матрица не подлежит анализу с использованием модели "генеральных факторов с коррективами" или модели "независимых факторов" (Raven et al, 1971). Следовательно, такой анализ мало что скажет нам о природе способностей, измеряемых ПМР и СШМХ. (Этот комментарий не относится, конечно, к применению факторного анализа к батареям тестов, включающих в себя, в числе прочих, ПМР и СШМХ).