Пример.
Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.
Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.
Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.
НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.
Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.
Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.
В дальнейшем нам потребуются следующие определения:
Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.
Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.
Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.
1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.
Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.
Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.
2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.
Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.
3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.
4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.
Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.
Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.
5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.
6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.
Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.
Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.
Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.
Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.
Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов
Нормативно - ориентированные тесты | Критериально - ориентированные тесты |
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение. | 1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. | 2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов). |
3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид. | 3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид. |
4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания. | 4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания. |
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. | 5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов. |
6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. | 6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. | 7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании. |
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности. | 8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность. |
Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:
1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;
2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.
Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.
Интерпритация материалов психодиагностики
Интерпретация результатов, как правило, ассоциируется с заключительным этапом психодиагностики, на котором происходит обобщение и объяснение всех ранее полученных экспериментальных и клинических данных, в действительности она представляет собой непрерывный процесс, затрагивающий все этапы исследования. Раскрывая понятие «транзитивного диагноза», И. Шванцара с соавторами (1978) отмечают, что интерпретация предполагает объяснение отдельных диагностически значимых фактов в ходе исследования. Это предоставляет психологу возможность пластичной ориентировки в психодиагностической проблеме и изменения программы исследования. Авторы различают интерпретацию ad hoc, которая касается создания гипотез на основании частичных результатов и приводит к изменению программы дальнейшего исследования, и интерпретацию post hoc, в процессе которой психолог устанавливает смысл отдельных полученных фактов в общей психодиагностической картине случая.
При интерпретации данных психодиагностического исследования психолог опирается на представления о множественной детерминации психических явлений и многозначности каждого психодиагностического результата. Точность и адекватность интерпретации поэтому зависят от способности психолога учитывать вероятные связи между диагностическими данными, их ситуационной обусловленностью и возможным их личностным значением.
Другой важный аспект, который необходимо учитывать при интерпретации данных и отразить в психодиагностическом заключении, состоит в том, имеют ли выявленные психологические особенности (нарушения) ситуативный, преходящий характер или относятся к константным особенностям личности, поведения, интеллекта испытуемого.
Психологическая диагностика является основой профессиональной деятельности практического психолога, каким бы видом работ он ни занимался - психологическим консультированием, коррекцией или просвещением.
Психодиагностические материалы: статьи, книги, тезисы конференций, анонсы образовательных программ по овладению диагностическим инструментарием, видеоролики занятий с детьми и новости в сфере психодиагностической науки и практики.
Скачок в психодиагностике произошел благодаря использованию компьютерного тестирования, которое дает возможность изучать процессуальные стороны деятельности, моделируемой тестом, и помогает выявить индивидуальные стратегии в решении заданий, анализирует трудности, испытываемые человеком при выполнении предложенных заданий. Компьютерные тесты предполагают сбор тестовой информации в режиме диалога испытуемого с компьютером. Однако тесты, предполагающие компьютерную обработку информации, собранной на бланках, не являются компьютерными. При компьютерном тестировании больше возможностей соблюдения достоверности теста, т.е. обеспечение защиты его результатов от сознательных фальсификаций (лжи, неискренности испытуемого) или непреднамеренных мотивационных искажений. Также повышается надежность тестирования - стабильность результатов тестовых испытаний, устойчивость теста по отношению к разнообразным источникам помех (шумовых, случайных факторов обследования).
Скрытые возможности человека при компьютерном тестировании могут быть улучшены и раскрыты полнее. В таких тестах моделируется процесс обучения или развития, анализируются усилия, затраченные на обучение, оцениваются успехи, что позволяет сделать заключение об интеллектуальных возможностях испытуемого.
Критериально - ориентированный тест (по-английски criterion-referenced) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Относится к тестам достижений
. Смотри также Нормативно - ориентированный тест
Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:
· - тест интеллекта
· - тест достижений в системе образования
Тест интеллекта: особенности тестов интеллекта заключаются в том, что содержание и задание не было связано напрямую с учебной программой. Вывод об успешности учебной деятельности по результатам теста представлял проблему, так как не было соответствия тестам интеллекта и учебных заданий. 0,5 – корреляция успешности тестов интеллекта и успешностью обучения между ними. Невозможно выявить причину специфических трудностей учеников при выполнении учебной деятельности и определить содержание коррекционной работы с этими учениками.
Тесты интеллекта не могут оценить ученика с точки зрения его соответствия конкретным требованиям учебной программы, так как ориентированы на статистическую норму.
Тесты достижений используются в целях контроля успешности усвоения конкретных учебных знаний и навыков. По результатам можно сделать вывод: насколько учитель соответствует требованиям школьной программы, насколько продвинулся и какая помощь ему нужна. Ориентиры не на статистическую норму, а на критерий усвоения. Недостаток – построены бихевиористические модели обучения, контролировали конечный продукт усвоения. А способы усвоения не оценивают. В этом отношении тесты интеллекта давали больше информации.
В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.
В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.
В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.
Цели использования КОРТа:
1. Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.
2. Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.
Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).
Критерий КОРТ.
Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:
1. Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.
2. Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.
Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.
Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.
Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.
Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.
Психологическая диагностика - Учебное пособие (К.М. Гуревича)
Глава xi критериально-ориентированное тестирование (корт)
Критериально-ориентированное тестирование - новое направле». ние в диагностике умственного развития учащихся. Основанные на, особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для по-, строения заданий в КОРТ используется материал учебных программ -. из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завершенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последова-" тельность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление уча-, щихся новые термины, понятия, ситуации и способствовать установлению связей и отношений между ними и тем, что уже было ус-. воено ранее. Такие задания называют ключевыми.
Первый - критерий как показатель учебных достижений. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, полученные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.
Второй вид - критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы-
таний методиками КОРТ при их сравнении с критерием дадут информацию о том, представлены ли в мышлении учащегося необходимые для усвоения новых разделов программы умственные действия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.
При анализе этой информации нужно считаться с тем, что уровень умственного развития учащихся может выявить недочеты логико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.
По отношению к отдельным учащимся полученная по результатам испытаний методиками КОРТ информация после ее психологического анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию.
§ 1. РАЗРАБОТКА МЕТОДИК КОРТ, ДИАГНОСТИРУЮЩИХ МАТЕМАТИЧЕСКОЕ МЫШЛЕНИЕ
Получившая развитие в США и других странах практика разработки методик КОРТ, традиционно ориентируясь на концепцию критерия как определенного континуума знаний, навыков, специфических операций, оставила без должного внимания изучение психологических предпосылок, обеспечивающих выполнение критериального задания. Преодоление этой тенденции вызвало необходимость исследования модели разработки методик КОРТ, в которых воплощено психологическое содержание, выделены основные требования к умственному развитию учащихся.
Психологическое содержание методик КОРТ определяется не только их особой направленностью - обращенностью теста на контроль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учебных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер - это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержательных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе специально организованных наблюдений за учащимися, когда они выполняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором содержания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен
тивной логикой» учащихся, овладевающих требуемыми умственш ми действиями.
Все это учитывается в ходе составления спецификации теста.3!! Описывая критерий, на который данный тест ориентирован, спецйИ| фикация вместе с тем определяет границы той области содержания,^ к которой тест относится. *
Для того чтобы показать, как проводится спецификация, обра-Д;
тимся к уже имеющемуся опыту разработки методик КОРТ. Тест, of котором пойдет речь далее, был разработан на материале математи-^ ки (6 класс общеобразовательной школы) и был направлен на вы-^ явление умственных действий, опосредующих умение составлять уравнения по условиям тестовых задач. Конструируя методику" КОРТ, автор всегда исходит из того, что представленное в тесте за-"" дание является ключевым. В данном случае предполагалось, что":
умение составлять уравнения является таковым в ряду математических знаний и умений. В 5-6 классах это умение только формируется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших-этапах роль этого умения возрастает.
Подготавливая спецификацию теста, прежде всего нужно раскрыть критериальное значение исследуемого содержания. Для ука-i занного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как условие исследования и решения тестовых задач. В данном случае в, спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, конечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами является конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве содержательной основы умственных действий. Ориентация на знаковую модель, которая является результатом мыслительного преобразования текстовой математической задачи, выступает, таким образом, как критерий формирования умственных действий. Он и закладывается в данный тест. Составление уравнения по условиям текстовых задач предполагает, что учащийся владеет такими умственными действиями:
1) анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);
2) устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием;
3) разбивает задачи на классы по существенному основанию - типу отношений между величинами;
4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.
Выявленная совокупность умственных действий составляет основу конструирования методики КОРТ. Сформиро-ванность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по числу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества».
Разработчик теста должен быть уверен, что в тест войдет материал, который репрезентативен для исследуемого учебного содержания. С этой целью была произведена каталогизация тестовых задач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же величины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удельный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, представленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Например, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ориентации в материале - субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно математическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между величинами, фиксируемые знаковой моделью определенного вида.
Внесение в задания стимульного материала позволяет определить, насколько соответствует степень сформированности умственного действия установленному критерию. Если ученик так и не овладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.
Приведем образцы заданий всех четырех субтестов рассматриваемого КОРТ с указанием содержательных показателей их выпол
Субтест «Выделение существенного». В него входят задания следующего типа. Установи, какое из выделенных (А, Б, В, Г) условий является существенным в определении характера уравнения, которое \% следует составит^ к данной задаче, sj
Заказ по выпуску машин завод должен был выполнить за 15 дней (А), но уже за два дня до срока (Б) завод не только выполнил план, но и выпустил сверх плана еще 6 машин (В), так как ежедневно выпус- ;
кал по 2 машины сверх плана (Г). Сколько машин должен был выпус- ;
тить завод по плану?
Правильное выполнение задания предполагает, что учащийся ориентируется на условие, указывающее на отношение между величинами (условие В): «Объем выпущенной сверх плана продукции на 6 машин -больше планового объема». Данное условие является «ключевым» в выявлении характера уравнения, тогда как условия А, Б, Г, уотя и содержат в себе определенную математическую ин-формаци1Ь, определяют лишь вид отдельных алгебраических выражений, но не уравнения в целом.
Субтест «Четвертый лишний». В него включены задания типа: даны четыре задачи; три - одного вида, одна - другого, т.е. лишняя, относится к задачам другого вида. Определи, какая из задач (А, Б, В, Г) является лишней.
А. Бригада трактористов намечала ежедневно вспахивать по 60 га. Однако план вспашки перевыполнялся ежедневно на 25\%, а поэтому пахота была закончена за день до срока. Определите, за сколько дней было вспахано поле.
Б. По плану колхоз должен был засевать по 25 га в день. Но колхозники смогли увеличить дневную норму на 5 га и закончили сев на три дня раньше срока. Какова площадь поля?
В. Расстояние между двумя станциями электропоезд проходит за 1,2 часа. Из-за ремонта пути поезд уменьшил свою скорость на 20\% и прошел это расстояние за 1,5 часа. Найдите первоначальную скорость поезда.
Г. Два звена собрали со своих участков 8840 ц кукурузы, причем первое звено получило в среднем с га по 150 ц, а второе - по 108 ц. Участок второго звена был на 35\% больше участка первого звена. Определите площадь участка первого звена.
При выполнении задания существенным является то, что учащийся сопоставляет и объединяет задачи на основе общности типа отношений между величинами (лишняя в ряду задач - задача Г). Общность сюжета (работа в колхозе - задачи А, Б, Г), сходство отдельных деталей (зависимость между значениями величин задается в форме процентного соотношения - задачи А, Б, Г) не являют-" ся достаточными основаниями для заключения о том, что задачи относятся к одному и тому же виду.
Субтест «Найти подобную». В него входят задания такого типа: найти задачу, подобную данной: найти три последовательных нечетных числа, сумма которых равна 81.
А. Шнур разрезали на три части, причем первая часть в 2 раза больше второй и третьей в отдельности. Чему равна длина каждой из трех частей, если известно, что вторая часть меньше первой на 81 см?
Б. Сумма двух чисел равна 81. Если одно из них увеличить в два раза, то сумма полученных чисел будет равна 136. Чему равно каждое из двух чисел?
В. Сумма углов треугольника равна 180 градусам. Величины углов относятся как числа 3, 4 и 5, найти углы треугольника.
Г. Найдите два числа, сумма которых равна 132, если 1/5 одного числа равняется 1/6 другого.
Существенным при актуализации действия нахождения аналогии является ориентация на подобие знаковых моделей рассматриваемых задач (задача В). Нахождение аналогии на основе сходства числовых данных (А), отдельных лексических единиц условия за-дачной ситуации (Б), аналогичных синтаксических организаций (Г) свидетельствуют о том, что учащийся представленным в субтесте умственным действием не владеет.
Субтест «Установление тождества». В него входят задания такого вида: какая из составленных задач соответствует уравнению вида 6х - х = 25?
А. Витя задумал два числа. Их частное равно 6, а разность - 25. Какие числа задумал Витя?
Б. Мама испекла 25 пирожков с малиной и яблоками. С малиной пирожков было в 6 раз больше. Сколько пирожков было с яблоками?
В. В одной комнате в 6 раз больше людей, чем во второй. После того как из первой комнаты 25 человек перешли во вторую, в обеих комнатах людей стало поровну. Сколько людей было в каждой комнате первоначально?
Г. После того как в первую неделю израсходовали шестую часть всего имеющегося угля, на складе осталось 25 т угля. Сколько всего угля было на складе?
Показателем того, что ученик владеет представленным в субтесте умственным действием, является сопоставление уравнения и условия задачной ситуации на основе заданного в тексте-описании и фиксируемого уравнением типа отношений между величинами (задача А).
Успешность выполнения каждого задания оценивается по двоичной системе: 1 соответствует правильному выполнению, 0 - неправильному или отказу от решения.
Независимо от того, на каком предметном содержании разрабатываются методики КОРТ или какие частные принципы положены в
основу их конструирования, спецификация теста всегда включает в| себя краткое описание той области содержания, для изучения кото-| рои предназначен тест, образцы задания, стимулы-признаки крите-^ рия, типичные ответы, которые могут дать испытуемые в ситуаций тестирования. Спецификация теста задает основу для установлении"1 содержательного соответствия тестовых заданий реальных учебных" задач. И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в содержательном и операциональном планах оценить, что действитель-" но означает выполнение теста по отношению к критериальной области поведения.
Когда спецификация составлена, подготовленные методики КОРТ подлежат проверке.
Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих выполнение учебных заданий, был верен и каждое из умственных действий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ". Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.
Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и представительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.
Если анализ логического состава умения верен и владение совокупностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных заданий, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Проверка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ.
" При сопоставлении выполнения субтестов КОРТ, а также методики КОРТ в целом с другими методиками обычно используют Ф-коэффициент (коэффициент Пирсона для дихотомических данных) как оптимальный метод анализа экспериментальных данных подобного характера (см. главу XIV).
Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэффициент не говорит о причинах совпадений или расхождений. Возникает необходимость качественного анализа рассогласовании. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.
Специальному анализу подлежат также данные учащихся, которые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выполнения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулированием условия задания, с перестройкой умственных действий для решения задания. В исследовании математического КОРТ, например, был выявлен и проанализирован случай, в котором может идти речь о компенсации.
По результатам методик математического КОРТ учащийся владеет лишь двумя из умственных действий - выделением существенного и установлением тождества. Ему предлагают установить, какое из трех уравнений к задаче составлено правильно. Учащийся выполняет задание следующим образом. Он выделяет в условии данной ему задачи основание для уравнивания и составляет уравнение (выделение существенного), затем последовательно сопоставляет полученное им уравнение с тремя предложенными вариантами (установление тождества) и тем самым правильно выполняет контрольное задание.
Вместе с тем актуализация этих умственных действий по отношению к данному заданию представляет собой неэкономный в логическом плане способ решения. Ориентация на тип задачи и характеризующий его вид уравнения позволила бы сократить зону поиска. Но для этого следовало бы использовать умственные действия нахождения аналогии и определения классификации, а ими-то учащийся не владеет. Компенсация здесь заключалась в том, что учащийся заменяет те действия, которыми он не владеет, другими, позволяющими справиться с заданием.
Анализ рассогласований в выполнении методик КОРТ и КЗ позволяет исследователю выявить присущие учащимся способы выполнения заданий и оценить, насколько эти способы отвечают задачам умственного развития в области математики.
Корт своими содержательными и структурными характеристиками соответствует конкретной ситуации обучения и поэтому может
служить оперативным средством контроля и оценки результате обучения. Разработка и исследование таких тестов всегда связаны решением актуальных учебно-образовательных задач. С помощь^, методик КОРТ учителя и психологи могут выявить объективные пв3 казатели умственного развития в отношении тех разделов обучении! которые соотносимы с ключевыми, ведущими требованиями школб^ ной программы. Анализ выполнения теста позволяет локализовать к раскрыть недостатки и пробелы в логико-психологической и учеб. ной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критериально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образования. Применение методик КОРТ позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки методик КОРТ был вызван необходимостью углубленного психологического анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и приемов мыслительной деятельности в конкретных областях предметного содержания.
§ 2. ДИАГНОСТИКА РАЗВИТИЯ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ
Современная психологическая диагностика располагает достаточно большим арсеналом методик для оценки сформированности математического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления.
Отсутствие до недавнего времени методик, посвященных диагностике сформированности естественнонаучного мышления, было связано, как отмечается в литературе, с неразработанностью специфики этой проблемы (Г.А. Берулава, 1991).
Выработка эффективных способов естественнонаучного мышления у учащихся связана с ориентацией не на жесткие алгоритмы мыслительной деятельности, а на предписания алгоритмического и эвристического типов. В связи с этим для диагностики сформированности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качественными заданиями в естествознании (в отличие от расчетных, экспериментальных и графических задач) называются задания, которые
решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качественные зависимости между объектами. Существенно и то, что качественная форма проблемной ситуации в наибольшей степени соответствует реальной ситуации научного поиска. Известно, что ученые, представители естественных наук, при решении сложных научных проблем избегают формализации ситуации поиска. Вследствие этого используемые для исследования естественнонаучного мышления качественные задания релевантно отражают специфику естественнонаучного мышления, и именно такие задания позволяют диагностировать этапы и уровни развития мышления учащихся. В связи с этим необходимо отметить, что в традиционных методиках диагностики мышления используются преимущественно задания алгоритмического характера. При этом оценка сформированности у учащихся отдельных умственных действий, и прежде всего действия обобщения, основывается на предположении о том, что, усвоив определенное правило, определенный алгоритм, учащийся может безошибочно решить задачу. Соответственно подобные диагностические методики фактически диагностируют специфику математического мышления и в большей степени сформированность у индивида определенных умений.
В противоположность этому использование нестандартных качественных задач ориентировано на диагностику сформированности продуктивного, творческого мышления.
Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформированности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществляемые как переход мысли от известной закономерности к применению ее в конкретных условиях.
Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диагностика процесса мышления на микроуровне направлена на исследование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выявление тем самым реального процесса мышления в его индивидуальном варианте, то диагностика мыслительного процесса на макроуровне предполагает анализ сформированности его отдельных стадий и определения, таким образом, индивидуальных моделей развития мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но непосредственно интегрированных с процессом мышления и вследствие этого характеризующих его.
Диагностируя мышление как процесс, мы фиксируем его отдель.1 ные результаты в определенных точках временной шкалы. "р
Понимание мышления как процесса не может абстрагироваться от. составляющих его действий и операций, сформированность которых на каждом временном этапе выступает как определенный про. межуточный результат.
Сформированность теоретического обобщения определяется качеством его выполнения (правильность выполнения задания) и его устойчивостью (переход от абстрактного к конкретному выполняется для различных типов связей). Это означает, что ребенок может устойчиво выделять общее и особенное в различных ситуациях. В количественном аспекте коэффициент сформированности действия теоретического обобщения (Kg) на каждой из стадий может определяться как отношение количества решенных задач (О) к общему количеству (S), т.е. Kg = 0/S.
Существенно, что определение коэффициента сформированности действия теоретического обобщения не предполагает суммирования правильно решенных задач по отдельным стадиям, поскольку каждая из них будет связана со своим «масштабом» развития. При этом мы основывались на очень точном замечании Л.С. Выготского о том, что «не может существовать равных единиц для измерения всех ступеней в развитии интеллекта, каждая качественно новая ступень требует своей особой меры» (1984. Т. 4. С. 56).
Возникает проблема появления нового интегративного способа мышления, характерного для мышления современных ученых-естествоиспытателей. Могут быть выделены две стадии сформированности теоретического естественнонаучного мышления: дифференциально-синтетическая (в основе которой лежат внепредметные теоретические обобщения) и стадия синтетическая (в основе которой - межпредметные теоретические обобщения). Различие выделенных стадий обусловлено качественным своеобразием синтеза естественнонаучных знаний. Рассмотренные стадии различаются по уровню теоретического обобщения, однако это различие связано не просто с объемом материала, на базе которого осуществляется обобщение (т.е. с «широтой охвата»), но с качественным своеобразием данного обобщения и, в частности, с ориентацией на всеобщее, а не на особенное отношение.
В то же время современное естественнонаучное образование не ориентировано на формирование у учащихся интегративного способа мышления. Теоретическое естественнонаучное мышление фор- j мируется как дифференциально-синтетическое (физическое, хими- I. ческое, биологическое) на основе внутрипредметных обобщений с | ориентацией на особенные для каждой естественной науки сущно-
сти. Это во многом обусловлено тем, что в качестве основы межпредметных связей указываются различные типы ассоциаций, при этом практически игнорируется основополагающая роль теоретических обобщений как психологической базы установления связи между научными понятиями.
В рамках эмпирического типа мышления могут быть выделены эмпирически-бытовая и эмпирически-научная стадии. Для эмпирически-бытового способа мышления характерна апелляция учащихся к своим донаучным представлениям, стремление решить задачу на бытовом уровне. Общей отличительной особенностью данного способа мышления является то, что ребенок ищет путь решения задачи в области бытовых представлений и понятий и не делает какой-либо попытки научного анализа условий задачи.
Эмпирически-научный способ мышления характеризуется тем, что ребенок делает попытку научного анализа решения задачи, но ориентируется лишь на конкретные условия взаимодействия материальных объектов. В процессе решения он использует те или иные естественнонаучные законы, но поскольку их поиск носит эмпирический характер, то ответ, как правило, неверен. Общим для данного подхода является ориентация лишь на конкретные условия задачи, хотя и делается попытка их научного анализа. Для эмпирического типа мышления существенно то, что учащиеся, зная естественнонаучные законы, лежащие в основе решения задач, не могут «увидеть» их в предложенных конкретных условиях. Соответственно не может быть сделан вывод о том, что высшей стадией сформированности естественнонаучного мышления является синтетическая стадия, связанная со сформированностью у учащихся интегративного способа мышления, основанного на межпредметных теоретических обобщениях за счет становления более высокой формы теоретического синтеза - внешнего (междисциплинарного), выступающего как психическое новообразование подросткового возраста.
Из всего сказанного ясно, что методики диагностики естественнонаучного мышления непременно должны учитывать его специфику, связанную прежде всего с особенностями процесса теоретического естественнонаучного обобщения и стадиями развития данного вида мышления.
Рассматривая развитие мышления, следует учитывать, что оно осуществляется прежде всего в рамках организованного обучения;
социальные требования к развитию естественнонаучного мышления в обязательном порядке будет трансформироваться в определенной системе обучения.
Поскольку процесс обучения реализуется через систему учебных предметов, релевантных основным видам деятельности, то требова-
ния к развитию конкретного вида мышления реализуются через ределенный процесс обучения, в совокупности составляющий его содержание, методы и средства обучения, f.
Если у учащихся посредством определенной системы обучения! формируется один уровень мышления (например, в школе с углубленным изучением естественнонаучных дисциплин этот уровень ориентирован на деятельность ученого-исследователя), то и соответствующим должен быть критерий его сформированности.
§ 3. КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ ТЕСТЫ ДЛЯ ДИАГНОСТИКИ СФОРМИРОВАННОСТИ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ
В рамках критериальной диагностики разработаны тесты для диагностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся моделью когнитивной организации предметной области естествознания. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.
В тесты включены лишь задачи качественного характера. В естественнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодействие объектов, лежащих в основе любой естественнонаучной задачи, в значительной степени определяется условиями взаимодействия и индивидуальными свойствами объектов взаимодействия, в отличие, например, от математики, где данные факторы не имеют значения.
При определении содержательной валидности тест должен ориентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.
Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных символов и знаков, не позволяет ассоциировать их с какой-либо абстрактной теорией.
Каждый тест для диагностики сформированности у учащихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, являющихся для усвоения учебного материала в 7 и 8 клас-
сах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три - на межпредметном материале (биологии и физики в 7 классе, биологии, физики и химии - в 8). Каждый тест содержит два субтеста, один из котоэых диагностирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй - синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса (ТЕМ-7).
Задание. Почему нельзя тушить горящий керосин, заливая его водой?
а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии;
в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.
Варианты ответов для задания субтеста (их по три в каждой задаче) позволяют диагностировать преимущественный способ мышления учащегося: эмпирически-бытовой (ему в данном задании соответствует 1-й вариант ответа), эмпирически-научный (ему соответствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.
Аналогичную структуру имеют задания синтетического субтеста.
Задание. Почему кит, оказавшись на мели, погибает?
а) сила трения, имеющаяся на твердой почве, мешает ему добраться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталкивающая сила отсутствует, и кит погибает под действием собственного веса.
В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологическом материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному - 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.
При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативными для естественнонаучного познания учащихся 8 класса.
Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7.
Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?
а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлышка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому пробку легче вынуть из бутылки.
Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» - эмпирически-научному. Первый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон применяется в условиях, адекватных материалу, используемому в курсах биологии и химии.
Задание. Почему пораженные током живые организмы погибают?
а) потому что ток убивает клетки живых организмов; б) при прохождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках живых организмов происходят необратимые химические реакции.
С использованием предметного материала курса химии закон сохранения и превращения энергии реализован, например, в задаче следующего содержания.
Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?
а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие чего выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических зарядов цинка и серной кислоты.
Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абстрактного к конкретному. Это обеспечивается тем, что каждому естественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона.
Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом
учитывалось то, что жесткая статистическая оценка трудности задач для критериальных исследований неприемлема.
Тесты прошли формальную проверку на надежность и валид-ность. Ретестовая надежность определялась повторным тестированием через 3,5 месяца (существенно, что данный интервал приходится на летние каникулы учащихся). Коэффициент ранговой корреляции для ТЕМ-7 равнялся для дифференциально-синтетического теста 0,93, для синтетического - 0,92. Для ТЕМ-8 эти значения соответственно для дифференциально-синтетического субтеста - 0,89, для синтетического субтеста - 0,91. Значимость на уровне 0,01.
Был использован и такой метод выявления надежности теста, как определение его гомогенности. С этой целью каждый субтест был разделен на три части (по 5 заданий в каждой). Надежность оценивалась посредством вычисления интеркорреляций выделенных частей с применением формулы Кьюдера-Ричардсона. При этом коэффициенты корреляции располагались в пределах от 0,95 до 0,98.
Валидность тестов определялась сравнением успешности выполнения их заданий со школьными оценками за самостоятельные работы по решению естественнонаучных задач. При этом для определения валидности дифференциально-синтетического субгеста использовались оценки за решение физических задач. Валидность синтетического субтеста оценивалась по результатам выполнения задач межпредметного характера. Коэффициенты корреляций для ТЕМ-7 распределялись следующим образом: для дифференциально-синтетического - 0,72; для синтетического - 0,70; для ТЕМ-8 - 0,74; для дифференциально-синтетического - 0,74; для синтетического - 0,69. Значимость на уровне 0,99.
Корреляция ТЕМ-7 с субтестом «Обобщение» из теста ШТУР составила 0,69 для дифференциально-синтетического субтеста и 0,67 - для синтетического.
Для ТЕМ-8 эти значения распределялись следующим образом: для дифференциально-синтетического - 0,68; для синтетического - 0,65 (по отношению к тесту ШТУР).
Полученные данные позволяют сделать вывод о том, что разработанные тесты удовлетворяют необходимым статистическим критериям.
Диагностика сформированности естественнонаучного мышления с помощью разработанных тестов создает возможность не только определить тип естественнонаучного мышления (эмпирический или теоретический), но и стадию их сформированности. В рамках эмпирического типа - это эмпирически-бытовая и эмпирически-научная стадии.
Каждому естественнонаучному закону соответствует серия заданий одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона.
Разработанный тест является групповым. Время для решения всего теста - 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценивается одним баллом.
Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у учащихся, и произвести в этом направлении целенаправленную коррекцию.
Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), показала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагностирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естественнонаучного мышления тестовые задания позволяли дифференцировать разные стадии развития этого вида мышления.
2 Педагогический тест – система заданий специфической формы, позволяющая объективно и функционально, независимо от преподавателя, измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков в той или иной области содержания.
3 Классификация педагогических тестов По уровню контроля: вступительные, текущие, тематические тесты, тесты промежуточной и итоговой аттестации. По содержанию: гомогенные и гетерогенные. По методологии интерпретации результатов: нормативно-ориентированные и критериально-ориентированные. По форме предъявления: бланковые, компьютерные ординарные и компьютерные адаптивные.
4 Гомогенный тест – основывается на содержа- нии какой-либо одной дисциплины. Гетерогенный тест – основывается на содержании нескольких дисциплин, Полидисциплинарный тест - набор гомогенных тестов (субтестов) по отдельным дисциплинам. Междисциплинарный тест - каждое задание теста должно включает элементы содержания нескольких дисциплин. Выполнение таких заданий требует применения некоторых обобщенных, интегративных знаний и умений. Наиболее пригоден для итоговой аттестации степени соответствия уровня подготовленности студентов к профессиональной деятельности требованиям ГОС, но очень реализация сложна.
5 Нормативно-ориентированный педагогический тест – позволяет сравнивать учебные достижения (уровни профессиональных знаний и умений) отдельных испытуемых друг с другом. Эти тесты используются для того, чтобы получить надежно и нормально распределенные баллы для сравнения тестируемых. Критериально-ориентированный педагогичес- кий тест – система заданий, позволяющая измерить уровень индивидуальных учебных достижений относительно полного объема знаний, навыков и умений, которые должны быть усвоены обучаемыми по конкретной дисциплине.
6 Этапы разработки критериально-ориентированного теста 1. На основании ГОСа по соответствующей дисциплине определяется область содержания теста и цели тестирования. План (спецификация) теста для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с ГОСом по специальности. 2. Для каждого пункта спецификации разрабатывается несколько тестовых заданий. 3. Методическая комиссия кафедры (эксперты) оценивает соответствие заданий области содержания и целям тестирования. Проводится внутреннее пробное тестирование преподавателями кафедры. Осуществляется предварительная корректировка теста. Определяется время тестирования студентов Тст = Тпр * 2.
7 4. По замечаниям экспертов задания корректируются и проводится пробное тестирование в аудитории. Нельзя сообщать студентам, что это пилотное тестирование – можно получить некачественные результаты. 5. На основании анализа статистических параметров по каждому заданию и тесту в целом производится повторная корректировка теста – убираются неудачные задания, если необходимо составляются новые. 6. Выбор стандартов оценивания экспертными и эмпирическими методами. Оценка надежности теста. Оценка содержательной и критериальной валидности. 7. Составление окончательного варианта теста и его параллельных форм. Тиражирование самого теста и связанных с ним материалов.
8 Первоначально нужно ответить на вопрос – для измерения чего предназначен тест, т.е. каковы область содержания и цель тестирования. При разработке плана делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе. В спецификации фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Также в спецификации желательно указать вес каждого задания, рекомендуемый автором, рекомендуемое время выполнения теста, охват требований стандартов, рекомендуемая стратегия расположения заданий в тесте.
9 Кто будет тестироваться, т.е. какая выборка студентов будет участвовать в тестировании? Кто реально заинтересован в получении результатов тестирования и какую информацию нужно предоставить пользователям? Критерий оценивания может быть установлен 50% для оценки текущей успеваемости по непрофилирующим дисциплинам и 85% для аттестационных тестов по специальным дисциплинам. Надежность теста оценивается степенью постоянства принятия решения «зачет-незачет» при двукратном тестировании. Для этого заполняется таблица сопряжения результатов «2х2» и вычисляется фи-коэффициент корреляции и каппа-коэффициент согласованности результатов тестирования.
10 Принципы отбора содержания тестовых заданий для тестов 1. Принцип конгруэнтности – соответствие содержания педагогического теста содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания. 2. Принцип значимости – отражает необходимость включения в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. 3. Принцип научной достоверности – все спорные точки зрения, допусти- мые в научном споре, следует исключить из тестовых заданий. 4. Принцип соответствия содержания теста уровню современного состояния научного знания – необходимо постоянно совершенствовать тест, добавляя в банк новые тестовые задания. 5. Принцип системности, комплексности и сбалансированности содержания теста – подбор заданий, комплексно отображающих основные темы учебной дисциплины. 6. Принцип возрастающей трудности тестовых заданий – каждый учебный элемент имеет некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний. 7. Принцип взаимосвязи содержания и форы – не всякое содержание задания можно выразить в тестовой форме. Также содержание теста должно отвечать логическим и семантическим требованиям и нормам.
11 Задания с выбором ответа (в закрытой форме) Тестовые задания Задания с повторяющим ся выбором элементов множества Задания с неповторяющ имся выбором элементов множества Задания с повторяющим ся выбором элементов множества Задания на установление соответствия открытой формы Задания на установление соответствия с вариантами ответов Задания на установление соответствия Задания на установле- ние правиль- ной последоват ельности в открытой форме Задания на установле- ние правильной последовате льности в закрытой форме (с готовыми вариантами последовате льности) Задания на установление правильной последовательности Задания с 3-мя и более вариантами ответа Задания на сравнение величин Задания с выбором нескольких правильны х ответов Задания на логический выбор из трех утверждений Задания с привязкой к одному информацио нному блоку Задания с подчеркиван ием частей предложе- ния Задания с пропусками частей предложе- ния Задания на причинно- следствен- ные отношения Задания на «квазипроф ессиональ- ную» ситуацию Задания с 2-мя ответами Задания на выбор местополож ения курсора мыши на экране монитора Задания открытой формы Задания с коротким ответом Задания с развернуты м ответом
12 Требования к заданиям с выбором ответа В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов; Задание имеет предельно простую синтаксическую конструкцию; В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы; Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других; Из текста должны быть исключены все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки; Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова; Основная часть задания должна быть освобождена от всякого иррелевантного для данной проблемы материала; Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий;
13 Требования к заданиям с выбором ответа В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа; Из числа неправильных исключаются ответы, вытекающие один из другого; Из числа тестовых исключаются задания, содержащие оценочные суждения или мнения ученика по какому-либо вопросу; Все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа; Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов; Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста; Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах; Все ответы должны быть параллельны по конструкции грамматически согласованными с основной частью задания теста.
14 Информационные технологии 1. Сервер – это: программа; тест; команда; компьютер. 2. Вирусы типа "Троянский конь" характеризуются отсутствием маскировки да; нет. Экономическая теория 3. Труд, капитал, земля, предпринимательская способность - базовая классификация экономических ресурсов. Можно ли к экономическим ресурсам отнести деньги? можно, если они используются для покупки инвестиционных ресурсов; можно, если ими оплачиваются услуги труда; все ответы – правильные; все ответы – неправильные; можно, если деньги помещены в банк и приносят процент. Экономическая теория 4. Специфика предпринимательского таланта как экономического ресурса в отличие от труда состоит в том, что предприниматель способен организовать производство и выпуск товаров и услуг, путем соединения всех необходимых факторов производства; предприниматель принимает основные решения по управлению производством и ведению бизнеса; предприниматель никогда не рискует своими денежными средствами; все ответы верны; верны ответы 1) и 2).
15 В задании Б неудачно сформулированы варианты ответа на вопрос – правильный ответ должен быть «замаскирован» среди неправильных. В задании Б правильный ответ легко отличить по его длине. Маркетинг А. Кривая спроса иллюстрирует следующее положение: Если товара сегодня произвели меньше, чем вчера, то его меньшее количество может быть продано только по более низкой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более высокой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более низкой цене; Если товара сегодня произвели столько же, сколько вчера, на него можно плавно поднимать цену. Б. Ваши ответные действия на снижение цены конкурентом на определенный продукт: Тоже снижу цену; Немедленно осуществлю комплекс мероприятий, включающий корректировку ценовой политики и учитывающий возможности предприятия и реальные условия; Уйду с данного рынка; Прекращу выпуск данной продукции.
16 Неудачно сформулированы варианты ответа на поставленный вопрос. Ответы должны быть продолжением фразы, содержащейся в вопросе. Маркетинг Для партнерства не характерно, то что … партнеры не принимают единоличных решений; каждый партнер несет неограниченную ответственность по долгам фирмы; возможность привлечения дополнительного капитала путем продажи акций; партнеры несут личную ответственность за дела фирмы; невозможность привлечения дополнительного капитала путем продажи акций. В матрице БКТ (Бостонской Консалтинговой Группы) категория товаров – дойные коровы определяются как: высокий темп роста продаж; находятся в конце жизненного цикла; приходит больше прибыли, чем требуется для поддержания их доли на рынке; товар, который уже долго остается в товарном портфеле компании.
17 Информационные технологии Как сменить диск на левой панели? Shift+F1 Ctrl+F1 Alt +F2 Alt +F1 Экономическая теория Кривая предложения отражает зависимость между величиной издержек производства и ценой товара; ростом населения и объемом предложения; объемом производства данного товара и его ценой; величиной издержек производства и объемом предложения; объемом производства данного товара и количеством используемых ресурсов В первом примере очевидно, что варианты ответа не равновероятны – 1) два одинаковых сочетания - Alt +F2 и Alt +F1, 2) F1 встречается 3 раза, следовательно правильный ответ - Alt +F1. Возможность угадывания должна быть сведена к минимуму. Исключение составляют расчетные математические или физические задачи, в которых без расчета необходимо «увидеть» ответ. Соблюдено правило относительно местоположения альтернативных ответов Присутствует сочетание в дистракторах правильных и неправильных элементов. Этот прием позволяет повысить привлекательность дистракторов Экономическая теория Сахар дополняет кофе, но заменяет фруктозу. Удорожание сахара может привести при прочих равных условиях к … сокращению спроса на кофе и фруктозу понижение цен на кофе и фруктозу. некоторому понижению спроса на кофе и повышению спроса на фруктозу повышению цен на кофе и повышению спроса на фруктозу нет правильного ответа
Процедура их разработки предусматривает установление норм выполнения через предварительное тестирование репрезентативной выборки лиц, для которых эти тесты предназначены. При этом выделяют диапазон тестовых баллов, характерный для низкого, среднего и высокого уровней развития психического свойства или функции. Затем результаты исследуемого сравнивают с данными, полученными при тестировании выборки. Задача, ориентированные на статистическую норму, подбирают так, чтобы результаты их выполнения выборке приближались к кривой нормального распределения Гаусса (рис. 1.2):
Рис. 1.2. Кривая нормального распределения статистических данных
Описание распределения результатов можно осуществить с помощью следующих двух показателей: среднее арифметическое (X):
Нормальным считают такое распределение результатов, при котором в пределах одного стандартного отклонения находится
68% испытуемых (то есть 34% меньше среднего, 34% больше среднего). Тогда в пределах двух стандартных отклонений останется 94,45% испытуемых, а в пределах трех стандартных отклонений - почти все (99,73%). Это необходимо для классификации исследуемых по всей популяции.
Для удобства работы "сырые" баллы превращают в стандартные единицы. Сохраняя относительные позиции испытуемых, меняют среднее арифметическое и стандартное отклонение путем добавления некоторой константы к каждой отдельной величины. В психологии распространено использование нескольких таких шкал стандартных норм: "Шкала Т-величин" имеет среднее арифметическое 50 и стандартное отклонение 10, "Шкала коэффициента" интеллекта имеет среднее, равное 100, со стандартным отклонением 15.
Для интерпретации этих показателей берут за основу то, что все результаты, которые не выходят за пределы (х ± о), находятся в пределах нормы. Лица, которые по тест интеллекта получили значение IQ меньше 85, находятся ниже нормы, а те, чьи результаты более 115 - выше нормы. Результаты от 115 до 130 интерпретируются как "несколько выше нормы", а от 130 до 145 - "значительно выше нормы". Согласно классифицируются и результаты, которые находятся ниже нормы.
Критериально-ориентированные тесты (корт)
Они не предусматривают сопоставление данных исследуемых итогам предварительного тестирования выборки. Точкой отсчета выбирают не нормальное распределение, а установленный объем требований общества к психическому и личностного развития людей. Этот обобщенный феномен выражается в разработанной составителями совокупности конкретных критериев. При формулировке каждого такого критерия выделяют две части:
2) сообразно-предметную, подробно описывает определенный фрагмент содержания знания, по материалам которого сложены Тестовые задания. Эта часть конкретизируется при анализе составителями учебных программ, образовательных стандартов, входящих в учебно-методических пособий и указаний.
Первая часть критерия определяет, как надо сделать работу (как), вторая - что нужно сделать с предназначенного для усвоения (материал).
Не каждого отрасль знания можно последовательно формализовать для выражения по совокупности критериев. Корте, как правило, разрабатываются для диагностики сформированности умственных действий, а также для контроля за состоянием знаний, умений и навыков обучаемых. По мнению А. Анастази, в таких случаях их применение позволяет осуществлять интерпретацию учитывая то, "что индивид может делать и что он делает, а не на то, как он выглядит на фоне других". Более распространены тесты, интерпретация выполнение которых ориентирована на статистическую норму.
Тесты различают также по характеру задач, количеством испытуемых, время выполнения.
В психодиагностической практике широко применяют личностные опросники.
Личностные опросники - опросники, направленные на измерение различных особенностей личности.
Прототипом современных личностных опросников считают разработанный Р. Вудвуртсом (1919) "Бланк данных о личности", предназначен для обнаружения на военной службе лиц с невротической симптоматикой.
Задача у них сформулированы как вопрос или утверждение. Испытуемый должен дать письменные или устные ответы, сообщить информацию о себе, выразить отношение к проблеме, сформулировать мысли. Такие опросники предусматривают выполнение исследуемым субъективного самоотчета. От анкет личностные опросники отличают направленность на изучение психологических особенностей; стандартизация процедур применения и интерпретации; опора на определенную научную концепцию, теорию; наличие норм выполнения или соответствующих критериев развития, в отношении которых осуществляется стандартизация индивидуальных результатов; проверка степени валидности и надежности.
Эти признаки, а также творческая постановка вопросов, маскирует диагностическую специфику, тщательное разработки контроля достоверности и искренность ответов («шкалы лжи") позволяют считать их "тестами-опросник", а не методиками самонаблюдения или традиционного опроса. Примерами таких тестов-опросников является "Миннесотский многоаспектный личностный опросник" (ММРИ) (С. Хатуэй, Дж. Мак-Кинли, 1940), который используется до сих пор; "Патохарактерологический диагностический опросник" (ПДО) (А. Личко, 1970) для определения психопатического развития личности и акцентуаций характера; "Методика многофакторного исследования личности Р. Кеттела" (16-РР) и другие.
Эффективное использование различных тестов возможно при условии учета многих факторов при их выборе для исследования, среди которых важнейшими являются: теоретическая концепция, на которой основывается конкретный тест, область применения, весь комплекс сведений, обусловленных стандартными требованиями к психологическим тестам, данные о валидности и надежности тестов. Важно наличие информации о социальную среду личности, без которой невозможен прогноз, что приводит к разработке инструментов психодиагностики среды.