Практическая тестология

Предисловие (или краткая аннотация) 3
Благодарности 4
Введение: Тесты могут быть полезны и… вредны 16
Глава 1. Определения и классификация 31
1.1. Что такое тест и тестология? 32
Житейское и научное понимание 32
Краткое и полное определение 37
Тест в ряду других методов: наблюдение, эксперимент, опрос, анкета 43
Тест как часть исследования и часть обследования 47
Предмет и объект тестирования 50
Предмет и объект тестологии 53
Тестирование как одна из возможных оценочных процедур 54
Определение понятия «тестовая система» 56
Практическая тестология как организационно-технологическая дисциплина 59
1.2. Основные метрологические понятия тестологии 60
Психометрические тесты и их отличие от квазиизмерительных тестов 60
Ключи, нормы, сырые и стандартные тестовые баллы 64
Психометрические свойства тестов в самом простом изложении 67
Надежность 67
Валидность 69
Репрезентативность 70
Достоверность 70
Краткие определения психометрических параметров теста 71
Прагматическое значение психометрических параметров теста 71
Различение надежности и валидности 74
1.3. Какие бывают тесты (классификация) 78
Образовательные, медицинские, профессиональные и психологические тесты 79
24 основания для классификации тестов и тестовых заданий 83
Являются ли проективные методики тестами? 96
1.4. Место тестов в ряду комплексных систем обследования и оценивания 98
Тесты и экспертные оценки 99
Достоинства и недостатки тестов 103
Тесты и кадровый ассессмент (метод Центра Оценки) 106
1.5. Тестирование и принятие решений 109
Модели принятия решений: житейская логика и одношкальный подход 110
Недостатки аддитивных моделей принятия решений 112
Формула взвешенного рейтинга 114
Подсчет рейтинг-процента с помощью лимитов по критериям 116
Формула близости к идеальному профилю и «логический коридор» 119
Планирование этапов тестирования «от целей» 122
Глава 2. Конструкция и конструирование измерительных тестов 126
2.1. Компоненты теста и порядок их создания 127
Примеры ключей к психологическим и образовательным тестам 128
Порядок разработки компонентов теста 131
НОРТ: статистические тестовые нормы 134
КОРТ: критериальные тестовые нормы 136
«Прозрачность» квалификационного теста как один из целевых критериев 140
2.2. Этапы конструирования и проведения практического теста 143
Этап 1. Постановка и уточнение задачи в организационном контексте 143
Этап 2. Методическое решение: статистическая модель теста 146
Этап 3. Спецификация, или структурная модель теста 149
Этап 4. Выбор организационно-технического решения 154
Этап 5. Авторский цикл подготовки банка тестовых заданий 155
Этап 6. Экспертный цикл подготовки банка заданий и вариантов 156
Этап 7. Первичная апробация теста 164
Этап 8. Оргтехническая подготовка тестовой сессии 165
Этап 9. Пилотное тестирование 169
Этап 10. Массовое обследование 171
Этап 11. Шкалирование, баллирование и анализ достоверности результатов 175
Этап 12. Ревизия теста на основе углубленной статистической обработки 177
Специфика этапов для коммерческих тестов 178
2.3. Тест как объект интеллектуальной собственности и «секрет производства» 183
2.4. Процедура тестирования как сценарий и алгоритм 188
Предписывающая информационная технология 189
Экспертная система 192
2.5. Языковая и компьютерная адаптация теста 193
Компьютеризация бланкового теста 194
Чем локализация отличается от адаптации? 196
Модификация и разработка аналога 198
Охраноспособность отдельных компонентов теста 200
2.6. Профессиональные стандарты и сертификация тестов 202
2.7. Стандарты в области аттестационных экзаменационных технологий. 206
Глава 3. Разработка тестовых заданий и образцы заданий 209
3.1. Оперативное конструирование КБТЗ (банка заданий) 210
Формирование авторского коллектива 211
Инструкция (памятка) для авторов тестовых заданий 213
Цель и задачи создания теста 215
Условия работы авторов 215
Нормативно-инструктивная база для создания тестовых заданий 216
Техническое оформление заданий в электронной форме 217
Четыре основных правила (для «памятки авторам») 219
Контроль трудности заданий на авторском этапе 222
3.2. Когда нужны задания различных форматов? 223
Задания с выбором единичного ответа 224
Задания с множественными правильными ответами 226
Задания на ранжирование и соответствие 230
Задания с кратким свободным ответом 234
Задания с развернутым ответом и свободным структурированным ответом 235
Задания с рисуночным ответом 238
Кластер вопросов на понимание одного текста 241
Контекстная вставка 242
3.3. Логико-семантическая типология тестовых заданий 243
Простейшее деление на 3 категории 245
Более полное деление на 15 категорий вопросов: 245
Фактологические и персонологические 246
Терминологические и концептуальные 246
Логико-теоретические 247
Методические, конструктивные, процедурные 250
На понимание текста 251
Задания типа «кейс» (случай из жизни) 252
3.4. Рефлексивные игры и психологика испытуемых 253
Социальная желательность ответов 256
3.5. Особые технические проблемы при разработке заданий 257
Частотно-классификационные таблицы тестовых заданий 257
Двух- и трехсимвольная нотация тестовых заданий 258
Тематические кластеры заданий в кейс-тестах 259
Несовместимые и фасетные задания 260
3.6. Коррекция заданий на основе статистики 263
Осторожно: завышенные коэффициенты дискриминативности 268
Глава 4. Математическая тестология 271
4.1. Элементарный матминимум практического тестолога 271
Подсчет баллов с поправкой на случайное угадывание 272
Процентильные шкалы и процентильные нормы 275
Гаусcовская модель и стандартные шкалы 281
Форсированная нормализация и конверсионные таблицы 285
Ошибка измерения и надежность теста 288
Числовой пример расчета надежности по формуле Рюлона 292
Корреляционные методы измерения надежности и валидности теста 295
Четырехклеточная корреляция 302
4.2. Элементы современной психометрики (IRT) 309
Шкала логитов и метафора взвешивания 309
Модель Раша и однопараметрические алгоритмы IRT 314
Характеристические кривые тестовых заданий (ICC) 316
Двухпараметрические алгоритмы IRT 320
4.3. Рекомендации по измерению психометрических свойств теста 322
Измерение надежности 322
Измерение внешней валидности 324
Измерение репрезентативности – перепроверка тестовых норм 327
Измерение устойчивости распределения оценок 330
Измерение достоверности 331
Диссертабельность психометрических исследований 337
4.4. IRT-модели за пределами тестов на знания и способности 338
Модифицированная модель Раша для ресурсных кейс-тестов 339
IRT-модель для диагностики стилистических черт и установок 344
4.5. Важные прикладные формулы 352
Оптимальная трудность тестовых заданий в тестах с выбором ответа 352
Подсчет баллов с учетом трудности тестовых заданий 353
Глава 5. Организационно-технологическое обеспечение тестовых систем 362
5.1. Системный подход к внедрению тестов в организации 362
Различение понятий обучающей и тестовой системы 363
Признаки автоматизированной системы тестирования (TMS) 367
Организационно-управленческая модель тестовой системы 367
Электронный документооборот при создании TMS (АСТ) 369
Электронные онлайн-опросы на этапе подготовки TMS (АСТ) 373
Кадровое обеспечение и организационные роли 374
5.2. Классификация программных средств практической тестологии 376
Инструменты подготовки тестовых заданий (IWS-программы) 376
Конструкторы, или редакторы тестов (TCS-программы) 381
Тест-плейеры для реализации тестового диалога (TDS-программы) 384
Инструменты психометрического анализа результатов (IRT-программы) 390
Инструменты управления тестированием (ТМS-программы) 394
Экспертные системы интерпретации результатов тестирования (EIS) 399
Программы управления ассессментом (AMS) 401
5.3. Особенности компьютерного тестирования в эпоху Интернета 404
Самотестирование в Интернете и проблема достоверности 406
Телетестинг и модель «онлайн-обработка» 410
Веб-портфолио результатов тестирования 411
Распределенные базы тестов и тестовых заданий в Интернете 414
Виртуальные профессиональные сообщества тестологов 417
Проблемы супервизии и аутентификации испытуемого 421
5.4. Модели, алгоритмы и подходы в компьютерном тестировании 422
Случайный выбор из банка заданий 422
Контроль времени на компьютерах 425
Адаптивное тестирование (AT-алгоритмы) 427
Компьютерные тесты контекстной вставки 435
Имитационно-игровое моделирование и его ограничения 438
Новые возможности для контроля достоверности 440
5.5. Компьютерная интеграция тестовых и экспертных оценочных процедур 442
Куб данных и место результатов тестирования 442
Альтернативные и сквозные подмножества факторов и критериев 445
Мгновенное тиражирование сложных оценочных проектов 448
Оперативное управление формулами расчета рейтинга 449
5.6. Революционный переход к онлайн-тестированию 450
Глава 6. Валидность, рентабельность и достоверность психометрических тестов 452
6.1. Проблема валидизации и виды валидности 454
Экспертная валидизация по содержанию тестовых заданий 454
Эмпирическая валидность различных тестов по внешнему критерию 456
Прогностическая валидизация 460
Конструктная валидность 463
Конвергентная и дискриминантная валидность 465
Экспертная валидизация с помощью оценивания испытуемых 469
Дискриминантная валидность тестовых баллов и экспертных оценок 470
6.2. Валидность и эффективность профессиональной деятельности 472
Различные KPI – откуда их брать и как сводить в единый показатель 473
Дефекты субъективного оценивания на производстве и псевдо-KPI 475
«360 градусов» как попытка объективизации субъективных оценок 477
6.3. Упрощенная формула точности бинарного прогноза 479
6.4. Рентабельность теста. 489
Простые формулы для расчета экономического эффекта тестирования 489
Расчет рентабельности слабовалидного, но дешевого инструмента отбора 491
Расчет рентабельности высоковалидного, но дорогого инструмента отбора 493
Как считать эффективность через производительность труда 494
6.5. Экологическая валидность и типы диагностических ситуаций 499
Различение ситуации клиента и ситуации экспертизы 501
Мотивационные искажения, стратегии фальсификации, их признаки 502
Эффект самоорганизующейся выборки (добровольцев) 504
6.6. Мотивационные искажения в тест-опросниках 505
Что могут и что не могут шкалы лжи в личностных тест-опросниках? 505
Ипсативные тест-опросники и их недостатки 508
Четырехполюсная модель личностной черты 510
6.7. Технологии обеспечения достоверности 513
Технический местный контроль достоверности 514
Жесткие временные лимиты и стресс дефицита времени 516
Утечка, списывание, подсказка, подставные испытуемые, подтасовка 517
Существует ли рациональная этика честного тестирования? 520
Глава 7. Внедрение тестов в систему вузовских экзаменов 522
7.1. Тесты и традиционные оценочные процедуры 524
Устные экзамены глазами тестолога 524
Являются ли письменные экзамены тестами? 527
Опросы студентов и абитуриентов 531
7.2. Текущий контроль с помощью оперативных онлайн-тестов 532
Система накопленных баллов 532
Управление доступом к тестам, имеющим очковый вес в СНБ 535
Трудности применения СНБ в условиях конкуренции между спецкурсами 536
Адаптивное тестирование в тестах допуска «зачет-незачет» 537
Баллы самоконтроля или все-таки «данные для экзаменаторов»? 541
7.3. Организация компьютерного тестирования на экзаменах 542
Расписание и самозапись на сеансы тестирования 542
Демоверсия, консультация, предварительная регистрация 545
Должен ли экзаменуемый что-то подписывать? 546
Соответствие между баллами и оценками 547
Обратная связь после экзамена 548
Апелляции по процедуре и содержанию экзамена 549
А что, если «нет Интернета»? 550
Как договариваться о вкладе тестовых оценок в итоговую оценку? 551
Суммировать оценки или баллы? 553
7.4. Опыт валидизации тестовых и традиционных испытаний 554
7.5. Организационное обеспечение тестовых экзаменов 563
Организация работы авторов и экспертов 563
Сезонная организация работ по обновлению тестов 567
Организация работы технического персонала 568
7.6. Образцы нормативных документов 569
Соглашение с автором-экспертом 569
Положение о конкурсе авторов тестовых заданий 571
Памятка участнику компьютеризированного тестирования 573
О порядке учета результатов тестового испытания 576
О порядке выставления оценок на основе схемы СНБ (новый проект) 578
Образец ВЕДОМОСТИ с результатами тестирования 580
7.7. Критический анализ системы ЕГЭ в России 580
Глава 8. Социально-психологические проблемы внедрения тестовых систем 584
8.1. «Тест как оружие» – эвристическая метафора 584
Обсуждение тестов в СМИ 585
В чем сходство теста и оружия? 587
Тесты и экспертные оценки в логике принятия кадровых решений 594
8.2. «Песнь о Вещем Олеге», или корни отвержения тестов 599
Контекст, методика и результаты исследования установок студентов 599
Форма и способ представления тестовой информации 613
8.3. Личностная тревожность, экзаменационная тревожность и тестирование 613
8.4. Компьютерная тревожность и тестирование 625
8.5. Субъективная готовность испытуемых к оценочным процедурам 629
8.6. Тестирование и тестовые шкалы как инструмент конкуренции 640
8.7. Природа, причины и факторы сопротивления тестам 643
8.8. Когда тесты в самом деле вредны 649
8.9. Профессионально-этические принципы тестолога 652
Примеры путаницы и «этические конфликты» 655
Принципы и требования в ситуации обследования клиента 656
Принципы и требования в ситуации профессионального тестирования 658
Образец документа «информированное согласие» 660
ЗАКЛЮЧЕНИЕ: «Тест как лекарство» 661
БИБЛИОГРАФИЯ И ВЕБЛИОГРАФИЯ 665
ПРИЛОЖЕНИЯ 676
1. Словарь-глоссарий сокращений и основных терминов 676
2. Контрольные вопросы 684
Вопросы к главе 1 «Определение и классификация» 685
Вопросы к главе 2 «Конструкция и конструирование» 686
Вопросы к главе 3 «Разработка тестовых заданий» 687
Вопросы к главе 4 «Математическая тестология» 689
Вопросы к главе 5 «Организационно-технологическое обеспечение» 690
Вопросы к главе 6 «Валидность, рентабельность и достоверность» 691
Вопросы к главе 7 «Внедрение тестов в вузы» 692
Вопросы к главе 8 «Социально-психологические проблемы» 694
3. Временный стандарт требований к психодиагностическим методикам 695
4. Предметно-именной указатель 702

ISBN: 9785911468927

Год издания: 2013

Язык: Русский

Официальный сайт книги http://testology-book.ru/

Теги:  Книжная полка психолога психодиагностика тесты псиВсе теги