что такое дистрактор в тесте

Дистракторы

Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению.

В качестве примера Д. можно привести задания следующего типа:

— Телевизор так относится к микроскопу, как телефон к…

В этом задании необходимо выбрать правильный вариант окончания суждения из следующих: а) усилителю; б) микропроцессору; в) осциллографу; г) микрофону; д) громкоговорителю. Для правильного решения испытуемый должен понять, что содержанием аналогии является применение устройства для усиления сигнала. Следовательно, правильным решением будет «а». Как видно, Д. подобраны с подвохом, все они связаны с техническим оборудованием, и испытуемый, обнаруживший неверную связь, выберет, вероятно, микрофон. Если в приведенном задании использовалось бы другое «меню» ответов (например, а) усилителю, б) отвертке, в) паяльнику, г) микросхеме, д) диоду), то такие ответы не являлись бы Д. в строгом понимании, т. к. они подсказывают испытуемому верное решение.

Подбор адекватных Д. является неотъемлемой частью процедуры разработки надежного и валидного теста, составленного на материале заданий с выбором. Д., как правило, выявляются эмпирически. Так, может быть проведено исследование в специально подобранной выборке испытуемых. При этом используются задания, званные на формулировках будущего га, однако предъявляемые в виде заданий открытого типа. Полученные таким образом варианты неправильных решений могут быть использованы в качестве Д.

После подбора Д. необходимо провести дополнительную проверку адекватности разработанного «меню». При этом обращается внимание на действенность Д. При использовании Д., слишком близких к правильным ответам, надежность и валидность теста может быть существенно снижена. Д. становится практически неотличимым от правильного решения. Например:

Расстояние от Киева до Житомира составляет: а) 140 км, б) 137 км, в) 135 км, г) 830 км, д) 1020 км.

Использование неадекватных Д. искусственно ухудшает результаты тестирования, т. к. испытуемые будут введены в заблуждение. При этом в наибольшей степени пострадает наиболее «сильная» по исследуемым показателям часть испытуемых.

Анализ адекватности Д. должен быть дополнен исследованием дискриминативности заданий теста и трудности заданий теста.

Источник

Запутать нельзя угадать: как нейросети генерируют ложные приманки для тестов

Составлять тесты сложно: кроме правильного ответа надо придумать хотя бы три неправильных. Причем придумать их с умом: чтобы варианты не были слишком очевидно неверными — но и не оказались бы при этом подходящей альтернативой верному варианту. Хорошая новость в том, что скоро эту головоломную работу смогут выполнить за вас нейросети

Вы наверняка сталкивались с тестовыми вопросами. Самый частый формат — четыре варианта ответа, из которых правильный — только один. При этом если неправильные варианты слишком неадекватны, вопрос не имеет смысла — ответ уже лежит на поверхности. В то же время если больше одного варианта может по некоторой логике быть правильным, тест становится несправедливым.

В англоязычной специальной литературе для неправильных вариантов ответа в тестах существует специальное название — дистракторы (distractors, букв. «отвлекатели»). Хороший подбор дистракторов является одной из наиболее важных задач при дизайне тестов.

На Западе, где стандартизированные тесты играют особенно большую роль в вертикальной социальной мобильности, профессия создателя тестовых материалов является одной из самых востребованных и высокооплачиваемых в сфере образования. Неудивительно, что последнее время появляются попытки её автоматизировать. Один из способов сделать это — автоматизировать генерацию дистракторов.

Как ищут ложные варианты-приманки

Один из определяющих факторов в задаче генерации дистракторов —их наличие или отсутствие в обучающей выборке. Проще говоря, есть ли у нас готовые хорошие примеры дистракторов, сделанные людьми. От этого зависит, будем ли мы решать задачу обучения с учителем (supervised learning) или обучения без учителя (unsupervised learning).

В случае обучения с учителем мы будем учиться ранжированию — то есть используемый алгоритм должен присваивать наиболее высокие ранги словам или предложениям, действительно являющимся дистракторами для данного вопроса (помеченным как дистракторы в тестовой выборке).

Получив на вход текст вопроса и текст «кандидата в дистракторы», классификатор должен «решить», насколько хорошо данный ответ может сойти за правильный в контексте данного вопроса, выдав определенную вероятность в виде числа. Подтверждением успешного обучения является получение настоящими дистракторами большего, чем у остальных кандидатов, рейтинга.

Задача порождения дистракторов сводится к а) подбору списка слов-кандидатов и б) обучению ранжированию. Вопросы нужного формата обычно собираются из оцифрованных копий учебников или интернет-ресурсов.

Найти дистракторы без учителя

В случаях, когда готовый пул вопросов нужного формата отсутствует, наступает время применения unsupervised-подхода. Такая ситуация возникает, когда сами вопросы генерируются из определенного корпуса текстов. Разумеется, в таком случае к ним нет готового обучающего набора отвлекающих неправильных ответов.

Пример такого варианта — gap-filling questions, то есть вопросы, получаемые заменой какого-либо слова или словосочетания в корпусном предложении на пропуск. Задача проходящего тест — догадаться, какая единица должна быть на месте пропуска.

Для языкового тестирования вопросы с пропуском на выбор правильного ответа можно получить, используя специальный корпус ошибок — так называют корпуса, содержащие тексты, написанные не-носителями определенного языка, которые содержат области, размеченные как ошибки, а также их исправления.

Как делают варианты с дистракторами на корпусе ошибок

В работе, о которой пойдет речь далее, используется корпус REALEC. Он содержит тексты на английском языке, написанные русскоязычными студентами в качестве письменных заданий-эссе.

В системе LangExBank (см. репозиторий) каждый тестовый вопрос — предложение корпуса REALEC, в котором область ошибки заменена на пропуск. Таким образом, правильный ответ и один неправильный ответ в исходных данных уже есть — это исправление и оригинальная область ошибки. Теперь задача состоит в том, чтобы получить ещё 2-3 неправильных варианта.

В LangExBank реализована генерация дистракторов из вопросов, полученных на основе лексических ошибок и ошибок на употребление предлогов. Для подбора дистракторов используется классификатор в виде рекуррентной нейронной сети. Нейросеть должна заполнить пропуск, но в обучение модели внесена такая принципиальная поправка: если модель предсказывала правильный вариант (т.е. слово-исправление), штраф для неё увеличивался в 2 раза.

Нейросеть, построенная по схеме выше, обучается угадывать слово в оригинальной области ошибки на основе правого и левого контекстов ошибки, а также ее исправления. При этом правый контекст проходит через рекуррентный слой в прямом направлении, а левый — в обратном.

Полученные на выходе рекуррентного слоя векторы «склеиваются» друг с другом и вектором слова в исправлении. В качестве дистракторов используются топ-3 предсказаний модели, не равных слову в области ошибки и слову-исправлению.

Так как в датасете изначально не содержатся дистракторы, качество сгенерированных вариантов можно проверить только вручную. Наиболее адекватный результат показывает модель для предлогов, но все же результаты пока далеки от совершенства — почти в каждый набор попадает как минимум один «слишком неправильный» или «слишком правильный» на наш человеческий взгляд вариант.

Примеры работы нейросети

Но есть и хорошие примеры:

Что дальше?

Используемый в системе LangExBank сейчас подход не идеален, однако позволяет добиться некоторых результатов в нетривиальной задаче. Возможное улучшение — использование для генерации дистракторов не рекуррентного классификатора, а генеративной рекомендательной сети, как в работе (Liang et al. 2017). Однако, здесь возникает другая проблема — варианты, которые смогут «обмануть» дискриминатор, могут оказаться «слишком правильными».

В целом, основной проблемой для генерации дистракторов в сфере языкового тестирования является именно принципиальное отсутствие для каждого контекста единственно возможного варианта заполнения — языки устроены так, что в них почти не существует валентностей, которые могут заполняться одной и только одной единицей.

Несмотря на описанные проблемы, используемый в LangExBank механизм генерации лексических дистракторов должен помочь преподавателем в формировании тестовых материалов — его выдачу сейчас стоит скорее стоит воспринимать как рекомендацию. Поэтому платформа поддерживает редактирование полученных из корпуса тестов. В будущем планируется добавление моделей порождения дистракторов и для других типов ошибок.

Источник

Правила разработки тестового задания и теста

Кроме указанных выше основных свойств тестов имеются правила разработки тестовых заданий и тестов (нарушение некоторых из которых часто наблюдается в тестировании, но, тем не менее, – нежелательно).

Тестовое задание должно быть сформулировано ясно и четко, всегда ориентировано на получение однозначного заключения.

Нужно стараться формулировать задание в виде одного предложения, а оно должно быть легко воспринимаемым каждым испытуемым.

Тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности.

Необходимо использовать простую, грамматически правильную утвердительную форму задания в виде одного предложения из 5–20 слов, без оборотов, используя простые придаточные предложения, без переноса фрагмента тестового задания на новую страницу.

Не использовать в заданиях «нестрогие» слова типа «иногда», «часто», «всегда», «все», «никогда», «большой», «небольшой», «малый», «много», «меньше», «больше» и грамматические обороты типа «Почему не может не…», «Правда ли, что …», «Возможно ли…» и др.

Ответы должны содержать не более 2–3 ключевых слов по условию вопроса.

Желательно строить ответы одинаковой формы, а если возможно, то и длины.

Необходимо исключить возможность выбора ответа интуитивно, догадкой.

Ответы должны быть независимы и одинаково привлекательны для выбора.

В каждом задании закрытой формы количество дистракторов (вариантов ответов) должно быть от 4 до 6, а в заданиях на установление соответствия – примерно в 2 раза больше.

Все дистракторы должны быть подобраны умело.

Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания.

Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия.

Из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию.

Не должен возникнуть вопрос по уточнению условия, дистрактора (или, точнее, подготовленному испытуемому нет необходимости задавать вопрос по условию задания преподавателю, а преподаватель может не отвечать на такие вопросы).

Задание не должно предполагать знаний, выходящих за пределы учебного материала, программы, образовательного стандарта (особняком стоит очень редко используемое олимпиадное тестирование).

Ни один тестируемый не должен получать преимущество перед другим на всем промежутке тестирования.

Спецификация (описание атрибутов теста – предмет, время разработки, автор и др.) к тесту должна содержать всю информацию, необходимую для проведения тестирования.

Нельзя предусматривать в тестовых заданиях необходимость проведения развернутых выкладок.

Тест должен быть разработан преподавателем-методистом. Желательно, чтобы тест составила экспертная группа тестологов-предметников, которая и проводит предварительную оценку теста.

Количество заданий в базе данных тестовых заданий должно быть примерно в 10 раз больше усредненной длины теста (т.е. от 200-300 заданий).

Большинство заданий в тесте – закрытой формы. Закрытая форма более быстро воспринимаема и близка ежедневно решаемой человеком проблеме выбора.

Необходимо избегать ненужного дублирования проверяемых знаний, умений и навыков, а также предусмотреть все необходимые.

При формировании тестов полезно проводить предварительное тестирование с целью определения уровня знаний.

Возможны следующие варианты предъявления тестовых заданий:

Основными критериями отбора содержания теста являются:

Источник

Задания в тестовой форме

3.5. Как разрабатывать тестовые задания?

Согласно приводимым ниже правилам, можно разработать эффективные тестовые задания – неделимые элементы системы тестирования.

Правило 17. Тестовое задание должно быть сформулировано ясно и четко, не должно допускать двусмысленного толкования и должно способствовать формулированию правильного ответа. Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения. Избегайте вводных фраз, малосвязанных с проверяемыми знаниями и умениями.

Правило 19. Принцип подбора тестовых заданий и сами тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности, а не только на отдельных его участках.

Правило 20. Необходимо в обучающих тестах создавать ситуации узнавания текста (материала) и ситуации «напряжения».

Правило 21. Желательно использовать простую, но грамматически правильную утвердительную форму задания в виде одного предложения из 5–15 слов. Минимизируйте обороты, используйте простые придаточные предложения, но не упрощайте вопросы (так можно незаметно «выплеснуть с водой из ванны и ребенка»). Не используйте переносы тестового задания на новую страницу частично, лучше переносить задание целиком.

Правило 23. Ответы должны содержать не более 2–3 ключевых слов по условию вопроса.

Правило 24. Желательно строить ответы одинаковой формы и длины.

Правило 26. Необходимо исключить возможность выбора правильного (или неправильного) ответа интуитивно и ассоциативно, догадкой, вербально.

Правило 27. Ответы должны быть независимы, одинаково привлекательны для выбора.

Правило 28. Если тестовое задание специально рассчитано на понимание аббревиатур и сокращений, то в условии и дистракторах (правдоподобных вариантах ответа) тестового задания в закрытой форме они могут быть корректно использованы.

Правило 29. В каждом задании закрытой формы количество дистракторов должно быть от 4 до 6, а в заданиях на установление соответствия – примерно в 2 раза больше.

Правило 30. Условие задания не должно принимать неопределенное значение при подстановке любого варианта ответа.

Правило 31. Все дистракторы должны быть подобраны грамотно, умело, без подвохов, но не произвольно, а в соответствии с типовыми ошибками.

Правило 32. Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания. Аналогично, правильный ответ никогда не может стать неправильным.

Правило 33. Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия.

Правило 34. Из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию.

Правило 35. Задание должно быть детерминированным, оно не должно требовать уточнений.

Правило 36. Ни при каких условиях задание не должно предполагать знаний, выходящих за пределы учебного материала, программы, образовательного стандарта.

Правило 37. Ни при каких условиях, ни один тестируемый не должен получать преимущество ( по времени, условиям тестирования, заданиям) перед другим.

Правило 38. Количество тестовых заданий в тесте (эта величина называется длиной теста) должно составить 30–50 для естественнонаучных дисциплин и 60–100 – для гуманитарных.

Правило 39. Нельзя составлять задания и тесты наспех, во время усталости, «под плохое настроение».

Правило 40. Необходимо в тесте минимизировать однотипные задания и исключать фасетные задания (получаемые из других простой заменой параметров).

Правило 41. Тест и тестовое задание должны иметь спецификацию, например, вида банка КИМ ЕГЭ ( по такой форме оформляются тестовые задания, принимаемые в банк ЕГЭ)

Результаты тестирования оформляются также в соответствии со спецификациями, например,

Правило 42. Следует избегать тестовых заданий, которые требуют от испытуемых развернутых выкладок или развернутого ответа.

Правило 43. Если возможно построение качественного тестового задания закрытой формы (структуры), то желательно использование этой формы, как наиболее простой, понятной, быстро актуализируемой, адекватной общеметодологической проблеме выбора.

Источник

О дистракторах к тестовым заданиям

Валентин Идиатулин

ФГОУ ВПО Ижевская ГСХА

e-mail: root @ isa.nivad.ru

Опубликовано в ж. «Педагогические Измерения» №2 2006ю С.64-84.

Рассмотрены когнитивные основания формы тестовых заданий с выбором правильного ответа. Показано, что эта форма наиболее отвечает пропозициональной репрезентации знаний, что способствует измеримости их латентной структуры. Обсуждаются способы составления дистракторов к тестовым заданиям, дидактические аспекты частот и причин выбора дистракторов. Подробно рассмотрены вопросы измерения обученности при довузовской подготовке, когда входной, текущий и итоговый контроль проводятся на базе одного пакета тестовых заданий.

Ключевые слова: тестовое задание, дистрактор, измерение уровня обученности.

Целью настоящей работы является обсуждение принципов составления тестовых заданий с выбором одного правильного ответа, обоснование их преимуществ и применимости для измерения структуры обученности. Обсуждаемая проблема связана с противоречием между потребностью в объективной информации об учебных достижениях, которая вызвала рост масштабов использования тестов, и их неправомерным, а нередко, и неудачным распространением на случаи, когда их применение ни методологически, ни содержательно, ни методически несостоятельно. Задачей работы ставится демонстрация на конкретных примерах причин такой несостоятельности.

Посредством тестовой формы педагогического контроля можно проверить усвоение не только фрагментов знаний, которые входят в содержание экзаменационного билета, но и, в определенной мере, весь подлежащий проверке учебный материал. Как элемент педагогической практики тест еще не завершил стадию полного признания педагогической общественностью. Большая часть критики тестирования относится к возможности угадывания ответа и рассматривается обычно в двух аспектах: случайный выбор из нескольких предложенных вариантов и выделение наиболее правильного из них без выполнения задания. Первое легко определяется из вида структуры обученности или статистических рядов тестовых баллов, как описано автором[1] и обсуждается ниже; второе требует содержательного анализа – примером могут служить результаты, полученные И.Ф. Шарыгиным на материале заданий в тестовой и в нетестовой форме ЕГЭ по математике[2]. Конечно же, нет необходимости решать математическое уравнение, если можно подставить готовое решение из предлагаемого перечня, но и другие формы заданий оказались далеко не безупречными; почти во всех из них было можно найти ответ, не приступая к решению задачи. От такого рода заданий страдают как научная, так и общая культура обучаемых. Сходная ситуация была продемонстрирована автором настоящей работы на примере опубликованных вариантов тестовых заданий по физике[3]. Как ниже показано, аналитические выражения дистракторов позволяют легко исключать их после рассмотрения предельных значений или размерностей входящих в них величин. Возможность находить верные ответы без выполнения заданий заметно искажает исходную дидактическую задачу, превращает ее в менее контролируемую, далекую от целей педагогического измерения и иначе оцениваемую. Неприятие вызывает распространение тестовых форм на области недоступные им, либо их неудачное составление и применение.

Когнитивные основания формы тестовых заданий

В предисловии к книге Р. Солсо[4] В.П. Зинченко пишет, что одним из достижений когнитивной психологии стало установление того факта, что объем хранения в памяти в 3-4 раза превышает объем воспроизведения, по которому обычно судят о восприятии и усвоении. В.П. Беспалько[5] также различал узнавание с подсказкой и воспроизведение без опоры на нее. Для измерения усвоенного объема фактуальных знаний подсказка бывает часто необходима.

Знания как совокупность усвоенных элементов опыта человека и общества, проверенные общественной практикой, воспроизводятся обучаемым в речи и деятельности. Наименьшая значимая единица знания, выделяемая в отдельное утверждение, элемент семантической памяти, связывающий идеи и понятия, в когнитивной психологии названа пропозицией5. Современная психолингвистика[6] подтверждает пропозициональный характер хранимых в памяти сведений, близость к ним по структуре фраз и предложений облегчает оперирование последними. Любая осмысленная информация, в конце концов, перекодируется в вербальную форму, которая является основной в обучении. Понимание также основано на пропозициях, упорядоченных в когнитивных структурах – понятно уже выраженное знакомым образом. По этой причине представляется важным на этапе закрепления переводить учебный материал в системы пропозиций, тематически и логически связанных друг с другом. Пропозициональная репрезентация вербальной части учебного знания должна использоваться в утвердительных выражениях тестовых заданий для обеспечения и облегчения вербализации когнитивных референтов латентного знания. Эту функцию и способны выполнять тестовые задания с выбором правильного ответа, особенностям конструирования и результатам эмпирической проверки которых посвящена настоящая работа.

Учебная дисциплина состоит обычно из разделов, в которых выделены темы, состоящие из конечного числа учебных элементов, которые сохраняют самостоятельный смысл, их дальнейшее членение ведет к утрате включенной в них учебной и научной информации. Смысловые учебные элементы представляются в виде утверждений, отражающих положительное содержание учебной дисциплины. Логическая структура заданий в тестовой форме как раз и использует такое их представление, которое в зависимости от выбора испытуемого превращается в истинное или ложное кодируемое высказывание.

Вопросительная форма задания исключает эту возможность, так как вопросы не могут быть истинными или ложными, а ответы на них, как правило, многовариантны, неопределенны, многословны и, в конечном счете, нетехнологичны[7]. Важную роль играют интонация, логические ударения, расстановку которых в тексте вопроса непросто выразить однозначно.

Для целей измерения в структуре обученности по каждой дисциплине возможно выделение концептуальных знаний, относящихся к данному предмету, которые должны оставаться в памяти любого обучаемого, к ним примыкают базовые знания, которые необходимы для усвоения учебного материала изучаемой дисциплины. Следующая категория включает программные знания, которые нужны для обеспечения готовности к усвоению других дисциплин учебного плана и могут быть дополнены блоком специальных знаний, которые либо рассчитаны на потребности обучаемых, либо отражают требования специальности, вуза, региона.

Достаточно полно измерим фактуальный уровень усвоения, т.е. готовность узнавать, идентифицировать, воспроизводить основные факты, сведения, термины, определения, формулировки, формулы, принципы, законы, положения изучаемой дисциплины, т.е. все то, что можно узнать, усвоить, выучить и потом воспроизвести по памяти или выделить среди подобного.

Форма задания с выбором одного правильного ответа на этом уровне наиболее уместна, т.к. оценка правильности выбора может быть сделана вполне однозначно, а открытый ответ бывает многовариантен. Воспроизведение и узнавание, как мнемонические процессы, согласно К. Ингенкампу, не имеют существенных различий, и нет особых оснований полагать, что задания с выбором ответа измеряют нечто иное, чем задания со свободным ответом[8].

Операционно-алгоритмический уровень усвоения изученного материала измерим столь же полно. Он предполагает выполнение действий и операций по освоенному образцу, правилу, рецепту, алгоритму, т.е. умение делать все то, чему можно научиться. Подразумевается, что действия и операции настолько однозначно выполнимы, что для оценки их правильности достаточно сравнения полученного результата с эталоном верного ответа, при этом исключаются операции, которые не являются результатом обучения по данной дисциплине. На этом уровне одинаково применимы задания как открытой, так и закрытой формы, однако последняя уместней в дидактическом и методологическом отношениях. Первое обеспечивается разработкой дистракторов, мотивированных типичными ошибками обучаемых, для последующего их анализа и исправления; открытая форма в этом случае не дает никакой новой информации. Методологически существенно то, что закрытая форма имеет естественную меру вероятности случайного выбора, с которой возможно сравнение эмпирических частот.

Умение проводить эвристический анализ и строить процедуры операций без известного однозначного алгоритма, но с установленным эталоном правильного решения, также доступно измерению. Эвристический анализ опирается во многом на догадку, развитую интуицию, способность к трансформации усвоенного на еще не изведанные области. Этот уровень включает все то, что нельзя просто выучить, чему нельзя и научиться, не обладая определенными задатками, которые обуславливают развитие способностей, позволяющих успешно овладевать такой деятельностью. От творческого уровня он отличается, пожалуй, лишь тем, что результат деятельности только субъективно неизвестен, хотя для обучаемого он является открытием пусть и небольшого масштаба. Закрытая форма заданий эвристического уровня четко выделяет эталон правильного ответа, но налагает особые требования на искусство составления дистракторов. Они должны включать не неправильные ответы, а, например, ответы, которые соответствуют другим условиям, что и потребует их эвристического анализа.

Способы составления дистракторов

При составлении дистракторов можно использовать принципы композиции заданий в тестовой форме, которые предложены в книге В.С. Аванесова[9], с теми ограничениями, которые накладывают содержание и предметная область тестовых заданий2. Например, в заданиях по физике сравнительно редко употребим принцип формального противоречия, который широко применяется в заданиях с двумя ответами, т.е. с одним дистрактором, отрицающим истинное утверждение. Значительно чаще может быть использован принцип противоречия диалектического, в соответствии с которым дистрактор не только формально отрицает утверждение, но дает конструктивное высказывание другого утверждения или его отрицание. Для утверждения, что объект обладает данным свойством, могут быть составлены дистракторы, согласно которым он может обладать рядом других свойств, отличных от данного. Это расширяет число дистракторов, имеющих отношение к утверждаемому явлению и способствует более полному его пониманию. Так утверждение «Свет обладает волновыми свойствами» и его отрицание «Свет не обладает волновыми свойствами» могут быть дополнены утверждениями «Свет обладает корпускулярными свойствами», «Свет обладает или волновыми или корпускулярными свойствами» и «Свет обладает и корпускулярными и волновыми свойствами», а также их отрицаниями.

При кумуляции дистракторов, когда их содержание вбирает в себя все или часть предыдущих, отвергается их независимость друг от друга, а кроме того менее полные ответы тоже бывают верными. Так в задании

1. ПРОДОЛЬНЫЕ ВОЛНЫ МОГУТ РАСПРОСТРАНЯТЬСЯ В

4) газах и жидкостях

5) газах и твердых телах

6) жидкостях и твердых телах

7) любых упругих средах

если не добавлять к первым семи слова «только», то они все верны. Если же заменить продольные волны на поперечные, то верным ответом окажется только третий. Если в этом примере удалить первые три дистрактора, то он будет демонстрировать принцип сочетания (по два или по три) дескрипторов, применение которого способствует увеличению их числа.

Для создания параллельных заданий, используются принципы фасетности и обратимости. Например:

2. РАБОТА, СОВЕРШАЕМАЯ ПОДНИМАЮЩИМСЯ (ОПУСКАЮЩИМСЯ) ЭСКАЛАТОРОМ (ЧЕЛОВЕКОМ) НАИБОЛЬШАЯ (НАИМЕНЬШАЯ), ЕСЛИ ЧЕЛОВЕК НА ЭСКАЛАТОРЕ

Обратимость удобна на операционном уровне, когда расчетная формула связывает несколько величин, каждая из которых поочередно может выводиться за пределы основы задания и сопровождаться набором дистракторов, мотивированных типичными ошибками обучаемых.

Степень проявления какого-либо качества или свойства или их изменений дает возможность проверки усвоения зависимостей:

3. ЕСЛИ ГРУППОВАЯ СКОРОСТЬ ВОЛНЫ МЕНЬШЕ ФАЗОВОЙ, ТО С РОСТОМ ДЛИНЫ ВОЛНЫ ФАЗОВАЯ СКОРОСТЬ

4) проходит через минимум

5) проходит через максимум

6) достигает экстремума

Помимо качественного, возможно и количественное градуирование:

4. ЕСЛИ МАССА ГАЗА В ОДНОМ СОСУДЕ ВДВОЕ БОЛЬШЕ, ЧЕМ В ДРУГОМ ТАКОМ ЖЕ ПРИ ОДИНАКОВЫХ ДАВЛЕНИЯХ И ТЕМПЕРАТУРАХ, ТО МОЛЯРНАЯ МАССА ГАЗА В ПЕРВОМ СОСУДЕ

5) вчетверо меньше, чем во втором.

Здесь, кроме того продемонстрирована возможность включения верного ответа и дистракторов в текст основы задания.

Принцип неотрицательности содержания заданий, безусловно, верен в отношении логики определений и, по-видимому, обязателен для открытой формы тестовых заданий. Для заданий с выбором ответа он, в некоторых случаях, дидактически является полезным. Так, например, известно несколько эквивалентных формулировок второго начала термодинамики, но едва ли целесообразно сочинять еще и им неэквивалентные в достаточном для набора дескрипторов количестве. Форма задания2: «Неэквивалентно второму началу термодинамики утверждение, что невозможны процессы …(перечисляются)» даже при наличии двух отрицаний дидактически и когнитивно уместна, во-первых, потому, что второе начало ограничивает протекание некоторых процессов в природе к его исторически сложившиеся формулировки или эквивалентные им как раз и указывают на их невозможность, во-вторых, потому, что эти формулировки не тавтологичны, за каждой стоит свое глубокое содержание, в третьих, все они верны и лишний раз вспомнить их очень полезно для обучаемого. Подогнано по форме неэквивалентное утверждение, но чтобы осознать это, придется проделать заметную умственную работу.

5. НЕВЕРНО УТВЕРЖДЕНИЕ, ЧТО

1) энтропия является функцией состояния термодинамической системы

2) при обратимом адиабатическом процессе изменение энтропии равно нулю

3) изменение энтропии при необратимом процессе всегда меньше, чем при обра­тимом процессе, связывающим те же два термодинамических состояния

4) максимум энтропии достигается в наиболее вероятном состоянии сис­темы

5) изменение энтропии системы при изо­термическом процессе равно отношению переданной теплоты к температуре».

Так или иначе, и здесь отрицательная форма задания не противоречит логической определенности его содержания как способности продуцировать правильный ответ и организовывать умственный процесс по его нахождению.

Большую часть приведенных в учебной книге9 тестовых заданий с выбором ответа из трех вариантов легко можно дополнить, пользуясь теми же принципами композиции, а именно альтернативы (противоположности), однородности, кумуляции, двойной альтернативы, импликации, градуирования и их сочетаний. Так, например, задания с естественнонаучным содержанием можно преобразовать в такие:

6. ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ АСИММЕТРИЧЕН ОТНОСИТЕЛЬНО

7. ЯДРО АТОМА СОСТОИТ ИЗ

8. ПРИ ДВИЖЕНИИ КОНВЕЙЕРА РЕЛЕ СКОРОСТИ

9. ФУНКЦИЯ С ПОЛОЖИТЕЛЬНОЙ ПРОИЗВОДНОЙ В ИНТЕРВАЛЕ

10. НАПРАВЛЕНИЕ СИЛЫ ЛОРЕНЦА ОПРЕДЕЛЯЕТСЯ ПО ПРАВИЛУ

11. УДЕЛЬНАЯ ПРОВОДИМОСТЬ ЭЛЕКТРОЛИТА С УВЕЛИЧЕНИЕМ КОНЦЕНТРАЦИИ

12. ПОЛОВЫЕ КЛЕТКИ ОБРАЗУЮТСЯ В РЕЗУЛЬТАТЕ

Избыток дистракторов на этапе составления тестовых заданий лишь способствует их правильному отбору по результатам эмпирической проверки.

В заданиях с четырьмя ответами четыре варианта редко исчерпывают полную систему возможных альтернатив. Так фасетный пример «Свободно падающее тело в северном (южном) полушарии отклоняется к 1) югу, 2) северу, 3) западу, 4) востоку» может быть дополнен дистракторами типа «К юго-западу» и дистрактором «не отклоняется», хотя его и труднее включить в грамматический строй задания.

Дистракторы к заданиям с выбором одного правильного ответа

Проблема угадывания, которая всегда служила основой критики заданий с выбором ответа, разрешается путем статистического анализа распределений обученности. Из наших результатов[10] следует, что при должной мотивации оно отсутствует у студентов: в области вероятного угадывания (для пяти вариантов ответов она лежит вблизи 20% степени усвоения) эмпирические распределения имеют минимум частоты. Если бы угадывание имело место для всех, то здесь был бы максимум, если бы для некоторой части, то локальный максимум, который при больших размахе и стандартном отклонении распределения мог бы перекрываться последним, – как раз это отмечалось при входном контроле слушателей курсов довузовской подготовки (см. ниже). Без анализа эмпирических распределений обученности нет необходимости априорно вводить коррекцию на угадывание, там, где оно отсутствует. Упорный труд над заданиями, поиск правильного ответа – все это требует напряжения ума, работы мысли и следует отделять их от бездумного гадания. Смешивание этих двух процессов как раз и служит почвой для сторонних критиков, которые не давали себе труда вникать в сущность тестирования как умственной деятельности, происходящей на высоком для тестируемого уровне.

Задания по физике. в отличие от уравнений математики, могут включать этапы их вывода или составления, когда прямая подстановка решений невозможна, однако некоторые особенности дистракторов позволяют легко исключать их часть или же все до единого после внимательного рассмотрения их возможных предельных значений, размерностей и других факторов. Это может быть продемонстрировано на примере заданий из пособия для подготовки к тестированию[11]. Начнем с задания, входящего во все варианты (тексты заданий конспективны, трение, где не оговорено, не учитывается):

13. ИЗ ВЕРХНЕЙ ТОЧКИ ПОЛУСФЕРИЧЕСКОГО УГЛУБЛЕНИЯ В БРУСКЕ МАССОЙ m1 СОСКАЛЬЗЫВАЕТ ШАЙБА МАССОЙ m2, ПОСЛЕ ЧЕГО БРУСОК ДВИЖЕТСЯ ПО ГЛАДКОЙ ПОВЕРХНОСТИ, ПРИ ЭТОМ ЕГО МАКСИМАЛЬНАЯ СКОРОСТЬ РАВНА

Здесь v0=√2gR – скорость шайбы после первого соскальзывания. При равной нулю массе шайбы либо при бесконечной массе бруска его скорость равна нулю, этим исключаются все дистракторы, остается первый ответ, который составители считали правильным. Остается сожалеть, что эта достаточно интересная задача так легко теряет заложенный в нее смысл.

14. ЗА ДВА ПЕРИОДА ПОЛУРАСПАДА РАСПАДАЕТСЯ ЧАСТЬ ЯДЕР

Коль скоро за один период полураспада распадается половина ядер, то за два периода, конечно же, больше – и сразу готов единственный ответ 4) 3/ 4.

15. ЧЕТЫРЕ КУБИКА НА ГЛАДКОЙ ПОВЕРХНОСТИ СОЕДИНЕНЫ НИТЯМИ, К ПЕРВОМУ ПРИЛОЖЕНА СИЛА F. К ТРЕТЬЕМУ (ПОСЛЕДНЕМУ) КУБИКУ ПРИЛОЖЕНА СИЛА

Сколько кубиков тянут, столько четвертей силы и будет в ответах.

16. ГРУЗ ПОДНИМАЕТСЯ ЛЕНТОЧНЫМ ТРАНСПОРТЕРОМ ПОД УГЛОМ Α К ГОРИЗОНТУ ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ Μ С МАКСИМАЛЬНЫМ УСКОРЕНИЕМ

При μ = 0 груз просто скользит вниз, а отрицателен лишь пятый ответ.

17. ГОРИЗОНТАЛЬНЫЙ СОСУД РАЗДЕЛЕН ПОРШНЕМ НА ДВЕ ЧАСТИ, ЗАПОЛНЕННЫЕ РАВНЫМИ МАССАМИ РАЗНЫХ ГАЗОВ, МОЛЯРНЫЕ МАССЫ КОТОРЫХ Μ1 И Μ2. В РАВНОВЕСИИ ПЕРВЫЙ ГАЗ ЗАНИМАЕТ ЧАСТЬ ОБЪЕМА СОСУДА, РАВНУЮ

Пятый ответ очевиден в предельном случае малой молярной массы Μ1, когда число молекул велико и ими заполнен весь объем

18. ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ О ПОЛ μ ЛЕСТНИЦА У ГЛАДКОЙ СТЕНЫ МОЖЕТ СТОЯТЬ ПОД НАИМЕНЬШИМ УГЛОМ К ПОЛУ, РАВНОМ:

19. МОЛЬ ГАЗА СОВЕРШАЕТ ЦИКЛ, СОСТОЯЩИЙ ИЗ ДВУХ ИЗОХОР И ДВУХ ИЗОБАР. НАИМЕНЬШАЯ ТЕМПЕРАТУРА ЦИКЛА Т1, НАИБОЛЬШАЯ Т3, ТЕМПЕРАТУРЫ ДРУГИХ УГЛОВЫХ ТОЧЕК ЦИКЛА ОДИНАКОВЫ, ПРИ ЭТОМ РАБОТА ГАЗА ЗА ЦИКЛ РАВНА

При равных температурах цикл сходится в точку и работа равна нулю – три дистрактора отпадают сразу, а последний явно не дает площадь цикла.

20. НА ГЛАДКОЙ ПОВЕРХНОСТИ ЛЕЖИТ ДОСКА МАССЫ М, НА НЕЙ БРУСОК МАССЫ m, КОЭФФИЦИЕНТ ТРЕНИЯ МЕЖДУ НИМИ μ. БРУСОК СОСКАЛЬЗЫВАЕТ, ЕСЛИ К ДОСКЕ ПРИЛОЖИТЬ СИЛУ, БОЛЬШУЮ, ЧЕМ

Здесь выбор второго ответа нетруден при малых (больших) массах доски, бруска или малом коэффициенте трения между ними.

21. УСКОРЕНИЯ КАЧАЮЩЕГОСЯ НА НИТИ ШАРИКА МАССЫ m В НИЖНЕМ И КРАЙНИХ ПРИ ОТКЛОНЕНИИ НА УГОЛ α ПОЛОЖЕНИЯХ РАВНЫ ПО МОДУЛЮ, А СИЛА НАТЯЖЕНИЯ НИТИ В НИЖНЕМ ПОЛОЖЕНИИ ПРИ ЭТОМ РАВНА

При нулевом отклонении шарика сила натяжения нити равна mg и может лишь возрастать с ростом угла – подходит только четвертый ответ.

22. МАТЕМАТИЧЕСКИЙ МАЯТНИК СОВЕРШАЕТ КОЛЕБАНИЯ С ПЕРИОДОМ Т. ЕСЛИ НА ПУТИ НИТИ УСТАНОВИТЬ ГВОЗДЬ ПОД ТОЧКОЙ ПОДВЕСА НА РАССТОЯНИИ 3/4 ДЛИНЫ НИТИ, ТО ПЕРИОД КОЛЕБАНИЙ БУДЕТ РАВЕН

Ясно, что полпериода маятник движется, как и раньше, поэтому период не намного больше Т/2, но, конечно же, меньше Т; верен четвертый ответ.

Условие повторяет предыдущее задание. ЕСЛИ ЧАСТОТА КОЛЕБАНИЙ БЫЛА РАВНА ν, ТО ПОСЛЕ УСТАНОВКИ ГВОЗДЯ ОКАЖЕТСЯ РАВНОЙ

Ясно, что период немного больше Т/2 (равен 3Т/4), а частота обратна ему.

23. К ГЛАДКОЙ ВЕРТИКАЛЬНОЙ СТЕНЕ НА ТРОСЕ ПОД УГЛОМ Α К НЕЙ ПОДВЕШЕН ШАР МАССЫ М, ПРИ ЭТОМ СИЛА НАТЯЖЕНИЯ ТРОСА РАВНА

Натяжение троса равно Mg при нулевом угле и может только увеличиваться, поэтому выбор третьего ответа сомнений не вызывает.

Условие повторяет предыдущее, при этом СИЛА ДАВЛЕНИЯ ШАРА НА СТЕНУ РАВНА

Лишь пятый ответ верен при нулевом угле, когда эта сила равна нулю.

24. НА ГРАНИЦЕ РАЗДЕЛА ЖИДКОСТЕЙ ПЛАВАЕТ ОДНОРОДНОЕ ТЕЛО, ПЛОТНОСТЬ КОТОРОГО ρ БОЛЬШЕ ПЛОТНОСТИ ρ1 ВЕРХНЕЙ И МЕНЬШЕ ПЛОТНОСТИ ρ2 НИЖНЕЙ ЖИДКОСТИ, ПРИ ЭТОМ В НИЖНЕЙ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА ТЕЛА РАВНАЯ

Здесь только первый ответ определенно равен 1 при одинаковых плотностях тела и нижней жидкости, когда оно заведомо полностью в ней находится.

Условие повторяет предыдущее. ПРИ ЭТОМ В ВЕРХНЕЙ ЖИДКОСТИ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА, РАВНАЯ

Пятый ответ очевиден при одинаковых плотностях тела и верхней жидкости.

25. ШАРИК МАССЫ m ПРИКРЕПЛЕН К ВЕРТИКАЛЬНОЙ ОСИ ПРУЖИНОЙ ЖЕСТКОСТИ К И ДВИЖЕТСЯ ВОКРУГ ОСИ С УГЛОВОЙ СКОРОСТЬЮ ω ПО ОКРУЖНОСТИ РАДИУСА R; ПРИ ЭТОМ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ РАВНА

Выбор первого ответа нетруден при нулевых частотах или массах при понимании того, что длина пружины (и. радиус) может только увеличиваться.

Задание повторяет предыдущее: ЕСЛИ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ ЕСТЬ l0, ТО ЖЕСТКОСТЬ ПРУЖИНЫ РАВНА

Выбор третьего ответа однозначен для очень жесткой пружины, когда ее растяжение отсутствует, т. е. радиус остается равным первоначальной длине.

В ряде заданий, независимо от содержания, достаточно знать, что если модули перпендикулярных векторов 3 и 4, то для результирующего жди 5. Пифагоровых чисел существует гораздо больше: 6, 8, 10; 5, 12, 13; 8, 15, 17; 7, 24, 25; 9, 12, 15; 10, 24, 26; 12, 16, 20; 20, 21, 29; 15, 20, 25; 16, 30, 34 и др.

Рисунки здесь сознательно опущены: они не нужны для нахождения правильного ответа в этих заданиях. Не все задания повышенной сложности (например, самое первое из них содержится в сборнике задач физических олимпиад[12]) таковыми являются. Даже беглый обзор рассмотренных дистракторов показывает, что их аналитические выражения позволяют находить верные ответы без выполнения задания, чем заметно искажают исходную дидактическую задачу. Это превращает ее может быть в не менее интересную, но гораздо менее контролируемую и иначе оцениваемую. Замена аналитических выражений численными ответами, как это сделано в следующих выпусках пособия, не украшает тест в целом, да и не требует, по сути, набора дистракторов, в этих случаях достаточны будут и тесты открытого типа со свободным ответом.

Частоты выбора дистракторов

Самостоятельным направлением эмпирической проверки тестовых заданий является определение частот предпочтения дистракторов. Классическая теория педагогических измерений требует равновероятного отвлечения испытуемых от правильного ответа, что достижимо далеко не всегда, а скорее в тех случаях, когда содержательная основа дистрактора безразлична для испытуемого. В педагогической же практике наиболее удачными являются дистракторы, которые отражают самые распространенные типичные ошибки и заблуждения обучаемых. Их не приходится даже специально придумывать, а самый предпочитаемый дистрактор становится важным дидактическим фактором процесса обучения. Равновероятность же выбора дистракторов больше относится к их случайному выбору.

Процедура эмпирической проверки сводится к построению обычных матриц тестовых результатов с тем отличием, что вместо нуля на пересечении строки и столбца матрицы ставится номер выбранного дистрактора, а правильный ответ при этом отмечается уже не единицей, а другим обусловленным знаком (удобней всего знак «плюс»). Такие матрицы строятся для каждого из параллельных пакетов тестовых заданий по всем темам с одновременной статистической обработкой тестовых баллов.

Когда 90% испытуемых считают правильным утверждение «Во всех инерциальных системах отсчета тело движется с одной и той же скоростью», забывая при этом даже закон сложения скоростей, который сразу его опровергает, то это говорит скорее в пользу такого дистрактора, вскрывающего непонимание учебного материала. Когда 70% испытуемых, вычисляя работу равномерно возрастающей силы, выбирают дистрактор, который основывает расчет на приращении силы вместо ее среднего значения, то этим он предвосхищает такую их типичную ошибку, хотя и довольно неожиданную. Повсеместное использование калькуляторов без оценки результата часто ведет к ошибке в сотни, тысячи и даже миллионы раз; если ее иной раз и не удается предугадать, то все равно неработающий дистрактор здесь как раз предостерегает от нее. Когда в задание входит ускорение свободного падения, то дистракторы 100 и 98, 50 и 49 лишь подсказывают, что его численное значение не стоит здесь округлять до 10. Наконец, неработающий дистрактор может быть включен в перечень противоположных альтернатив, так что его отсутствие просто станет подсказкой для выбора одной из них.

Объяснить выбор дистрактора в заданиях операционного уровня можно, когда они подобраны составителем не произвольно, а являются конечным результатом какой-либо вычислительной процедуры, предугадать которую помогает опыт работы. Только в этом случае численный результат задания однозначно связывается с ошибочным алгоритмом вычислений испытуемого и может быть проанализирован в дальнейшем. Если же дистракторы и ответ задавать в виде аналитических выражений, то причину выбора одного из них установить будет непросто, вероятнее всего, это будет сделано наугад. Наиболее предпочтительно, чтобы за выбором дистрактора стояла некоторая логика, составление таких дистракторов весьма полезно и преподавателю, заставляя его глубже вникать в сущность даже хорошо знакомых положений и пытаться представлять, как они воспринимаются обучаемыми.

И совсем иначе представляется ситуация, когда групповая скорость меньше фазовой при убывании последней с ростом длины волны лишь для 20% обучаемых, а для остальных при ее возрастании, постоянстве или даже достижении минимума; при этом неработающим остался почему-то дистрактор «при достижении максимума», на который логика составителя возлагала самые большие надежды. Скорее всего, более важно предугадать или выявить самую распространенную ошибку обучаемых и отразить ее в наборе дистракторов, чем отслеживать разброс их гаданий или размышлений при полном не знании предмета; это заставляет задумываться о полезности дистрактора «не знаю», который объективно ориентирован на признание обучаемым этого факта и не провоцирует его на придумывание или угадывание ответов. Для групповой и общей коррекции обучения нужнее анализ ошибочности предпочитаемого дистрактора и правильное решение при его отсутствии; индивидуальная коррекция предполагает уже самостоятельную работу над своими ошибками.

Измерение обученности в довузовской подготовке

Уникальную возможность измерения обученности одним и тем же средством дает довузовская подготовка. В отличие от вузовской ее предметная область почти полностью совпадает с общеобразовательной по всем изучаемым дисциплинам, поэтому входной, текущий, тематический, рубежный и итоговый контроль могут проводиться на базе одного и того же пакета тестовых заданий и даже с помощью одних и тех же параллельных тестов. Это позволяет напрямую сопоставлять результаты разных видов тестирования и выделять факторы, связанные с конкретными дидактическими процессами в группах слушателей. Такая работа была начата автором совместно с разработчиками тестов для входного, рубежного и итогового контроля знаний слушателей подготовительных курсов по физике. Пять параллельных тестов, содержащих по 15 заданий разной сложности, которые охватывают учебный материал, предусмотренный требованиями, использованы для входного контроля подготовленности слушателей. По результатам тестирования 55 испытуемых построено эмпирическое распределение частот n тестовых баллов Х, статистический ряд для которого представлен в таблице 1.

Статистический ряд тестовых баллов Таблица 1

Источник