Влияние последовательности вопросов на валидность теста

У Психолога » Психологический форум » Психодиагностика, методики, опросники » Влияние последовательности вопросов на валидность теста

форум
в
Здравствуйте, коллеги!
Как вы считаете, насколько сильно отразится изменение последовательности вопросов на надежности теста?

Вопрос по конкретной методике - опросник Л. Голдберга "Маркеры факторов большой пятерки" в адаптации Князева (ссылка на документ с тестом: https://drive.google.com/file/d/0B8TMFyMfME7QZ3dwdnNKOXJyRGc/edit?usp=sharing)

Мы исследуем большую пятерку черт личности. К сожалению, это единственная валидная адаптация из бесплатных тестов по исследованию 5-ти черт личности.

Тест состоит из 100 вопросов. Измеряется 5 шкал и вопросы идут последовательно, 1-вопрос - 1 шкала, 2-вторая и так до 5, затем 6-й вопрос снова измеряет 1 шкалу, 7-вторую и так до конца.

Вопрос: насколько сильно пострадает результативность, если вопросы мы будем давать не последовательно, как в оригинале, а сразу все по одной шкале? Например, вопросы 1-20 - экстраверсия, 21-40 - эмоциональная стабильность и т.д.

Зачем это нужно? Таким образом мы хотим простимулировать человека пройти тест до конца, поскольку будем преподносить ему не один здоровенный тест на 100 вопросов, а 5 тестов по 20 вопросов или 10 тестов по 10 вопросов, которые будут идти последовательно. Мы предполагаем, что респондент будет более мотивирован пройти тест до конца, если материал будет разбит на смысловые блоки.

Почему они будут бросать тест если они уже согласились пройти его? Исследование будет проводиться онлайн в социальной сети. Человек будет самостоятельно решать, проходить тест или нет и он не будет никому давать обязательства в том, что он должен пройти его до конца.

За счет изменения последовательности вопросов мы надеемся уменьшить количество брошенных тестов.

Спасибо за внимание!

Буду рад услышать любые мысли на этот счет.

подписка на тему форума

Бесплатная рассылка интересностей!


форум


[все посты]

Так на валидности или на надежности? Это разные понятия.

Валидность - соответствия теста измеряемому феномену. Т.е. если указано, что такие-то вопросы относятся к измерению такого-то критерия, и в ходе сравнения с результатами методик, направленными на изучения того же феномена, данные совпадают, то тест валиден. Соответственно, как их не переставляй, по идее, валидность остается в силе.

А вот с надежностью сложнее. Потому как надежность, это исключение сторонних факторов, которые могут влиять на результат эксперимента (теста). А соответственно, перестановка порядка вопросов, может потребовать подтверждения надежности. А именно, тест и ре-тест через некоторое время. Чтобы исключить возможность социально одобряемых ответов, научения, или догадки о желаемых результатах, например. И если уже существующая методика принята как валидная и надежная, то какие-либо изменения в ней следует по-новой подтверждать.

В Вашем случае, считаю, что вопросы могут быть к надежности теста. А именно, не является ли перегруппировка вопросов фактором, который может спровоцировать ложные ответы или социально ожидаемые ответы, например.


форум


[все посты]

Вопрос же с бросанием тестирования можно решить в иной способ. А именно, мотивациоными факторами. К примеру, просить отвечать честно и полно, в результате чего будет предоставлена индивидуальная консультация (или заключение) по результатам теста. Или нажим на добровольность участия. Что в любой момент, или оговоренный момент, можно отказаться, уведомив при этом исследователя, дабы не портить статистику. Или же логичный отсев неполных тестов с расширением кол-ва респондентов.

Считаю лучшей мотивацией возможность получить информацию о себе в результате прохождения теста. Т.е., чтоб не просто для исследователя, а и респондент получил для себя какой-то бонус. Это можно упростить с помощью программирования тестирования, например. Чтобы в результате прохождения теста до конца человек видел резюме. Или же исследователь обязуется прислать это резюме после обработки теста. Может дать краткое заключение и рекомендации, например.

В личном опыте он-лайн исследований этот подход сработал.


форум


[все посты]

Алла, спасибо за ответ.

Вопрос был о любых изменениях в результатах теста, которые могут появиться после перегруппировки вопросов. Но спасибо, что разграничили понятия валидности и надежности.

Что касается мотивации респондента, конечно мы используем факторы, которые Вы перечислили, однако считаем, что этого все равно не достаточно. Это связано со "снековой" культурой потребления информации в сети. У интернет-пользователя как быстро появляется интерес, так и быстро исчезает, к тому-же много отвлекающих факторов. Так что желание узнать о себе что-то новое довольно быстро подавляется монотонной и продолжительной работой (прохождением теста, состоящего из 100 вопросов). Интерес исчезает, если его, конечно, не подогревать обещанием узнать о себе что-то очень ценное или шокирующее.

Вопрос о валидности теста.

У Л. Голдберга кроме обсуждаемого опросника (http://ipip.ori.org/New_IPIP-100-item-scale.htm) есть сокращенная версия из 50 вопросов (http://ipip.ori.org/New_IPIP-50-item-scale.htm). Все 50 вопросов взяты из теста, который был переведен и валидизирован Князевым, Митрофановой и Бочаровым (Валидизация русскоязычной версии опросника Л. Голдберга “Маркеры факторов «Большой Пятерки», ссылка на архив со статьей: https://drive.google.com/file/d/0B8TMFyMfME7QRFhEc2x6S3BYWTg/edit?usp=sharing).

Если взять из русскоязычного теста конкретно те 50 вопросов, из которых состоит сокращенный опросник Голдберга и объединить в той последовательности, как они идут в оригинале, можно ли будет считать такой тест валидным?


форум


[все посты]

Олег, про мотивацию респондента: это Ваше предположение? или Вы проводили пилотное исследование, и убедились, что 100 вопросов, на которые, в среднем, можно ответить примерно за час, является для Ваших респондентов монотонной работой, с которой они не справятся?
Возможно, Вы излишне переживаете. В самом крайнем случае можно просто расширить кол-во опрашиваемых до тех пор, пока не соберете нужное кол-во легитимно заполненных тестов. А возможно, особенности процесса заполнения опросника может иметь отдельное место в Вашей исследовании. Как часть отображения личностных особенностей респондента.

Про Ваш вопрос. Не совсем понятно, что Вы имеете ввиду:

цитата:

взять из русскоязычного теста конкретно те 50 вопросов, из которых состоит сокращенный опросник Голдберга и объединить в той последовательности, как они идут в оригинале


В оригинале - это в английской версии или в русскоязычной?

А также, не понятно, зачем Вам это нужно (переставлять местами). Ведь у Вас есть сокращенный вариант, который вполне должен удовлетворить Ваше беспокойство о мотивации респондентов.

Тем не менее: для валидности теста порядок вопросов значения не имеет. Если ответ на вопрос соответствует исследуемому критерию, то порядок не важен. Валидность сохраняется.

А для надежности важен. Поэтому любые изменения существующих тестов подтверждения этого параметра. Изменения теста таким образом, как Вы предлагаете, может повлиять на надежность теста. А соответственно, необходимо будет ее подтвердить, если Вы все же пожелаете предоставить измененный опросник.

Возможно, Ваши труды в этом направлении пригодятся и другим исследователям)). Напишите отдельную публикацию об адаптации теста "Маркеры факторов большой пятерки" для работы с Вашей выборкой у условиях опросов в сети)).


форум


[все посты]

Пилотное исследование не проводилось, но переживания не беспочвенны. Причины, почему пользователи соц. сетей (и интернета в общем) могут бросать тест я указал в предыдущем посте.

Теперь по вопросу:
1. Есть оригинальный тест из 100 вопросов, автор Л. Голдберг.
2. Также есть сокращенная версия из 50 вопросов. Все 50 вопросов присутствуют в полной версии опросника (тоже англ.).
3. Князев перевел расширенную версию, состоящую из 100 вопросов и экспериментально доказал, что она работает.
4. Никто не занимался валидизацией сокращенной версии.

Но(!) все 50 вопросов уже переведены Князевым в рамках полной версии теста.

Если мы сохраним оригинальную последовательность вопросов (в англ. версии 50) и возьмем перевод от Князева из полного теста, насколько такой тест можно считать валидным/надежным?


Чтобы принимать участие в обсуждении, авторизируйтесь или пройдите регистрацию!

qr