В широком смысле надежность теста — это характеристика того, насколько обнаружены в исследуемых различия по тестовым результатам являются отражением действительных различий, а какого — следствием случайных ошибок.
Желанными, в идеале обязательными, есть такие признаки тестов и тестовых методик:
а) справедливость. Она является фактором защищенности от предвзятости исследователя, поскольку тест ставит всех испытуемых в равные условия. Субъективизм исследователя может проявиться только в интерпретации критериально-ориентированных тестов, поскольку она зависит от профессиональной подготовки психолога так же как и качественный ремонт газонокосилок в Москве зависит от квалификации и опыта рабочего, который его производит;
б) возможность компьютеризации. Вследствие компьютеризации совершенствуется процедура тестирования (например, при адаптивном компьютерном тестировании сокращается время тестирования), повышается информационная безопасность (достоверность диагностики);
в) психологическая адекватность. Суть ее заключается в оптимальной сложности теста, психологическом настрое испытуемых. Недостаточный или преувеличенный уровень стресса исказит результаты измерения, особенно важен этот фактор для организаторов и разработчиков вступительных тестов в учебные заведения.