Компьютерный диагностический комплекс «Профориентатор»: результаты исследования прогностической валидности теста

Прогностическая валидность психодиагностической методики «ПРОФОРИЕНТАТОР»
(по материалам отсроченного анкетирования)

Авторы статьи: Шмелев А.Г., Серебряков А.Г., Кононова В.Н., Алтухов В.В., Иванова О.Н.

Предыстория и краткое описание методики

Психологическая компьютеризированная методика «Профориентатор»  разработана коллективом научных сотрудников под руководством профессора А.Г.Шмелева. Первоначальный вариант компьютерной программы-методики под названием «Тест профессиональных склонностей» был разработан еще в системе тестирования MAINTEST-DOS в 1997 году (программа MAINTEST разработана А.Г.Шмелевым - см. Shmelyov A.G. TESTAN, 1996).

В соответствии с решением Ученого совета Московского государственного университета им. М.В.Ломоносова об открытии Центра профориентационного и психологического тестирования,  цель методики была сформулирована ясно и очень конкретно: спрогнозировать, насколько подходит или не подходит вчерашнему школьнику та или иная профессия согласно перечню из 16-ти факультетов МГУ. С того времени методика видоизменилась, хотя  принципы построения методики остались прежними - гетерогенный тест с заданиями на выбор ответа,  раздельным контролем времени по субтестам на способности и автоматизированным ранжированием профилей профессии по близости к профилю тестируемого. История разработки и подробное описание данного теста опубликовано в отдельной статье (см. Иванова О.Н., Одинцова В.В., 2006). 

Дата выпуска версии программы-методики для ОС Windows, разработанной О.Н.Кононовым, под названием «Профориентатор»  - 16 июля 2002 года. Расширились задачи, которые обслуживает методика, расширился перечень рекомендуемых направлений профессионального образования. В 2003 году компьютерный диагностический комплекс «Профориентатор» получил официальное признание на уровне Министерства Образования Российской Федерации. Методика «Профориентатор» получила в 2008 году Свидетельство о государственной регистрации программы для ЭВМ, № 2008612055 (авторы: Шмелев А.Г., Серебряков А.Г., Рыхлевская Е.И., Иванова О.Н., Кононов О.Н.), выданное Федеральной службой по интеллектуальной собственности, патентам и товарным знакам.

Современная версия тестового комплекса «Профориентатор» состоит из трех больших блоков тестовых заданий на: структуру интересов (восемь шкал), способностей (семь шкал) и личности (четыре шкалы). 

Результаты тестирования включают:

1. Шкальный профиль – с баллами в стенах по каждой шкале
2. Словесные интерпретации, подробно по каждой шкале
3. Списки наиболее подходящих тестируемому профессий, по каждому блоку и с учетом всех блоков (на основании степени сходства полученного профиля с полученными экспертным путем идеальными профилями успешных представителей более 90 профессий)
4. Рекомендованные школьнику развивающие тренинги
5. Профиль рекомендуемого тестируемому дальнейшего профильного обучения (на шестилучевой диаграмме-мишени, в стенах, на основании показателей интегральных S-шкал)

Подробное описание направлений профильного обучения и примеры конкретных профессий  описаны ниже.

При этом  научная лаборатория, возглавляемая А.Г.Шмелевым, постоянно контролировала  психометрические свойства данного теста, такие как надежность, внутренняя валидность, репрезентативность.

ПСИХОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ ТЕСТА

Репрезентативность
Комплекс стандартизирован на выборке подростков от 13 до 18 лет, прошедших профориентационную консультацию на факультете психологии МГУ и в Центре тестирования и развития "Гуманитарные технологии". Расчет норм для версии "ПРОФОРИЕНТАТОР-4.2" проведен на выборке около 1000 испытуемых (клиенты Московского Центра).
Нормы для Москвы и регионов разные. Для региональных центров используются нормы, рассчитанные более чем на 1000 протоколов испытуемых из различных регионов России.
Нормы для разных возрастов тоже отличаются, в каждой возрастной группе по несколько сотен человек.

Надежность-согласованность (коэф. Альфа Кронбаха) 
Данный коэффициент представляет собой оценку надежности, базирующуюся на гомогенности шкалы или сумме корреляций между ответами испытуемых на вопросы внутри одной и той же тестовой формы.

Шкала теста	Коэффициент
Техника	0,78
Наука	0,71
Искусство	0,83
Общение	0,77
Бизнес	0,63
Знак	0,6
Природа	0,72
Риск	0,76
Вычисления	0,55
Лексика	0,55
Эрудиция	0,56
Зрительная логика	0,48
Абстрактная логика	0,57
Внимание	0,52
Активность	0,71
Согласие	0,62
Самоконтроль	0,71
Эмоциональная стабильность	0,71

Внутренняя валидность
Внутренняя валидность тестовых шкал устанавливалась с помощью конфирматорного факторного анализа: ключи присваивались только тем пунктам, которые дают значимые и интерпретируемые корреляции с суммарными баллами по заранее заданным субшкалам теста. Все ключевые пункты теста значимо коррелируют со «своими» шкалами со средним коэффициентом корреляции равным 0,31.
   

Показатели внутренней валидности теста:

Шкала теста	Среднее значение корреляции вопросов со шкалой
Техника Наука Искусство Общение Бизнес Знак Природа Риск Вычисления Лексика Эрудиция Зрит.логика Абс.логика Внимание Активность Согласие  Самоконтроль  Эмоц.стабильность	0,45 0,36 0,47 0,41 0,29 0,26 0,37 0,40 0,21 0,21 0,22 0,19 0,22 0,22 0,33 0,28 0,33 0,40
При данном объеме выборки (946 испытуемых) значимым на уровне значимости p>0,001 является коэффициент корреляции больше 0,11. Следовательно, можно увидеть, что вопросы из всех шкал теста обладают необходимыми параметрами внутренней валидности.

Актуальность  изучения прогностической валидности теста

Однако до недавнего времени масштабно и всерьез не изучалась внешняя прогностическая валидность методики «Профориентатор» - этот ключевой показатель практической ценности методики, важнейший вид обоснованности, который указывает на пригодность психодиагностической методики для  выдвижения прогноза. Отчасти это объясняется спецификой самого качества прогностической валидности (Predictive validity). Дело в том, что она определяется по внешнему критерию, информация по которому собирается не сразу при проведении психодиагностического тестирования, а спустя некоторое время. В нашем случае для оценки прогностической валидности важно было подождать несколько лет, чтобы прошедшие тестирование  вчерашние школьники уже стали студентами вузов.
В недавнее время к исследованию прогностической валидности  «Профориентатора» позволил приступить накопленный богатый материал диагностики и консультирования школьников: только в Московском Центре (а в стране сейчас действует 200 центров, использующих данную методику) за последние 10 лет более 20 тысяч школьников получили профессиональную помощь при выборе специальности,  вуза, с использованием результатов компьютеризированного теста «Профориентатор».
Пришло время проанализировать ценность данной методики с точки зрения практической цели прогнозирования будущего реального профессионального выбора, субъективной удовлетворенности и объективной успешности обучения в вузе по определенному направлению.

Процедура исследования

Из общего массива 12000 записей (по базе клиентов профориентации Московского центра за 4 года) были отобраны для телефонного опроса более 1500 бывших старшеклассников с сохранившимися контактными телефонами и протоколами тестирования за 2005-2006 гг. По специально разработанной анкете было организовано телефонное интервью, которым были охвачены более 500 человек.
Затем были отфильтрованы и закодированы для статистики материалы, удовлетворяющие всем условиям: в  выборку были включены испытуемые, если ФИО, возраст и дата тестирования школьника в протоколе тестирования и в компьютерной базе телефонных данных  полностью совпадают; человек в настоящий момент учится в вузе; интервьюер получил четкие ответы на все вопросы анкеты. Так были отобраны 457 случаев.
Для дальнейшего статистического анализа была создана специальная компьютерная программа перевода тестовых баллов шкал из старых протоколов в показатели S-шкал. Напомним, что S-шкалы - это вторичные (secondary) интегральные шкалы  по направлениям профильного обучения, появившиеся лишь в последней версии методики «Профориентатор».

Направления профильного обучения (S-шкалы)

1. Физико-математическое направление: предполагает у школьников выраженный интерес и способности к прикладной математике, инженерным профессиям, в сфере информационных технологий - к «харду». Типичные профессии: инженер-механик, инженер-физик, архитектор, инженер-специалист по низким температурам.
2. Социально-экономическое направление: связано с выраженным интересом старшеклассников к общественной сфере – к экономике, праву, менеджменту, социологии. Типичные профессии: экономист-аналитик, юрист, маркетолог,  менеджер организации, биржевик, трейдер.
3. Естественно-научное направление: круг профессий, предполагающих деятельность, связанную с природными качествами  и  объектами – в области химической  промышленности, медицины, биологии, геологии, географии. Типичные профессии: эколог, стоматолог, педиатр, специалист по генетике, специалист контроля качества химических соединений, ландшафтный дизайнер.
4. Лингвистическое направление: круг профессий для активных гуманитариев с практической направленностью и, как правило, с отличным владением иностранными языками,  а именно: журналист, переводчик, специалист по регионоведению, специалист по связям с общественностью, менеджер по сервису и  туризму.
5. Технологическое направление: круг профессий для тех, кто предпочитает иметь дело с теоретической математикой, с виртуальными объектами, с документами, интересуется информационными технологиями (софтом). Типичные профессии: программист, дизайнер, экономист-математик, секретарь, делопроизводитель, инженер-технолог, инженер микросистемной техники, специалист по прикладной информатике.
6. Гуманитарное направление: сфера деятельности академических гуманитариев – филология, философия, искусствоведение, культурология, история. Типичные профессии: психолог, преподаватель, искусствовед, редактор, актер, художник-график.

Для формализовано-количественного анализа результатов по материалам телефонного интервью была реализована определенная схема контент-анализа –  проведена экспертная оценка-категоризация так называемых «жизненных выборов»: эксперты классифицировали каждый сделанный нашими клиентами выбор вуза и специальности в рамках указанных выше шести профильных направлений обучения. То есть, каждый выбор был отнесен к одной (либо двум) из шести категорий.

Речь идет о вузах смешанного направления. Например, студент учится  в Российском государственном гуманитарном университете, на факультете технотронных архивов и документов, по специальности «аудиовизуальные коммуникации». Данная специальность связана с фотографией и монтажом аудио- и видеоматериалов. Соответственно, базовый компонент профильного обучения – технологический, а дополнительный – гуманитарный. Другой студент  изучает мировую экономику и политику в Высшей школе экономики, что предполагает также уверенное владение иностранными языками. В данном случае базовое направление обучения – социально-экономическое, а дополнительное – лингвистическое.

Затем были сопоставлены результаты тестирования и материалы анкетирования, с применением методов математической статистики и, в частности, частотно-непараметрического анализа матриц сопряженности для крайних групп.

Для анализа были поставлены следующие вопросы:

• Насколько удачно показатели по тесту «Профориентатор» прогнозируют реальный индивидуальный выбор профессии (по направлениям или c точностью до S-шкал)?
  
• Каков процент совпадения между рекомендуемыми профессиями (по результатам тестирования школьников) и их отсроченным реальным выбором профессии, специальности?
  
• Каковы уровни удовлетворенности нынешних студентов, последовавших и не последовавших рекомендациям, сделанным в центре профориентации по результатам тестирования?
  
• Каков процент соответствия на уровне S-шкал между результатами тестирования и «жизненным выбором» в подгруппе лиц, крайне недовольных своим выбором?
  
• Насколько отличаются исходные тестовые баллы тех, кто в итоге выбрал рекомендованное ему направление профессионального обучения, и тех, кто НЕ выбрал профессию, специальность в данном направлении?
  
• Отличаются ли по уровню успеваемости в профильном вузе тестируемые с крайними тестовыми баллами по соответствующей S-шкале?

Основные результаты исследования

На выборке 457 человек процент соответствия жизненного выбора рекомендациям психолога-профконсультанта на основании результатов компьютерного профориентационного тестирования оказался равным 63 %.  Уже этот простой показатель иллюстрирует прогностичность тестирования. На диаграмме 1 наглядно показана разница вероятности успешного выбора профессии  с учетом результатов теста «Профориентатор»  либо в случайном порядке, «методом проб и ошибок».

Диаграмма 1. Сравнение вероятности успешного (правильного) выбора профессии с учетом тестирования либо в случайном порядке.

Если не брать в расчет 15 случаев, когда человек сделал случайный или вынужденный выбор (заведомо, в силу жизненных обстоятельств, не последовал рекомендациям и зачастую недоволен), то этот показатель составляет 65%.
В подгруппе с мотивом «по призванию»  (когда школьник выбирает то, что лично ему нравится, чем ему интересно заниматься) этот показатель составляет 64,4%.

Группы мотивов при выборе профессии описаны ниже в настоящей статье. Они были выделены отечественными исследователями еще в дореволюционной России (см. Климов Е.А., Носкова О.Г., 1992). Авторами лишь добавлена еще одна группа, «вынужденный выбор».

Насколько хорошо оценки по отдельным S-шкалам «Профориентатора», полученные нынешними студентами еще в период школьного обучения, прогнозируют профильное направление реально выбранной ими профессии?
Какова вероятность, что вчерашний школьник успешно овладеет профессией в определенной сфере, в отношении которой он получил тестовый балл выше среднего?  Косвенно об успешности можно судить по уровню успеваемости в вузе.
Сразу оговоримся, что направления профильного обучения не охватывают полностью все многообразие существующих профессий (так, по результатам тестирования с помощью методики «Профориентатор» вы не получите данные, свидетельствующие о выдающихся спортивных или музыкальных наклонностях тестируемого – для этого нужны узко-специальные тесты, а не единый универсальный тест). Тем не менее, данный диагностический комплекс учитывает значимое большинство имеющихся профессий.
Для анализа соотношения тестовых баллов и выбранного впоследствии профильного обучения мы использовали метод крайних групп и Phi-коэффициент корреляции Гилфорда для таблиц сопряженности 2*2.
Также мы очистили данные от заведомо случайных выборов («за меня родители решили», «больше некуда было идти, пошел учиться на психолога», «за компанию с другом») и проанализировали данные по лицам, принимавшим решение более ответственно, с учетом собственных личных интересов, предпочтений, характера.

Группы мотивов при выборе профессии описаны ниже в настоящей статье. Они были выделены отечественными исследователями еще в дореволюционной России (см. Климов Е.А., Носкова О.Г., 1992). Авторами лишь добавлена еще одна группа — «вынужденный выбор».

Проиллюстрируем полученные показатели на примере двух направлений: лингвистического и технологического.

Полностью все данные (по остальным профильным направлениям обучения, а также в сводном виде для всех проанкетированных студентов, независимо от мотивов выбора специальности и вуза) приведены в Приложении.

Таблица 1.  Четырехклеточная таблица для  лингвистического направления

Для подгруппы (мотив «по призванию», с крайними баллами по четвертой шкале), 117 чел.
Процент совпадений рекомендаций и выбора составляет 71,8%.
Phi -коэффициент равен 0,46, что больше критического значения 0,18 (Phi –критическое на уровне ошибки p<0,05).

Таблица 2. Четырехклеточная таблица для технологического направления

Для подгруппы (мотив «по призванию», с крайними баллами по пятой шкале), 157 чел.
Процент совпадений рекомендаций и выбора составляет 73,2%.
Phi -коэффициент равен 0,30 > 0,16 (Phi –критическое на уровне значимости p<0,05).

Существенные для статистического анализа показатели по всем шести направлениям профильного обучения представлены в сводном виде в нижеследующей таблице № 3.

Таблица 3. Сводная таблица (для лиц с мотивом «по призванию»)

Исходя из вышеприведенных данных, наибольший процент совпадений обнаружен по 4-й, 5-й, 2-й и 6-й шкалам (лингвистическое, гуманитарное, социально-экономическое и особенно технологическое направление). В меньшей мере отмечен выбор профессии с учетом рекомендаций консультантов-профессиоведов по 1-й и, особенно, по 3-й шкалам. Тем не менее, получены статистически значимые корреляции  по каждой интегральной шкале описываемой методики.

Насколько отличаются исходные тестовые баллы тех, кто в итоге выбрал рекомендованное ему направление профессионального обучения, и тех, кто НЕ выбрал профессию, специальность в данном направлении? В таблице № 4 отчетливо выражена тенденция для всех шкал, за исключением 5-ой (технологической): среди поступивших в вуз определенного направления гораздо больше лиц с высоким тестовым баллом по соответствующей S-шкале, чем с низким. Получена разница в 3 - 5 раз! В вузах с технологическим профилем обучения  поступили в равном соотношении лица как с высокими, так и с низкими тестовыми баллами по 5-ой S-шкале. Однако, среди тех, кто НЕ выбрал данное направление обучения, все-таки вдвое чаще встречаются  лица с низким баллом, чем с высоким.

Таблица 4. Сводная таблица частоты профильных и непрофильных выборов по всем категориям обучения

Для последней строки данной таблицы, в свою очередь, можно построить следующую четырехклеточную матрицу сопряженности:

Phi -коэффициент равен 0,27 > 0,06 (Phi –критическое на уровне значимости  p < 0,05  при n = 1031).
Совпадение рекомендации и «профильности выбора»  по тесту в целом выявлено в  60,7 % случаев. Таким образом, по тесту в целом обнаружена статистически значимая корреляция между уровнем тестового балла и выбором (либо отсутствием выбора) соответствующего профильного образования.

Как следует из таблицы № 4,  среди лиц с высоким баллом по S-шкале, в среднем из каждых десяти человек четверо выбрали вуз соответствующего профиля, а шестеро – нет. И тому много причин: ведь на принятие решения о выборе вуза влияет множество факторов, помимо учета результатов тестирования (пять групп этих факторов  перечислены и описаны ниже). Здесь стоит упомянуть хотя бы влияние модных тенденций: с большим перевесом лидирует выбор профессий социально-экономического направления (менеджеры, экономисты, т.п.), тогда как выбор профессий физико-математического направления и, особенно, естественно-научного, происходит гораздо реже. Эти тенденции отражены на диаграмме 2.

Диаграмма 2. Распределение абитуриентов по выбранным направлениям обучения (на примере 500 человек, прошедших профориентационное тестирование в московском Центре)

Однако, что примечательно: среди лиц с низким баллом по какой-либо S-шкале, из каждых десяти человек только двое выбрали вуз соответствующего этой шкале профиля, а восемь (подавляющее большинство) – нет.

Особого внимания заслуживает проведенный нами анализ соответствия между исходным профилем по результатам тестирования и самоотчетом в ходе телефонного интервью. Этот анализ показал, что оценки самих молодых людей, данные ими в ходе телефонного интервью, вовсе не всегда совпали с объективными результатами по тесту и выданными им рекомендациями. Немало людей точно не помнят, что им было рекомендовано несколько лет тому назад. Порой клиенты просто вспоминают отдельные варианты профессий, то, что было неожиданно, поразило их на консультации, причем эти варианты могут быть лишены оснований…Парадоксы памяти!

Рассмотрим отдельные яркие случаи. Так, девушка С. учится в Школе бортпроводников при Институте гражданской авиации и довольна (по оценкам экспертов, это 4-я и 3-я S-шкалы).  Считает, что не последовала  рекомендациям (по результатам тестирования, доминировали 4-я и 2-я шкалы). Вспоминает, что у нее обнаружили выраженную стрессоустойчивость, «а профессии предложили смешные: врач на скорой помощи, менеджер». Стоило поднять ее протокол тестирования, чтобы обнаружить в списке предложенных профессий… стюардессу (с коэффициентом сходства 0,75 по блоку «интересы», с коэффициентом 0,40 по всем блокам).
Юноша Н. смутно припоминает, что ему «рекомендовали что-то гуманитарное» (по результатам тестирования, доминировали 1-я и 5-я шкалы). Н. учится в железнодорожном колледже на машиниста электропоезда, и его все устраивает. Не удивительно, ведь это физико-математическое направление (иными словами, 1-я S-шкала).
А девушка Д. и вовсе запуталась. По воспоминаниям, ей рекомендовали общение с людьми. По результатам тестирования, в ее профиле доминировали 4-я и 2-я S-шкалы, при этом в блоке «интересы» шкала «общение» выражена ниже среднего уровня! Равно как и шкала «активность», минимальный показатель в блоке «личность», – на уровне 2,9 стен (!). В письменной словесной интерпретации клиентке Д. было указано следующее: «Вы не очень общительны, предпочитаете уединение активному взаимодействию с людьми… способны работать в условиях отсутствия общения вообще». Тем не менее, Д. учится на 4-м курсе в РМА туризма, на факультете менеджмента и туризма, как сама захотела. Признается, что в настоящий период ей категорически не нравится выбранная профессия, … «поскольку требуется много общения».

Жизнь существенно, а порой кардинально отличается от условий идеального эксперимента. Поэтому при анализе соответствия рекомендациям реального итогового выбора совершенно необходимо учитывать ряд важнейших факторов, также оказывающих существенное влияние на принятие решения старшеклассником. В первую очередь – мотивы; а также реальный спрос на специалистов данной профессии на рынке труда и др.     

Мотивы при выборе профессии, вуза и  удовлетворенность

Среди мотивов, действующих на школьника при принятии жизненно важного итогового решения по выбору будущей профессии, мы выделяем 5 подгрупп:

1. По призванию. В таких случаях в ответ на вопрос о причине выбора специальности говорят «интересно», «нравится», «душа всегда к этому лежала», причем порой школьник делает такой выбор даже вопреки советам родственников, консультанта;
   
2. По расчету («прибыльность, перспективность, востребованность», «популярность» либо «основательность, серьезность, солидность» профессии. Доступность конкретного варианта для данного человека. Иногда всплывает также географический элемент  - «рядом с домом», или «наличие общежития»);
   
3. Согласно семейным традициям  (по совету родителей, по стопам родителя или близкого взрослого человека, случаи династий);
4. Случайно («так получилось», выбор заодно с другом, либо «не решился на что-то серьезное»);
   
5. Вынужденно («просто по баллам проходил только туда», или «все остальные варианты не подходят – остался только этот», «давно хотел в определенный вуз на конкретный факультет, но из-за конкурса решил поступить в этот же вуз на «соседний» факультет).

Как следует из таблицы № 5, больше половины старшеклассников, выбирая профессию,  в той или иной мере учитывают фактор «по призванию» (53%). Принимая решение о будущей специальности, большинство из них  (62%) учитывали также рекомендации психологов Центра, основанные на результатах тестирования по методике  «Профориентатор». В итоге подавляющее большинство из них (91%)  в настоящее время довольны своим выбором.
По контрасту,  школьники, которые выбирали профессию под давлением жизненных обстоятельств (в силу трагических событий), вынужденно (поступили в желанный вуз, но не на тот факультет, о котором мечтали) либо случайно, «методом проб и ошибок», крайне редко следовали рекомендациям психологов-профессиоведов.  В итоге доля довольных своим выбором в этой группе студентов гораздо ниже и составляет 64 %.

Таблица 5. Зависимость удовлетворенности учебой от мотива при выборе профессии

Теперь рассмотрим удовлетворенность студентов с учетом выбранного ими профильного обучения.

Как следует из нижеприведенной таблицы № 6, почти по всем направлениям  подавляющее большинство студентов в настоящее время довольны тем, где и на кого они учатся. В частности, для студентов вузов физико-математического направления это верно в 72 % случаев, технологического и лингвистического – в 80 %, гуманитарного – 87 %, а для естественно-научного – и вовсе 100% (!).  Это верно как для лиц с высоким, так и с низким тестовым баллом. Эту тенденцию можно интерпретировать как своеобразный эффект «студенческой эйфории», то есть, скорее удовлетворенностью «студенческим этапов в жизни», чем собственно выбранной профессией.

На этом фоне разительный контраст получен у студентов вузов социально-экономического профиля. Больше половины этих студентов (57,1%) не совсем удовлетворены учебой в вузе, особенно это характерно для подгруппы студентов с исходным высоким тестовым баллом  по соответствующей S-шкале (!?). Впрочем, это ожидаемый эффект, если вспомнить, что данное «модное и перспективное» направление обучения предпочли выбрать слишком много ребят, зачастую независимо от их реальных индивидуальных склонностей и способностей.

Таблица 6. Удовлетворенность учебой в вузе студентов с крайними тестовыми баллами по S-шкалам

Показателен с этой точки зрения случай юноши М. (и это не единичный случай). Сперва М. выбрал вуз вопреки результатам тестирования. Ему было рекомендовано дальнейшее обучение по физико-математическому либо естественно-научному направлению (в профиле доминируют 1-я и 3-я S-шкалы). Он поступил на лингвиста (4-я S-шкала, это направление не рекомендовано), отучился год, разочаровался в выбранной профессии и бросил. Сейчас учится на химическом факультете МГУ (3-я S-шкала, согласуется с рекомендацией). Нравится, «хотя учиться сложно».

Рассмотрим еще несколько случаев, когда наши клиенты не последовали рекомендациям.
Девушка А. (в профиле доминируют 1-я и 23-я S-шкалы)  успела поучиться в двух вузах: на детского психолога (6-я шкала, не рекомендуется) и в горной академии (3-я шкала, не рекомендуется). Не понравилось, оба вуза бросила.
Девушка В. (в профиле доминируют 6-я и 3-я S-шкалы) поступила в Российский новый университет на специальность PR-менеджер (по экспертным оценкам, это 4-я и 2-я S-шкалы). Заканчивая 3-й курс, не совсем довольна своим выбором, планирует «пойти преподавателем языков и литературы»  (6-я шкала, что и было рекомендовано в первую очередь).   

Анализ случаев категорического недовольства выбранной профессией

Проведенный анализ случаев крайнего недовольства студентов своим выбором профессии  показал, что при сличении тестовых результатов и «жизненного выбора» на уровне сопоставления S-шкал в 68,75% случаев подмножество S-шкал рекомендованных направлений обучения и подмножество S-шкал  выбранной профессии не пересекаются даже частично. Иными словами, на практике это означает следующее: если человек крайне не доволен выбранной профессией, в 70 % случаев причина в том, что он занялся такой профессиональной деятельностью, которая ему по результатам теста была не рекомендована  либо даже противопоказана.

Прогноз успеваемости в вузе

Рассмотрим распределение усредненных оценок успеваемости  в школе и после поступления в вуз у школьников из крайних групп по результатам тестирования.
В ячейках приведенной ниже таблицы № 7 наглядно видно, что максимально выраженное отличие между уровнем успеваемости в подгруппах с низким и с высоким тестовым баллом выявлено у студентов, обучающихся на гуманитарных специальностях.

Таблица 7. В клетках таблицы указаны средние арифметические значения успеваемости по группам, приведенные к традиционной 5-тибалльной системе оценок

При этом, несмотря на общую для всех студентов-гуманитариев тенденцию к улучшению оценок, средний уровень успеваемости в вузе у лиц с низким баллом по шкале продолжает заметно уступать уровню успеваемости ребят, еще в школьные годы получивших высокий тестовый балл по шестой S-шкале методики «Профориентатор».

У студентов, обучающихся в вузах социально-экономического профиля, также отмечен рост уровня успеваемости по сравнению со школьным, причем этот рост выражен сильнее в подгруппе с высоким тестовым баллом (как и должно быть).

Для студентов вузов физико-математического и естественно-научного профилей, напротив, выявлена тенденция снижения уровня успеваемости по сравнению с их прежними школьными успехами, во всех подгруппах. При этом наиболее сильное падение наблюдается в подгруппах с низким тестовым баллом (что и следовало ожидать).

В подгруппах лиц с лингвистическим направлением обучения разница между уровнем успеваемости тех, кто получил высокий балл и тех, кто получил низкий балл по соответствующей S-шкале, несущественна. При этом по сравнению со школьными успехами уровень успеваемости в среднем несколько подрос (парадоксальный результат, но изменения слишком малы, чтобы утверждать наличие закономерности).

В подгруппах технологического профиля существовавшая в школьные годы значимая разница в уровне успеваемости между подгруппами с высоким и с низким тестовым баллом во время обучения в вузе практически нивелировалась.
По всей видимости, тестовые баллы  по шкалам лингвистического  и технологического профиля просто не работают на прогнозирование успешности обучения в вузах с соответствующей  специализацией.

Итак, показатели по первой и шестой S-шкалам теста «Профориентатор» (физико-математическое и гуманитарное направление) позволяют наилучшим образом прогнозировать у тестируемых старшеклассников уровень успеваемости в случае учебы в соответствующем профильном вузе. Строго говоря, данные результаты подтвердили наши ожидания: тест профориентации не является инструментом прогнозирования будущей успеваемости учащегося, ибо перед ним стоит задача выбора направления и он включает слишком мало специфических тестовых заданий для прогноза успешности освоения знаний по тому или иному выбранному направлению. Для этого должны использоваться соответствующие тесты специальных способностей, так чтобы в течение часового сеанса предъявлялись задания не на 6 разных направлений, а лишь на одно избранное.

Теперь несколько слов о субъективных отсроченных оценках, данных клиентами самому тесту и соответствующей консультативной услуге. На основании  ответов бывших старшеклассников, спустя 3-4 года  большинство из них подтверждают, что в свое время консультация по профориентации с использованием теста «Профориентатор»  им действительно помогла, в большей или меньшей мере  (369 случаев, что составляет 80%).  При этом позитивное отношение к данной услуге (хорошее и очень хорошее)   сохранилось у подавляющего большинства опрошенных (423 случая, что составляет 94,75% клиентов, принявших участие в отсроченном телефонном интервью). Эти цифры свидетельствуют о наличии серьезного кредита доверия тестируемых к результатам теста «Профориентатор».

Следует подчеркнуть, что помимо контроля над качеством психодиагностического инструмента, в Центре уделяется также особое внимание этапу профориентационной консультации, которую проводят тщательно подготовленные специалисты-профессиоведы. Это, несомненно, повышает качество рекомендаций, ибо гарантирует индивидуальный подход к каждому старшекласснику.

Заключение

Авторами статьи было проведено лонгитюдное (мониторинговое) исследование судьбы вчерашних старшеклассников, прошедших профориентационное тестирование 3-4 года тому назад и в настоящий период получающих высшее профессиональное образование. Были получены результаты, подтверждающие статистически значимые связи между данными тестирования и совершенным реальным выбором направления обучения, а также уровнем удовлетворенности студентов. Эти данные подтверждают внешнюю валидность компьютеризированной тестовой методики «Профориентатор».

Итак, нами получено, что фактически в двух случаях из трех люди учатся по профессиям, которые им были рекомендованы и по результатам прохождения теста «Профориентатор». Все 6 профильных направлений обучения (S-шкалы теста) обладают необходимыми параметрами прогностичности (т.е. если по результатам тестирования человеку было порекомендовано какое-либо направление обучения, то вероятность того, что оно ему подойдет, достаточно высока).  В случае крайнего недовольства выбранной профессией, чаще всего (в 70% случаев) причина кроется в выборе не рекомендованного (или даже противопоказанного тестируемому) направления обучения.

Но на полученных результатах наши исследовательские планы не заканчиваются.  Так, в ближайших планах научно-методического отдела Центра тестирования и развития «Гуманитарные технологии» - проведение масштабного онлайн-ретеста по методике «Профориентатор», сопоставление прежних и текущих результатов тестирования нынешних студентов.

Список литературы

1. Анастази А. Психологическое тестирование. В 2-х т. / Под ред. К.М.Гуревича, В.И.Лубовского. М., 1982
2. Алтухов В.В., Иванова О.Н., Орлова Е.А, Серебряков А.Г. Инновационные психодиагностические технологии как системный элемент организации профориентационной работы // справочник «Организационно-методическое обеспечение деятельности психологической службы в учреждениях среднего профессионального образования». Научно-методическое пособие, СПб.: изд-во РГПУ им. А.И. Герцена, 2008. с. 64-96.
3. Готтсданкер Р. Основы психологического эксперимента (пер. с англ.) – М: МГУ, 1982.
4. Иванова О.Н., Одинцова В.В. Комплекс тестирования «Профориентатор»: психометрические и прагматические свойства теста // Психологическая диагностика. 2006. № 2. с. 41-69.
5. О профориентационной работе в Центре тестирования и развития (интервью с  Ивановой О.Н.) // Психологическая диагностика. 2006. № 2. с. 17-23.
6. Кающийся энциклопедист. 1890.
7. Климов Е.А., Носкова О.Г. История психологии труда в России. Идеи подбора – «приискания» - работы, профессии для человека. 1992.
8. Психология. Словарь / Под ред. А.В.Петровского, М.Г.Ярошевского/ – М.: Политиздат, 1990. с.47-48
9. Собчик Л.Н. Управление персоналом и психодиагностика. Практическое руководство – М.: Компания Боргес, 2008. с.16
10. Собчик Л.Н. Введение в психологию индивидуальности. / Глава IY. Психодиагностика профессионально важных личностных свойств. – М.: ИПП-ИСП, 2000. с. 281-308.
11. Шмелев А.Г. Психометрические основы психодиагностики //сб. Общая психодиагностика под ред. А.А.Бодалева, В.В.Столина. Глава 3 // – М.:МГУ, 1987. с. 53-112.
12. Шмелев А.Г., Серебряков А.Г. Психодиагностика в профориентации: принципы инфраструктурного обеспечения компьютеризированного тестирования // Психологическая диагностика. 2006. № 2. с. 4-16.
13. Шмелев А.Г. Психодиагностика личностных черт. / Глава 4. Валидность модельных представлений – СПб.: Речь, 2002. с.107-119, 188-202
14. Shmelyov A.G. TESTAN: An integrated modular system for personality assessment and test development on MS_DOS personal computers. //Behavior Research Methods, Instruments and Computers. 1996, 1. - P. 89-92

ПРИЛОЖЕНИЕ

1. Сводная таблица (для ВСЕХ абитуриентов)

2. Данные по остальным направлениям, кроме уже приведенных в основном тексте, для подгруппы лиц с мотивом «по призванию».

Четырехклеточная таблица для физико-математического направления

Для подгруппы (мотив «по призванию», с крайними баллами по первой S-шкале), 131 чел.
Процент совпадений рекомендаций и выбора составляет 60,3%.
Phi -коэффициент равен 0,28, что больше критического значения  0,17 на уровне ошибки p<0.05.

Четырехклеточная таблица для социально-экономического направления

Для подгруппы (мотив «по призванию», с крайними баллами по второй шкале), 79 чел.
Процент совпадений рекомендаций и выбора составляет 67,1%.
Phi -коэффициент равен 0,33  > 0,22 (Phi -критическое на уровне значимости p < 0,05).

Четырехклеточная таблица для естественно-научного направления

Для подгруппы (мотив «по призванию», с крайними баллами по третьей шкале),  101 чел.
Процент совпадений рекомендаций и выбора составляет 53,5%.
Phi -коэффициент равен 0,24 > 0,19 (Phi -критическое на уровне значимости p < 0,05).

Четырехклеточная таблица для гуманитарного направления

Для подгруппы (мотив «по призванию», с крайними баллами по шестой шкале),  140 чел.
Процент совпадений рекомендаций и выбора составляет 60,7 %.
Phi -коэффициент равен 0,29 > 0,17 (Phi -критическое на уровне значимости p < 0,05).