Валидные измерения

дискриминантной валидности мы искали во взаимосвязи НЗВР для измерения вербальной способности и неявных знаний менеджеров. Кроме того, необходимо было выявить доказательства того, что НЗВР объясняет различие в эффективности руководства вне рамок измерения генеральной когнитивной способности и неявных знаний менеджеров. Рассмотрим методы, примененные для определения валидности, и те результаты, что получены применительно к командирам взвода, роты и батальона (Hedlund et al., 1998).
Валидизационная выборка. НЗВР был задействован вместе с другими измерениями валидности, о которых говорится в следующем разделе, применительно к офицерам 44 батальонов, дислоцированных на шести армейских базах в Соединенных Штатах. Количество батальонов, отобранных на каждой базе, варьировалось от 4 до 10. Если удавалось привлечь к исследованию батальон в целом, то опросник неявных знаний проверялся на всех трех интересующих нас уровнях (батальон, рота и взвод), в результате оказывалось возможным также получить суждения об эффективности командования из многочисленных источников. Мы получили полные данные относительно 368 командиров взвода, 163 командиров роты и 31 командира батальона.

Кроме того, были получены рейтинги эффективности командования, данные офицерами, стоящими на служебной лестнице выше командира батальона (например, командир бригады), которые сами не являлись участниками исследования.
Валидные измерения. Кроме НЗВР мы применили измерения вербальной способности, опыта, неявных знаний менеджеров, а также получили рейтинги эффективности руководства всех участников.
Тест на уровень концептуального понимания (The Concept Mastery Test CMT) (Terman, 1950) представляет собой измерение общей вербальной способности, он проводился для того, чтобы обеспечить подтверждение дискриминантной валидности. Данный тест состоит из двух разделов: первый связан с проблемами определения синонимовантонимов, второй с вербальными аналогиями. Мы включили измерение вербальной способности для того чтобы показать, что НЗВР измеряет больше чем просто способность к вербальной аргументации и дает больше информации для прогнозирования эффективности руководства, чем традиционные измерения общей когнитивной способности.

Подсчеты по СМТ осуществлялись с использованием так называемого ключа ответов, количество правильных ответов суммировалось отдельно в случае с заданиями на подбор синонимовантонимов и задач на аналогию.
Для дальнейшего определения дискриминантной валидности НЗВР был также привлечен опросник неявных знаний менеджеров (НЗМ)1 (Wagner Stern-berg, 1991), предназначенный для измерения основанных на опыте знаний гражданских менеджеров, о чем шла речь в восьмой главе. Включение измерений неявных знаний менеджеров позволило нам показать, что даже если и возможно некоторое пересечение знаний менеджеров и командиров, НЗВР репрезентирует знания, специфические для данной области, которые более уместны для понимания эффективности такого рода руководства, чем НЗМ.
Подобно НЗВР, НЗМ представляет собой тип теста на ситуационное суждение, когда респонденты оценивают качество вариантов ответа. НЗМ менеджеров был валидизирован в более раннем исследовании, и при этом было обнаружено, что он показательно прогнозирует менеджерский успех (Wagner, 1987; Wagner Sternberg, 1990). Ответы по НЗМ подсчитывались на основе установленного экспертного профиля, состоящего из средних значений ответов 13 руководителей фирм, входящих в те 500, которые упоминаются в Fortune1 (Wagner, 1987).

Общие подсчеты в рамках НЗМ отражают квадратичные коэффициенты отклонения каждого ответа от экспертного среднего значения, полученные суммированием значений, указанных по всем вариантам ответов на вопросы. Чтобы облегчить интерпретацию результатов, мы отразили оценки, полученные по НЗМ, вычтя каждую оценку из максимального значения, поскольку меньшее отклонение представляет большее неявное знание. Наивысшие баллы, выявленные при анализе, репрезентируют наилучшие показатели по НЗМ.
Определение неявных знаний предполагает, что они приобретаются благодаря опыту. Хотя он и не гарантирует наличие обучения, считается более вероятным, что опытные руководители владеют неявными знаниями. Чтобы оценить взаимосвязь между опытом и знаниями, мы попросили участников отметить, сколько месяцев они занимают свои должности.

Наконец, чтобы определить конвергентную валидность, было применено измерение командной деятельности. Мы ожидали, что подсчеты по НЗВР будут значимо коррелировать с эффективностью командования и дадут возможность объяснить вариации эффективности, не уточненные другими измерениями. ИЭР, описанное в предыдущем разделе и проиллюстрированное в табл.

7, состоит из вопросов, которые требуют от отвечающего одного определенного ответа, заключающегося в том, чтобы по семиточечной шкале оценить межличностные отношения, ориентированность на выполнение задачи и общую эффективность других руководителей.
Некоторыми исследователями было обнаружено, что рейтинги, полученные из множества источников, репрезентируют значимые и существенные различия в восприятии деятельности (Salam, Cox Sims, 1997). Мы же, напротив, искали рейтинги, предоставляемые множеством источников, основываясь на прямо противоположном подходе к исполнению "обратной связи" (Church Bracken, 1997; Tornow, 1993). Используя такую процедуру, мы стремились исследовать различные перспективы, связанные с эффективностью командования, какие вырисовываются в разных источниках.
Мы попросили всех офицеров батальона (непосредственных начальников, занимающих в соединении одинаковое должностное положение, и подчиненных офицеров) предоставить рейтинги. Для командиров батальона привлечь оценки офицеров их уровня оказалось невозможным, поскольку их контакты с командирами других батальонов весьма ограничены. Также для взводных нельзя получить все необходимые рейтинги, так как отсутствуют уволенные в запас офицеры, которые должны были дать такие оценки.

Когда задание оказывалось выполнимым, мы учитывали множественные оценки эффективности. В таких случаях (напри-
Fortune ("Форчун") ведущий экономико-политический журнал США. Примеч. перев.

80

Содержание раздела