Создание опросника неявных знаний: выводы

Проводя исследования, мы ознакомили участников такой группы с целями проекта и кратко разъяснили конструкт неявных знаний, не обращаясь к научной терминологии. Их просили оценить соотнесенность вопросов анкеты с конструктом. При этом они должны были уточнить, каждый ли вопрос связан со знаниями, полученными на основе личного опыта, и способствует ли он определению неявных знаний.

Кроме этого, специалистов попросили заполнить лакуны, внеся дополнения в предложенный опросник. Точнее, их попросили предложить дополнительные правдоподобные варианты ответов на некоторые вопросы, определить примеры, недостаточно ясные или вообще темные, идентифицировать проблемы полового, расового и этнического характера, а также выявить то, что кажется им неправдоподобным в вопросах анкеты.
Исследователи благодаря работе группы специалистов получили данные "обратной связи" и воспользовались ими, чтобы скорректировать опросник. Например, вопросы, относительно которых суждения специалистов не были единодушными и утвердительными, могли быть исключены из него. Аналогично, вариант ответа или сценарий действия, против которого возражают два или более участников, отклоняется.

Данная экспертная группа может предложить дополнительные опции отклика или сценарий поведения, которые будут добавлены в опросник. Конечным результатом такого процесса разработки теста является проверенный опросник по неявным знаниям, применимый к людям, занимающим самые разные должности. Он пригоден для дальнейших исследований, касающихся, например, валидности конструкта, выведенной на основе разных критериев.
Создание опросника неявных знаний: выводы
Этапы, которые мы описывали выше, помогают при разработке тестов на неявные знания. Примеры последних были получены в результате интервью, и их можно назвать сырьем для разработки теста. В течение этого процесса они подвергались качественному (распределение по категориям) и количественному (оценка свойств) анализу. Различные этапы позволяют ответить на два основных вопроса о совокупности неявных знаний, после чего и можно разработать инструментарий для их определения. Во-первых, какие из примеров неявных знаний более всего подходят для разработки вопросов теста?

Во-вторых, что поясняет структура, репрезентируемая примерами неявных знаний, относительно структуры конструкта, связанного с данной областью деятельности, и почему наши тесты на неявные знания охватывают данную сферу? Результатом этого процесса является, опросник, который с большей вероятностью обладает как внутренней, так и внешней валидностью. Данный вопрос рассматривается в последней части этой главы.
Определение валидности опросника
Важная часть в разработке любого теста определение валидности его построения. В отличие от многих тестов, измеряющих уровень интеллекта, мы не полагаемся исключительно на те условия, что предлагаемые образцы следует перегружать различными факторами и что они должны быть критериями внешней деятельности, подтверждая, что тестом измеряется интересующий нас конструкт. По
Определение валидности опросника
замечанию Нанэли и др. (Nunally, 1970), подходы, основанные на валидности критерия, являются проблематичными, часто показывая недостаточно качественную методику оценки. Они ведут к появлению тестов, допускающих слабую внутреннюю согласованность, неразвитую структуру факторов, нестабильность по отношению к критериям, не являющимся основополагающими при выборе позиций тестирования.
Мы опираемся как на теоретическое, так и на эмпирическое обоснование, чтобы обеспечить валидность тестов, определяющих неявные знания. Для этого привлечена унифицированная модель Мессика (Messick, 1995), чтобы показать теорию неявных знаний и этапы разработки теста, которые мы схематично изложили. Модель Мессика обращена к традиционным, автономным формам валидности (содержание, конструкция и критерии) как аспектам более общей валидности конструкта. Соответственно важнейшей целью валидизации тестов является утверждение интерпретации подсчетов в рамках теста и их использования.

Осуществляется это благодаря сочетанию рациональных теоретических и эмпирических доказательств.
Содержательный аспект
Данный аспект валидности подтверждает, что содержание теста является значимым и показательным для конструкта, о котором идет речь. Он соотносится с теми значениями, что подпадают под традиционное название валидности содержания. В контексте разработки теста для определения неявных знаний целеполагание приемлемости конструкта заставляет выработать такие вопросы, которые бы обладали восприимчивостью к знаниям, типичным для рассматриваемого конструкта, и были бы несущественными относительно областей знаний, рассмотрение которых в данный момент не предполагается. Первым шагом в процессе разработки теста оказывается этап идентификации, берется интервью у руководителей.

В этом случае мы ориентируем участников на их личный опыт, уводя от формальных принципов или от официально существующих в данной области деятельности теоретических догм. Вторым этапом является отбор. На этой фазе руководителей просят оценить качества предложенных им примеров, неявных знаний. Эта оценка (т. е. средняя величина и ее колебания) может подтвердить значимость указанных примеров для основного конструкта. Например, примеры неявных знаний, получившие низкую оценку (те, что респонденты посчитали малоинформативными), могут вовсе не иметь отношения к достижению успеха в работе.

Или примеры, в оценке которых эксперты незначительно расходятся (когда респонденты в целом единодушно высказывались относительно качеств соответствующих или плохих тех знаний, что отражены в примере), могут не отражать знания, полученные в опыте индивида, если те в целом оцениваются как показательные. Помимо этого, задача обосновать приемлемость конструкта осуществляется и за счет того, что на различных стадиях разработки теста обращаются к экспертам в соответствующей области и просят оценить важность примеров неявных знаний для их конструкта.
Задача его репрезентативности требует таких примеров неявных знаний, которые являются типичными в рамках рассматриваемой области деятельности.
34

Содержание раздела