Работа с экспертами
Далее по каждому направлению выделяются подгруппы экспертов, и устанавливается количество экспертов в каждой подгруппе, которое зависит от конкретной постановки задачи и должно обеспечивать необходимый охват и полноту аспектов по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области опроса и общему стажу.
Зачастую расчеты по формулам математической статистики дают слишком высокие значения численности экспертной группы (порой больше 100 экспертов), поэтому на практике можно рекомендовать использовать прагматический подход, который не является столь теоретически обоснованным, как первый подход, но зато легко реализуемым.
Оценки численности группы экспертов в этом случае можно произвести, руководствуясь следующими соображениями. Ясно, что численность группы не должна быть малой, так как в этом случае был бы потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта. При увеличении группы экспертов хотя и устраняются эти недостатки, но зато появляется опасность возникновения новых.
Так, при очень большом числе экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов, что в свою очередь может привести лишь к уменьшению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с обработкой результатов опроса и координацией работы группы.
Следовательно, существуют некоторые граничные оценки численности группы экспертов Nmin и Nmax которые определяются следующим образом.
Нижняя оценка численности Nmin должна зависеть от числа оцениваемых событий. Данное предположение основано на существовании правила, которое обычно соблюдается при работе ученых советов, комиссий специалистов и т.д., а именно требований представительности группы, состоящей из N экспертов, для принятия решений по множеству m событий, которое можно представить как N = m. Поэтому принимаем Nmin = m.
Верхней границей численности экспертной группы является потенциально возможное число экспертов:
Nmax = Nn (2)
откуда действительное значение численности группы N находится в пределах
Mmax= Nmin = Nmax = Nn (3)
После того как найдена численность группы, определяется ее структура и состав, т.е. подбираются в группу эксперты требуемой специализации и квалификации. Для того чтобы экспертная группа могла всесторонне произвести оценку событий, число экспертов NL каждого L-го направления желательно выбрать одинаковым:
NL = N / r (4)
где L = 1, 2, ..., r;
где r число направлений.
Далее должно быть учтено одно ограничение, касающееся соответствия целей экспертов целям экспертного опроса, т.е. необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возможные цели экспертов, противоречащие целям получения объективных результатов.
Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые в желательном для себя либо для других лиц направлении.
На основе сформулированных выше условий последовательность формирования группы экспертов может быть следующей. Сначала определяется потенциально возможное число экспертов Nn а также минимально допустимая численность группы Nmin. После этого среди потенциально возможных экспертов выделяют группу специалистов Nk (Nk = Nn) требуемой квалификации для оцениваемого класса событий. Затем из Nk исключают тех экспертов, чьи потенциально возможные цели могут противоречить целям получения объективных результатов.
Из оставшихся экспертов Nц (Nц Nk) формируют группу так, чтобы в ней обеспечивалось равночисленное представительство разных направлений. Для этого вначале определяют максимально возможное число представителей каждого направления как
NLmax = Nц / r (5)
Потом находят направление с наименьшим числом экспертов NLmax, которое входит в группу Nц. Тогда общая численность группы будет определяться по формуле
N = NLmin r (6)
После этого проверяют соотношение N = Nmin. Если оно не удовлетворяется, то необходимо выяснить возможность ослабления приведенных выше ограничений либо допустимость нарушения условия N = Nmin, что связано с важностью принимаемых решений на основе экспертных оценок.
2.3.2.4. Формирование вопросов и составление анкет Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входит:
- независимость формирования экспертами собственного мнения об оцениваемых событиях;
- удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);
- логическое соответствие вопросов структуре объекта опроса;
- приемлемые затраты времени на ответы по вопросам анкеты, удобное время получения вопросов и выдачи ответов;
- сохранение анонимности ответов для членов экспертной группы;
- проведение коллективных обсуждений оцениваемых событий;
- предоставление экспертам требуемой информации. Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы. Причем в них должна быть учтена специфика оцениваемых событий, а также особенности организаций, из которых приглашаются эксперты.
2.3.2.5. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов
Если имеются оценки aij событий (факторов) Ci определенные каждым nj N экспертом, то возникает вопрос о том, каким образом могут быть получены групповые оценки событий.
В общем случае групповая оценка аi, каждого Сi события зависит от оценок экспертами этого события и степени компетентности hj экспертов. Степень компетентности hj эксперта учитывает его опыт и квалификацию и является основной характеристикой эксперта, которая используется при определении групповых оценок- Поэтому
ai = f(aij,hj) (7)
где i = 1, 2, ..., m;
j = 1, 2, , p.
Следовательно, задание способа формирования групповых экспертных оценок состоит в определении этой функции. Причем необходимо, чтобы она была строго монотонно возрастающей по aij и hj
Этому условию удовлетворяет множество функций. Обычно полагают, что функцию (5) можно представить как
ai =
При равной компетентности экспертов эта формула принимает вид средней оценки
ai =
В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки аij могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Принципиальной разницы в данных шкалах нет, выбор той или иной из них во многом определяется удобством получения и обработки оценок, а также вкусом исследователя, проводящего экспертный опрос.
Для того чтобы учитывать различие в компетентности экспертов, им могут быть приписаны различные веса, которые учитываются при определении групповых оценок. Причем значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки.
Тогда 0 hj, = 1. Значения весовых коэффициентов могут быть использованы при построении системы стимулирования работы группы экспертов. Например, дополнительная оплата за работу по оценке событий определится пропорционально весовому коэффициенту эксперта.
Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.
Оценку следует строить на основе определенной шкалы, каждый балл которой определяется с помощью выбора соответствующих характеристик, оценивающих квалификацию эксперта10. При этом должен быть учтен уровень квалификации эксперта в узкой области специализации, уровень теоретической подготовки, его практический опыт и широта кругозора. Перечисленные характеристики лучше всего оценивать по десятибалльной шкале, разработанной специально к конкретному экспертному опросу.
Полученные характеристики следует свести в один показатель, характеризующий объективную оценку компетентности эксперта, hjo.
Кроме того, целесообразно определить показатель относительной самооценки эксперта (субъективный показатель hсj). Этот показатель получается следующим образом: для каждого вопроса или группы вопросов, по которым считается необходимым оценить компетентность эксперта, в таблице экспертных оценок предусматривается шкала под названием относительная самооценка эксперта. В ней эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь, например, на следующие значения баллов:
10 эксперт специализируется по данному вопросу, имеет по нему законченные теоретические или практические разработки (научные исследования, запущенные в производство технические разработки, данный вопрос непосредственно относится к области его узкой служебной деятельности);
8 в практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;
5 вопрос входит в сферу, тесно связанную с его узкой специализацией направления (смежная прикладная дисциплина, смежная область практической деятельности);
3 вопрос не входит в сферу, тесно связанную с его узкой специализацией направления (например, знакомство с проблемой по литературным источникам, по работе на другом предприятии и т. п.).
В целом показатель относительная самооценка эксперта направлен на то, чтобы эксперт сам оценил уровень своей компетентности по заданному вопросу.
Для того чтобы шкала баллов не оказывала влияния на самооценку, в графе относительная самооценка эксперта можно привести перечень характеристик компетентности экспертов без проставления баллов. В этом случае эксперт должен подчеркнуть те характеристики, которые, по его мнению определяют уровень его личной компетентности.
Баллы проставляются рабочей группой при анализе собранных анкет. Анкета для определения компетентности приводиться в приложении 3
Произведение объективного и субъективного показателей, деленное на сто, будет характеризовать компетентность эксперта по данному вопросу, то есть
hj = hjo hjc /100 (10)
Деление на 100 необходимо для приведения диапазона изменения hj к виду 0hj=1. Тогда показатель компетентности эксперта можно трактовать как вероятность задания им достоверной оценки.
При неоднократном повторении опроса одним и тем же коллективом экспертов (либо устойчивым большинством) по сходным вопросам можно и необходимо на каждом новом опросе пользоваться уже накопленными результатами для уточнения характеристик компетентности экспертов.
Кроме того, компетентность экспертов может быть определена самими экспертами. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя.
Далее определяется среднеарифметическая оценка компетентности каждого эксперта.
Если экспертиза проводится неоднократно одной и той же группой (или устойчивым большинством) экспертов по сходным вопросам, следует при каждом новом опросе воспользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.
Практика экспертных опросов показывает, что, хотя методы самооценки недостаточны для того, чтобы служить единственным критерием оценки компетентности экспертов, использование этих методов способствует более обоснованным выбору и оценке экспертов.11
Таким образом, получены данные, подтверждающие связь между средней групповой самооценкой (частное от деления суммы индивидуальных на число экспертов в группе) и точностью экспертизы. На рис 3 изображена кривая, показывающая зависимость между средней групповой самооценкой (у) и средней групповой ошибкой (х).
Между этими величинами существует обратная связь, заключающаяся в том, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого вытекает следующий вывод. Пусть, например, группа кандидатов в эксперты со средней оценкой С разделена на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В более низкую.
Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В менее точной. С другой стороны, различные подходы к оценке компетентности экспертов можно рассмотреть и с иных позиций. Экспертные оценки носят субъективный характер, оценка компетентности экспертов также.
Возникает вопрос: повышает ли точность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окончательные оценки без формализованного учета компетентности экспертов?
Только при этом следует на этапе отбора экспертов уделить больше внимания неформальной оценке уровня их квалификации, а затем, при подведении результатов экспертизы, считать их всех равнокомпетентными, и в качестве интегральной оценки рассматривать среднеарифметическое их отдельных оценок. Часто на практике поступают именно таким образом.
Работа с экспертами
В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов порядок работы с ними может быть различным, но в основном он содержит следующие три этапа.
На первом этапе эксперты привлекаются в индивидуальном порядке с целью уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность представления таблиц экспертных оценок в той или иной форме; уточнить состав группы экспертов.
На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок заполнения анкет с примерами.
Когда имеется возможность собрать экспертов вместе, особенно если удается их сгруппировать в соответствии с какими-либо признаками, существенно важными для данного опроса, например эксперты из одной организации, только сотрудники сбытовых служб, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть доложены устно. Обязательное условие такой формы экспертного опроса последующее самостоятельное заполнение анкет при соблюдении всех правил анкетирования.
Третий этап работы с экспертами осуществляется после получения результатов опроса и изучения исследуемого объекта другими методами в процессе обработки и анализа полученных результатов. На этом этапе от экспертов в форме консультаций обычно получают всю недостающую информацию, которая требуется для уточнения полученных данных и их окончательного анализа.
2.3.2.7. Анализ и обработка экспертных оценок
При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов и достоверность экспертных оценок.
Пусть для каждого события Сi на основании оценок aij, заданных группой из Р экспертов, образована матрица рангов важности ||ij||, где i = 1, 2, ..., m число событий, j = 1, 2, ..., р число экспертов. Матрица ||ij|| получается из матрицы ||aij|| путем определения, исходя из коэффициентов относительной важности событий aij рангов важности этих событий, т.е. событиям присваиваются номера 1, 2, 3,,.., m натурального ряда чисел.
Таким образом, при ранжировании события располагаются в порядке возрастания или убывания какого-либо признака X, количественно неизмеримого. Ранг аi указывает то место, которое занимает i-е событие среди других m событий, ранжированных в соответствии с признаком X.
Ранжирование применяется, когда события располагаются согласно неизмеримому и не подсчитываемому качеству или рассматриваются только относительно взаимного расположения во времени или пространстве. Ранжирование может являться менее точным выражением упорядоченной связи событий относительно какого-либо измеримого или подсчитываемого качества как замена переменной порядковым номером в прикидочных расчетах в целях экономии времени и уменьшения трудоемкости вычислений.
При использовании рангов важности для сравнения результатов (событий) нельзя установить, насколько один результат лучше другого, можно только определить ряд предпочтения рассматриваемых результатов. Иными словами, числа, характеризующие порядковую меру предпочтительности результатов, при сравнении, предположим, событий А и Б нельзя делить или вычитать, пытаясь узнать, насколько первый результат лучше второго.
Будем рассматривать упорядоченную последовательность суммарных рангов m событий, которую представим в виде
2i m (11)
где i находится из матрицы ||ij||по формуле
ai=
В таблице 2.1 приводится условный пример определения рангов важности событий исходя из их коэффициентов относительной важности. (Более важное событие имеет меньший ранг важности.) Таблица 2.1 Определение рангов важности
| События С | ||||
| 1 | 2 | 3 | ||
| Эксперт j = 1 | 0,5 | 0,2 | 0,3 | |
| Оценки | ||||
| Экспертов aij | ||||
| Эксперт j = 2 | 0,3 | 0,6 | 0,1 | |
| Эксперт j = 1 | 1 | 3 | 2 | |
| Ранги | ||||
| Важности ij | ||||
| Эксперт j = 2 | 2 | 1 | 3 | |
| Суммарный | 3 | 4 | 5 | |
| ранг важности i |
Среднее значение рангов рассматриваемого ряда
равно
= 1/2p(m+1) (14)
Суммарное квадратическое отклонение 8 суммарных событий от среднего значения есть
Величина S достигает максимального значения в случае, если все р экспертов дадут одинаковые оценки каждому Сi событию.
Тогда рассматриваемый ряд суммарных рангов будет иметь вид р, 2р,..., mр.
Вычтем из этого ряда среднее значение:
= 1/2p(m+1); 1/2h(1-m);1/2p(3-m)1/2p(m-1) (16)
Сумма квадратов этого ряда равняется
Smax =1/12p2(m3-m) (17)
Очевидно, что в качестве меры согласованности экспертов можно принять отношение
называемое коэффициентом конкордации. Величина W изменяется в пределах от 0 до 1. При W = 0 согласованности совершенно нет, т.е. связь между оценками различных экспертов отсутствует.
Наоборот, при W = 1 согласованность мнений экспертов полная.
В том случае, если последовательность (2) кроме строгих неравенств имеет равенства, т.е. существует совпадение рангов, то формула для вычисления коэффициента конкордации имеет вид
Где
Когда ранги повторяются, то для получения нормальной ранжировки, имеющей среднее значение ранга, равное 1/2p(m+1), необходимо приписать событиям, имеющим одинаковые ранги, ранг, равный среднему значению мест, которые эти события поделили между собой.
Например, получена ранжировка событий, представленная в таблице 2.2.
Таблица 2.2
Эмпирическая ранжировка событий
| События i | 1 | 2 | 3 | 4 | 5 | 6 |
| Ранги i | 1 | 2 | 3 | 3 | 2 | 3 |
События 2 и 5 поделили между собой второе и третье места. Значит, им приписывается ранг (2+3)/2=2.5
события 3, 4 и 6 поделили между собой четвертое, пятое, шестое места, и им приписывается ранг
(4+5+6)/3=5
Таким образом, получаем нормальную ранжировку (табл. 2.3)
Таблица 2.3
Нормальная ранжировка событий
| События i | 1 | 2 | 3 | 4 | 5 | 6 |
| Ранги i | 1 | 2.5 | 5 | 5 | 2.5 | 5 |
Для крайних значений коэффициента конкордации могут быть высказаны следующие предположения. Если W = 0, то согласованности в оценках нет, поэтому для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов.
При W = 1 далеко не всегда можно считать полученные оценки объективными, поскольку иногда оказывается, что все члены экспертной группы заранее сговорились, защищая свои общие интересы. Необходимо, чтобы найденное значение W было больше заданного значения W3(W W3). Можно принять W3 = 0,5, т.е. при W 0,5 действия экспертов в большей степени согласованы, чем не согласованы. При W 0,5 полученные оценки нельзя считать достоверными, и поэтому следует повторить опрос заново.
Жесткость данного утверждения определяется важностью проводимого исследования и возможностью повторной экспертизы. Очень часто этим требованием пренебрегают. 3. Разработка системы оценки эффективности работы отдела маркетинга на примере ООО Тандем Трэйд Описание мероприятий, необходимых для создания и функционирования системы оценки эффективности работы отдела маркетинга будет изложено по принципу уровня контроля, то есть первоначально описываются показатели и мероприятия, необходимые для сбора информации по показателям на уровне итогового контроля, затем на уровне текущего контроля и в конце на уровне предварительного контроля.
Итоговый контроль
На уровне итогового контроля и оценки эффективности определяются следующие показатели:
- доля рынка;
- объем продаж;
- полученная прибыль по различным направлениям деятельности ГКТ, и прибыль, полученная по определенным позициям товаров;
- оценивается степень достижения поставленных перед предприятием стратегических целей.
Кроме перечисленных необходимо на данном уровне контроля анализировать различные показатели маркетинговой активности, после чего фирма должна выработать схему решений, которые помогут ей поддерживать уже достигнутые высокие показатели или улучшить текущие. Возможные направления маркетинговых решений представлены в приложении 5, где:
Q отклонение реального объема продаж от планового значения;
ТС общие издержки производства;
Dрынка отклонение реального значения доли рынка от запланированного;
См затраты на маркетинг;
ТR валовая выручка;
Nн.з. количество новых заказов;
Nи.з. количество имеющихся заказов;
рекламаций общая сумма рекламаций;
CV коэффициент вариации доходов;
SD среднеквадратичное отклонение в доходах;
I индекс нестабильности доходов;
изменение рентабельности;
Пк. т-д прибыль канала товародвижения;
Ск. т-д суммарные затраты на данный канал товародвижения;
TRТОиЗ прибыли от краткосрочных проектов;
Пкр. пр. выручка от технического обслуживания и замены продукции;
Nпотреб. -количество потребителей;
Nпродав. количество продавцов;
Qсклада объем склада.
Все организационно-экономические решения можно классифицировать, используя функциональный маркетинговый подход:
1. Решения по активизации ассортиментной политики.
1.1. Расширение ассортимента.
1.2. Пересмотр ассортимента (изменение, диверсификация, анализ структуры).
1.3. Повышение качества продукции.
2. Решения по активизации ценовой политики.
2.1. Снижение издержек.
2.2. Активизация стратегии ценообразования.
2.3. Установление нормы прибыли в зависимости от риска на различных стадиях ЖЦТ.
3. Решения в области активизации товародвижения.
3.1. Разработка системы стимулирования торговых агентов.
