МЕТОДИКА ПРИМЕНЕНИЯ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК

Аннотация. Одним из способов обоснования управленческих решений в тех случаях, когда количественная оценка оцениваемого варианта затруднено, является применение методов экспертных оценок. Данные методы, в первую очередь, основаны на профессиональных знаниях и опыте экспертов. Для эффективного применения методов экспертных оценок, в данной статье, предпринята попытка определения методики их применения, выявлены основные этапы. Также обоснована необходимость работы по формированию экспертной комиссии и определению достоверности полученных результатов с целью повышения объективности их интерпретации.

Ключевые слова: методы экспертных оценок; принятие решений; управления.

Актуальность исследования. На этапах жизненного цикла сложных наукоемких продуктов (например, аэрокосмической техники), включая разработку, производство и эксплуатацию, часто необходимо принимать решения в условиях недостаточной информации, с неизвестными алгоритмами решения проблемы, а также в условиях риска. Многообразие целей и задач, их сложность, стоящих перед технологическим менеджментом производственной организации, а также недостаточная подотчетность лиц, принимающих решения, требует от руководства организации в целом и отделов в частности постоянного принятия различных управленческих решений в таких областях, как дизайн и технологическое развитие продукции, внедрение новых технологических процессов в производство, привлечение сторонних организаций. технологии, коммерческое внедрение собственных технологий, модернизация технологического оборудования, исследование причин дефектов продукции или нестабильности логических систем, выбор направления технологических инвестиций, выбор направлений технологического развития компании и др.

Технологические решения служат основой для разработки конструкторских и технологических мероприятий, а также соответствующей документации отправленой на исполнение и внедрение в производство [1].

Использование экспертных методов следует рассматривать как один из возможных подходов к комплексному изучению сложных проблем, окончательное решение которых неясно. Экспертный метод оценки используется в тех случаях, когда сложно применить методы объективного определения значений единичных или комплексных показателей качества такими методами, как инструментальные, эмпирические или расчетные.

Методы экспертной оценки могут использоваться как при формировании стратегических направлений технологического развития компании или подразделения, так и при решении многих частных вопросов, связанных с определением показателей эффективности, рациональности, коммерческой привлекательности интеллектуального технологического продукта.

Экспертная оценка - совокупность научно обоснованных методов интуитивно-логического анализа, позволяющих по заданным исходным данным формировать общую совокупность технически возможных вариантов решений, производить их сравнительный анализ и отбор, включая выделение оптимального по выбранным критериям варианта.

Характеристика методов экспертных оценок в зависимости от возможности каузального анализа, способа агрегирования мнений, степени структуризации группового процесса, направленности на активизацию творчества и возможности прогнозирования в нестабильной окружающей среде приведена в табл. 1. К методам, отвечающим современным задачам прогнозирования можно отнести построение сценариев, а также комбинированный метод, сочетающий преимущества метода управляемой генерации идей и сценарного прогнозирования [2].

Таблица 1.

Характеристика методов экспертных оценок

Составлено конкурентоспособность авторами

В процессе развития производства и управления возникает потребность в качественных

управленческих решениях. Для повышения их обоснованности с учетом факторов, влияющих на результаты, необходим комплексный разносторонний анализ, включающий в себя как количественную, качественную оценку, так и учет суждений специалистов по рассматриваемому вопросу.

Отметим, что экспертное оценивание вносит степень субъективности в полученные результаты, однако на сегодняшний день это безальтернативный метод. Очевидным является тот факт, что от точности и обоснованности выбора частных показателей, установления эталонных значений и интерпретации полученных результатов зависят достоверность полученных выводов и возможность их использования на практике.

Рисунок. Алгоритм экспертной оценки

Руководитель экспертной комиссии формирует первоначальный список кандидатов в экспертную группу.

                                                                                                                (1)

где K i1– коэффициент информированности i-го кандидата; K i2 – коэффициент индивидуальных качеств i-го кандидата; K i3 – коэффициент стабильности работы i-го кандидата; K i4 – коэффициент согласованности мнения i-го кандидата с мнением предварительно сформированной экспертной группы. Для расчета первых трех коэффициентов кандидаты используют балльные оценки, значение которых варьируется по шкале от 0,1 до 1, где 1 – это максимальный балл. Коэффициент информированности определяется по данным, представленным в таблице 1 [7]. Данный показатель отражает, какие источники информации и в какой степени влияют на мнение i-го кандидата при принятии им решений.

Коэффициент, отражающий характеристики индивидуальных качеств кандидата, также необходимо учитывать при определении компетентности. В ряде работ (А.И. Афоничкин, О.С. Кошелев, Л.И. Лукичева и др.) показано, что на эффективность экспертного оценивания непосредственно влияют личные характеристики экспертов, наиболее значимыми среди которых выступают умение работать в команде, объективное оценивание ситуации и т.д.

Таблица 1.

Исходные данные для оценки коэффициента информированности

В результате их исследования, для оценки были выделены 5 обязательных индивидуальных качеств экспертов подчеркнем, что они рассчитываются по формуле средней арифметической:

                                                                                                         (2)

Таблица 2.

Исходные данные для оценки коэффициента индивидуальных качеств кандидата

Коэффициент стабильности работы предлагаем принимать в зависимости от стажа работы кандидата (см. табл. 3).

Таблица 3.

Данные для определена стабильности работы кандидата

Следует отметить, что стаж работы учитывается в отношении организации, где работает кандидат на данный момент времени. Кандидат просто выделяет необходимое поле, которому соответствует обозначенные баллы[5]:

                                                                                                       (3)

Градация значений коэффициента компетенции определяет его уровни: 0,9–1,0 свидетельствует о максимальном уровне компетентности, 0,8–0,9 – высоком, 0,7–0,8 – уровень компетенции выше среднего, 0,6–0,7 – средний, 0,5–0,6 – ниже среднего и менее 0,5 – низкий. Очевидно, что кандидаты с низким, ниже среднего, а также средним уровнем компетентности исключаются из списка претендентов. За сбор информации, обработку собранных данных отвечает рабочая группа, предоставляющая результаты руководителю экспертной комиссии.

Однако объединяет исследователей одна общая позиция: слишком малое количество экспертов в группе приводит к недостоверным результатам, а слишком большое – к проблемам организационного характера. Согласно принципу Гештальта, численность экспертной группы не должна превышать 10 человек. Мы в полной степени согласны с данным принципом. Если количество экспертов будет превышать 10 человек, то станет сложным согласовывать их мнения, возникнут сложности организационного характера. Очевидно, что не все кандидаты после определения уровня компетентности будут включены в окончательный список. Представляется достаточно проблематичным определить точную численность экспертов. Однако следуя законам логики, можно определить минимальное и максимальное количество. Минимальное количество вполне может быть определено численностью экспертов, имеющих максимальное значение коэффициента компетентности. Максимальную же границу предлагаем определять на основе выражения [8]:

                                                                                                   (4)

где m* – общее количество кандидатов; Qmax – значение максимального коэффициента компетентности; Qi – компетентность i-го эксперта.

После определения количества экспертов руководитель комиссии формирует окончательный список экспертной группы. Второй этап по формированию экспертной

комиссии является не менее значимым. Он включает в себя работу по определению методов сбора информации, типов оценочных шкал и способов измерения объектов.

Общепринятыми способами сбора мнений экспертов является «мозговой штурм», деловые игры, дискуссии, метод «Дельфи», метод комиссий и др.

Наименее затратными и простыми в организации, на наш взгляд, являются анкетирование и опрос. Система правил измерения объектов (явлений) позволяет преобразовать полученную от экспертов информацию в удобную для дальнейшего анализа форму. Традиционно тот или иной тип шкалы определяется системой предпочтений экспертов. Так, наиболее простой является номинальная шкала. Она основана на сравнении объектов (явлений) с эталоном и упорядочении их по двуноминальной шкале, при этом присваиваемый балл равен 0 или 1. Шкала отношений используется при наличии абсолютного свойства объекта, когда известна нулевая точка, например, размер прибыли при выпуске нового продукта.

Следующий шаг заключается в определении способа измерения объектов. При работе с порядковой и интервальной шкалой, как правило, используются ранжирование, парное сравнение и непосредственная оценка. Поскольку экспертное оценивание не предполагает анализа большого числа объектов, а различие между оцениваемыми объектами является довольно значительным, то нерационально использовать способ парного сравнения при исследовании ресурсного потенциала организации. Соответственно, оптимальными методами является ранжирование и непосредственная оценка. Сущность ранжирования сводится к выбору наиболее существенного объекта из исследуемой совокупности и расположения объектов в порядке убывания (возрастания). Ранги могут принимать значение от 1 до n, при этом значение самого важного ранга равно 1. Необходимо подчеркнуть, что, по мнению экспертов, если несколько оцениваемых объектов имеют одинаковую важность, ранги присваиваются таким образом, чтобы сумма оставалась неизменной. Например, если объекты 2 и 3 считаются одинаковыми по значимости, то им необходимо присвоить ранг 1,5 и т.п. Непосредственная оценка не просто упорядочивает, но и определяет, насколько один объект более важен, чем другой, посредством интервалов, которым соответствуют баллы, например, от 0 до 5, от 1 до 10 и т.д. Ранжированию соответствует порядковая шкала, а способу непосредственных оценок – интервальная.

Этап экспертного оценивания заключается в непосредственном сборе мнений экспертов и их отборе с применением выбранных методик. С целью определения достоверности результатов полученных оценок необходимо определить согласованность мнений экспертов. Другими словами, полученные мнения экспертов имеют дальнейшее практическое применение только в том случае, если они являются согласованными. Так, для определения согласованности мнений экспертов используются статистические характеристики – меры разброса. Наиболее распространенным параметром является коэффициент вариации. Его мы используем при обработке результатов, полученных в ходе анкетирования при оценке организационного и предпринимательского потенциалов. Традиционно данный коэффициент рассчитывается по формуле [8]:

                                                                                                         (5)

где СКО – среднее квадратическое отклонение, определяемое по формуле:

                                                                                                     (6)

где m – количество экспертов; xj – оценка j-го эксперта; x – средняя оценка группы экспертов. Преобразуя данную формулу для балльных оценок, получим следующее выражение:

                                                                                                        (7)

Bj средний балл i-го эксперта в отношении j-го объекта, рассчитываемый по формуле:

                                                                                                              (8)

где Bij - баллы i-го эксперта в отношении j-го объекта; kj - число экспертов, оценивающих j-ый объект; Вгр - средний балл по группе.

Полученное значение коэффициента вариации характеризует долю среднего значения этой величины, составляющей ее средний разброс [2]. Оно не имеет четких границ, однако очевидным является то, что большое значение данного коэффициента характеризует сильное изменение признака. Эмпирическим путем установлено, что до 10% – слабое изменение; от 10 до 25% – умеренное изменение и свыше 25% – высокое изменение. В теории статистики данное значение несколько выше и принято считать, что если оно превышает 35%, это свидетельствует о неоднородности оценок экспертов[9]. В случае использования метода ранжирования, необходимо рассчитать коэффициент конкордации. В случае если все ранги различны, то используется следующая формула [10]:

                                                                              (9)

Rij – ранг i-го объекта, оцениваемого j-ым экспертом; n – количество объектов; k – количество экспертов. Если хотя бы один эксперт выставил одинаковые ранги, то формула примет вид:

                                                                                                 (10)

где Tj - присутствие в анкете j-го эксперта одинаковых рангов; рассчитывается по формуле:

                                                                                                   (11)

где mj – количество групп одинаковых рангов в анкете j-го эксперта; trj - количество рангов в r-й группе одинаковых рангов в анкете j-го эксперта. Значение коэффициента может принимать значение от 0 до 1. Чем ближе значение к единице, тем более согласованными являются мнения экспертов. О высокой согласованности свидетельствует значение более 0,8.

Выводы. Таким образом, представленный подход к проведению экспертных оценок позволяет формализовать процессы сбора, анализа, обработки мнений экспертов с преобразованием полученной информации в наиболее приемлемую и удобную форму. С целью получения наиболее объективной информации необходимо уделить большое внимание составу комиссии, поскольку от наличия специализированных мнений экспертов в определенной если области будет зависеть и объективность получаемой информации. Не стоит, однако, забывать, о том, что данный метод не может заменить количественный анализ, он лишь дополняет картину и в то же время является безальтернативным вариантом в случае невозможности.