НАУКА и ОБРАЗОВАНИЕ

УДК 519.81

Россия, МГТУ им. Н.Э. Баумана

spirid@bmstu.ru

Введение. Информационные системы (ИС) используют практически во всех областях человеческой деятельности. В процессе эксплуатации ИС, из-за непрерывного развития средств вычислительной техники, обслуживающему персоналу постоянно приходится решать задачи, касающиеся определения пути дальнейшего развития аппаратно-программной и организационной структуры системы, для удовлетворения постоянно растущих потребностей ее пользователей. Частичная неопределенность целого ряда исходных параметров ИС, на начальном этапе определения пути ее дальнейшего развития, не позволяет в полной мере корректно использовать существующие математические методы для выбора наилучшего варианта развития ИС.

 В [1], для решения задач такого типа, предлагается использовать метод экспертного анализа, либо в виде ранговой оценки сравниваемых вариантов, либо в виде сопоставления этих вариантов. Использование метода экспертного анализа позволяет обойти многие преграды за счет применения интуиции, логического мышления и практического опыта экспертов, поэтому лицо принимающее решение (ЛПР), часто на практике использует этот метод, в различных его вариациях, для проведения сравнительного анализа альтернативных вариантов развития ИС и выбора среди них наилучшего варианта.

Однако использование метода экспертного анализа не всегда позволяет получить экспертам согласованный вариант развития ИС, поскольку между экспертами рабочей группы возможны и существенные разногласия. В связи с этим проблема увеличения согласованности мнений экспертов рабочей группы, при проведении экспертного анализа, является весьма актуальной. Возможны различные пути решения этой проблемы, одним из которых, согласно [2], является предварительный расчет и практическое использование весовых коэффициентов ранговых оценок экспертов при обработке результатов экспертного опроса. Эти весовые коэффициенты должны учитывать уровень компетентности экспертов и уровень согласованности суждений экспертов, чтобы снижать уровень несогласованности мнений экспертов при ранжировании вариантов развития ИС и выборе среди них наилучшего. Однако, к сожалению, подходы к расчету весовых коэффициентов, предлагаемые в [2, 3] не позволяют в полной мере решать проблему снижения несогласованности мнений экспертов.

Постановка задачи. Необходимо разработать подход к выбору весовых коэффициентов ранговых оценок экспертов, позволяющий ЛПР увеличить степень согласованности мнений экспертов рабочей группы, при сравнении альтернативных вариантов развития ИС, с целью получения от них адекватной информации по ранжированию этих вариантов.

Решение задачи. На основе изучения целого ряда работ [1-8] предложен комплексный подход к организации экспертного анализа, основанный на расчете и использовании весовых коэффициентов ранговых оценок мнений экспертов.

Подход включает:

- рекомендации по формированию компетентной рабочей группы экспертов;

- правила использования экспертами стандартизированной ранговой системы;

- рекомендации по организации и проведению экспертного опроса;

- расчет весовых коэффициентов ранговых оценок экспертов;

- правила обработки результатов экспертного опроса.

Основу предложенного подхода составляют следующие принципы:

- уровень компетентности эксперта зависит от целого ряда факторов, отражающих как профессиональные, так и личные его качества;

- уровень компетентности рабочей группы экспертов зависит от уровней компетентности отдельных экспертов, входящих в ее состав;

- уровень согласованности мнений экспертов рабочей группы зависит от уровня компетентности экспертов этой группы, входящих в состав одной научной школы.

При этом согласно [4 - 6] можно считать, что чем больше уровень компетентности экспертов рабочей группы, тем меньше уровень несогласованности их мнений, при условии, что эксперты принадлежат к одной научной школе.

Рассмотрим более подробно основные аспекты предложенного подхода.

На первом этапе формируют рабочую группу экспертов, которая способна корректно решать поставленные перед ней задачи. Согласно [7], уровень компетентности экспертов рабочей группы () должен отвечать следующему условию:

                   (1)

При этом значение (M), согласно [7], вычисляется по следующей формуле:

                    (2)

Где - уровень компетентности j-го эксперта;

- количество экспертов в составе рабочей группы.

Для оценки уровня компетентности () каждого j-го эксперта () предлагается использовать выражение (3):

                        (3)

В выражение (3) включены пять обобщенных показателей , учитываемых при оценке уровня компетентности- эксперта, при этом ().

 - учитывает профессиональную подготовленность, стаж и опыт работы;

 - учитывает уровень информированности в сфере научных публикаций;

 - учитывает, на основе самооценки, стремление к профессиональному росту, умение работать в коллективе, а также дисциплинированность и организованность;

 - учитывает личные качества эксперта, данные ему коллегами экспертами;

 - учитывает уровень согласованности действий эксперта с членами формируемой рабочей группы при выполнении тестового задания.

Оценку коэффициентов  осуществляют на основе рекомендаций, приведенных в [3, 7, 9], с учетом особенностей построения вербально - числовых шкал, описанных в [10]. После этого вычисляют уровень компетентности эксперта  по выражению (3).

Далее составляют упорядоченный ряд экспертов, ранжированный по уровню их компетентности, начиная с эксперта, у которого уровень компетентности имеет наибольшее значение, т. е.

После этого формируют состав экспертной группы, последовательно выбирают экспертов из ранжированного ряда экспертов, начиная с эксперта, у которого уровень компетентности имеет наибольшее значение. При этом количество экспертов в составе рабочей группы, согласно [7, 11, 12]рекомендуется брать не меньше числа сравниваемых вариантов, но не более 10.

После формирования окончательного состава экспертов рабочей группы следует провести оценку уровня ее компетентности, используя условие (1). Если условие (1) выполняется, то рабочую. группа следует признать работоспособной, иначе следует провести повторное формирование группы.

На втором этапе задают правила использования экспертами стандартизированной ранговой системы. Варианту, который занимает первое место, эксперт должен присвоить ранг равный единице, за второе место – ранг, равный двум и т. д. Если варианты у эксперта равноценны, то их называют связанные, и они должны иметь у этого эксперта одинаковый ранг. Численное значение ранга варианта, входящего в состав связанных вариантов, представляет собой среднее значение суммы мест этих вариантов в ранговой системе эксперта. Вычисление ранга связанных вариантов () эксперт выполняет по следующей формуле

Где - число вариантов более предпочтительных, чем группа связанных вариантов;

  - число связанных вариантов.

Сумма рангов (), которую каждый j- ый эксперт присваивает всем сравниваемым вариантам в стандартизированной ранговой системе, определяется выражением

                      (4)

Где - ранг i – го варианта, который присвоил ему j- ый эксперт (i= 1, n), (j= 1, m);

 - количество сравниваемых вариантов;

- количество экспертов в составе рабочей группы.

На третьем этапе проводят опрос экспертов, и заполняют таблицу, подобную табл.1, в которую заносят результаты опроса всех экспертов.

Таблица 1

Результаты ранжирования вариантов экспертами рабочей группы

При этом для определения суммарного ранга () i-го варианта, согласно [2, 8], следует использовать простое суммирование рангов этого вариантов, которые дали ему все эксперты. Поэтому имеем:

                            (5)

Суммарный средний ранг всех сравниваемых вариантов () для стандартизированной ранговой системы, согласно [2], определяется из следующего выражения:

                     (6)

Значение  - это квадрат отклонения суммарного среднего ранга i – го варианта от суммарного среднего ранга всех вариантов;

Величина - сумма квадратов отклонений суммарных рангов каждого из вариантов от суммарного среднего ранга всех вариантов, согласно [2], определяется из следующего выражения:

                          (7)

На четвертом этапе проводят расчет весовых коэффициентов ранговых оценок экспертов. Предлагаются два варианта расчета весовых коэффициентов.

Вариант 1. Весовые коэффициенты () рассчитывают с учетом уровня компетентности экспертов () по формуле:

                   (8)

Тогда, с учетом весовых коэффициентов, скорректированные значения рангов вариантов ( ) , по сравнению с теми значениями, которые первоначально присвоили им эксперты ( ) , вычисляют по формуле

                       (9)

Если эксперты имеют одинаковые весовые коэффициенты ранговых оценок, то   и

При этом для стандартизированной ранговой системы, для средних значений рангов всех вариантов, выполняется условие

Вариант 2 . Весовые коэффициенты рассчитывают с учетом результатов выполнения экспертами тестовых заданий. По результатам выполнения экспертами тестового задания выполняют следующие действия:

- строят общую матрицу исходных ранговых оценок сравниваемых вариантов, на основе ранговых оценок отдельных экспертов ();

- вычисляют коэффициент ранговой корреляции Спирмена () для сравнения ранговых оценок каждой пары экспертов по формуле:

                 (10)

при этом    и                           

Где i- номер оцениваемого варианта;

 - число вариантов, подлежащих сравнению;

, - ранги, данные i-ому варианту соответственно -ым и -ым экспертами;

 и  - показатели повторяемости рангов для сравниваемых экспертами вариантов;

, - число повторений каждого ранга соответственно у -го и -го экспертов;

 - число рангов, которые повторяются соответственно у -го и -го экспертов.

Если у экспертов повторяющиеся ранги отсутствуют, то выражение (10) упрощается и принимает вид:

                    (11)

- на основе значений, полученных с помощью выражения (11), составляют матрицу коэффициентов ранговой корреляции Спирмена () , отражающую уровень согласованности мнений каждой пары экспертов;

- вычисляют суммарный коэффициент согласованности мнений каждого j-го эксперта () с остальными экспертами рабочей группы по формуле:

                          (12)

При этом значения  находятся в границах от - () полная несогласованность до + () полная согласованность эксперта с остальными членами рабочей группы. При нормировании величины  относительно значения полной несогласованности экспертов, получаем, что значение модифицированного суммарного коэффициента согласованности мнений каждого j-го эксперта  с остальными экспертами рабочей группы определяется по формуле:  

     (13)

После этого весовые коэффициенты ранговых оценок экспертов () рассчитывают с учетом значений  по формуле:

                   (14)

Тогда, с учетом весовых коэффициентов, полученных на основе выполнения экспертами тестового задания, скорректированные значения рангов сравниваемых вариантов ( ), по сравнению с теми, которые первоначально присвоили им эксперты () , вычисляют по формуле:  

                  (15)

При этом для стандартизированной ранговой системы, для средних значений рангов сравниваемых вариантов, выполняется условие

Далее, с учетом [2], для предложенных двух вариантов задания весовых коэффициентов ранговых оценок экспертов, формулы для обработки результатов экспертного опроса имеют следующий вид:

                     (16)

                            (17)

                         (18)

                           (19)

                        (20)

Для оценки уровня согласованности мнений экспертов рабочей группы, используют коэффициент конкордации W., т.е. коэффициент ранговой корреляции экспертов этой группы, который обычно рассчитывают по формуле, предложенной Кендаллом. При этом W, согласно [2], определяют, как отношение фактически полученной величины Sк ее максимальному значению  для одной и той же группы экспертов и числа сравниваемых вариантов, по формуле

          (21)

где  или  соответственно для первого и второго вариантов расчета весовых коэффициентов

                      (22)

 - коэффициент, учитывающий наличие связанных вариантов у j- го эксперта;

 - число групп одинаковых рангов вариантов у j-го эксперта;

к - номер группы одинаковых рангов вариантов у j-го эксперта ( к = 1,);

 - число одинаковых рангов вариантов в к-ой группе у j - го эксперта.

При отсутствии связанных вариантов у всех экспертов рабочей группы, выражение (21) упрощается и принимает следующий вид:

             (23)

где  или  соответственно для первого и второго вариантов расчета весовых коэффициентов

Оценку значимости коэффициента конкордации проводят по критерию .Согласно [2] величина  имеет  распределение с  степенями свободы.

Расчетное значение критерия  определяют по следующему выражению

                        (24)

Табличное значение критерия  определяют обычно при уровне значимости  и числе степеней свободы .

Если , т.е. расчетное значение больше табличного, то с вероятностью 95% можно утверждать, что мнения экспертов рабочей группы являются вполне согласованными, если  , то мнения экспертов не являются согласованными.

Для качественной оценки степени согласованности мнений экспертов также можно использовать вербально-числовые шкалы [13], предложенные Марголиным и Харрингтоном, которые приведены соответственно в табл.2 и табл. 3.

Таблица 2

Оценка степени согласованности мнений экспертов по шкале Марголина

Таблица 3

Оценка степени согласованности мнений экспертов по шкале Харрингтона

Если уровень согласованности мнений экспертов рабочей группы, вычисленный с помощью коэффициента конкордации, удовлетворяет критерию, т.е.  , или степень согласованности мнений экспертов не ниже высокой, ЛПР может считать, что ранжирование вариантов, выполненное экспертами рабочей группы, проведено корректно и может быть использовано для принятия окончательного решения..

Пример.

Рассмотрим пример, который носит иллюстративный характер и служит лишь для демонстрации использования предложенного подхода для ранжирования альтернативных вариантов развития ИС.

 ЛПР для сравнения пяти вариантов развития ИС на основе предложенного в работе подхода, сформировал рабочую группу в количестве 6 экспертов. Уровни компетентности экспертов соответственно равны:

 ,  ,  ,  ,  ,  .

Уровень компетентности рабочей группы экспертов, вычисленный по выражению (2), равен . Поскольку () , то согласно условию (1), рабочая группа экспертов является компетентной и работоспособной.

После проведения экспертного опроса, результаты ранжирования вариантов развития ИС, выполненные экспертами, сведены в табл. 4 (столбцы 2-7).

При этом считаем, что весовые коэффициенты ранговых оценок экспертов, одинаковые.

Таблица 4

Ранговые оценки вариантов развития ИС, выставленные экспертами рабочей группы

Значения , вычисленные по формуле (5), приведены в табл. 4 (столбец 8).

Значение  вычисляем по формуле (6) и получаем , Вычисленные значения  и  соответственно приведены в табл. 4 (столбцы 9 и 10).

Значение  вычисляем по формуле (7) и получаем

Поскольку у экспертов отсутствуют связанные варианты, то расчет коэффициента конкордации проводим по формуле (23):

Оценку значимости коэффициента конкордации проводим по критерию , при уровне значимости  и числе степеней свободы , по формуле (24)

Используя [14] определяем табличное значение критерия  , получаем

Поскольку , т.е. расчетное значение меньше табличного, поскольку (), то с вероятностью 95% можно утверждать, что мнения экспертов не являются согласованными.

Однако, работу экспертов рабочей группы следует признать все-таки успешной, поскольку при уровне значимости  и числе степеней свободы , получаем . В этом случае , т.е. расчетное значение больше табличного, поэтому с вероятностью 90% можно утверждать, что мнения экспертов являются согласованными. ЛПР этот результат не устраивает, и он желает получить более согласованное решение экспертов. Поэтому далее, для получения от экспертов более согласованного решения, используем процедуру задания весовых коэффициентов ранговых оценок экспертов. При этом применяем и сравнивает два варианта задания весовых коэффициентов ранговых оценок экспертов.

Вариант 1. Весовые коэффициенты ранговых оценок экспертов () задаем с учетом уровня компетентности экспертов. Согласно выражению (8) имеем:

 ,  ,  ,

 ,  ,  

Скорректированные, с учетом весовых коэффициентов, значения ранговых оценок сравниваемых вариантов ( ), вычисленные по формуле (9), приведены в табл. 5.

Таблица 5

Скорректированные, с учетом весовых коэффициентов , ранговые оценки вариантов развития ИС, полученные от экспертов рабочей группы

Результаты расчетов, проведенные последовательно по формулам (18) и (23) соответственно показывают, что

Оценку значимости коэффициента конкордации проводим по критерию , при уровне значимости  и числе степеней свободы , по формуле (24)

Используя [14] определяем табличное значение критерия  и получает

Поскольку , т.е. расчетное значение больше табличного (), то с вероятностью 95% можно утверждать, что мнения экспертов являются согласованными. Также имеем, что для , согласно табл. 2 и табл. 3, , согласованность мнений экспертов рабочей группы является соответственно слабой и средней с качественной точки зрения

Вариант 2 Весовые коэффициенты ранговых оценок экспертов () задаем с учетом результатов выполнения экспертами тестового задания. Считаем, что результаты выполнения экспертами тестового задания приведены в табл. 4.

Далее для каждой пары экспертов, учитывая то, что у них отсутствуют связанные факторы, по формуле (11) вычисляем коэффициент ранговой корреляции Спирмена ,

т.е. коэффициент согласованности их мнений. Полученные результаты заносим в табл. 6.

Таблица 6

Значения коэффициентов ранговой корреляции Спирмена для каждой пары экспертов

Далее по формуле (12) вычисляем суммарный коэффициент согласованности мнений каждого j-го эксперта с остальными экспертами рабочей группы и получаем

Полученные результаты заносим в табл. 6, в последний столбец.

Далее по формуле (13) вычисляем значения  - модифицированного суммарного коэффициента согласованности мнений каждого j-го эксперта с остальными экспертами рабочей группы. и получаем

Весовые коэффициенты () ранговых оценок экспертов, полученные на основе выполнения экспертами тестового задания, вычисляем по формуле (14) и имеем:

 ,  ,  ,  ,  ,

Скорректированные, с учетом весовых коэффициентов, значения рангов сравниваемых вариантов ( ), вычисленные по формуле (19), приведены в табл. 7

Таблица 7

Скорректированные, с учетом весовых коэффициентов , ранговые оценки вариантов развития ИС, полученные от экспертов рабочей группы

Результаты расчетов, проведенные последовательно по формулам (20) и (23) соответственно показывают, что

Оценку значимости коэффициента конкордации проводим по критерию , при уровне значимости  и числе степеней свободы , по формуле (24)

Используя [14] определяем табличное значение критерия  , получаем

Поскольку , т.е. расчетное значение больше табличного (), то с вероятностью 95% можно утверждать, что мнения экспертов являются согласованными. Также имеем, что для  , согласно табл. 2 и табл. 3, согласованность мнений экспертов рабочей группы является соответственно умеренной и средней с качественной точки зрения

При этом использование весовых коэффициентов ранговых оценок экспертов, полученных по результатам выполнения экспертами тестового задания, дает большую согласованность мнений экспертов, чем использование весовых коэффициентов, полученных на основе уровня компетентности экспертов.

Согласно результатов, приведенных в табл. 5 и табл. 7, получаем, что ранжирование вариантов развития ИС по степени их предпочтительности имеет следующий вид , при этом вариант  - наилучший.

Выводы.

1. Предложен комплексный подход к организации проведения экспертного анализа для корректного сравнения и ранжирования альтернативных вариантов развития ИС и увеличения согласованности мнений экспертов рабочей группы.

2. Предложены два варианта расчета весовых коэффициентов ранговых оценок экспертов, соответственно на основе использования уровня компетентности экспертов и на основе использования результатов выполнения экспертами тестового задания.

3. Рассмотрен пример, иллюстрирующий возможность практического использования предложенного подхода к увеличению согласованности мнений экспертов.

Список литературы

1.               Каблашова И.В., Цуканова А.А. Управление качеством процессов производства. Воронеж: Воронеж. гос. техн. ун-т, 2012. 201 с.

2.               Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок.  М.: Статистика, 1974. 160 с.

3.               Зерный Ю.В., Полываный А.Г., Якушин А.А. Управление качеством в приборостроении.  М.: Новый центр, 2011. 479 с.

4.               Афоничкин А.И., Михаленко Д.Г. Управленческие решения в экономических системах.  СПб.: Питер,  2009. 480 с.

5.               Гапоненко Т.В. Управленческие решения. Ростов н/Д.: Феникс, 2008. 284 с.

6.               Горбашко Е.А. Управление качеством. СПб.: Питер,  2008.  384 с.

7.               Лукичева Л.И., Егорычев Д.Н. Управленческие решения. М.: Омега-Л, 2009. 383 с.

8.               Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. М.: КНОРУС, 2011. 568 с.

9.               Михненко П. Секреты эффективных бизнес-решений. М.: NT Press, 2007. 288 с.

10.            Токарев Б.Е. Маркетинговые исследования.  М.: ИНФРА-М, 2011. 512 с.

11.            Крылов А.В. О проблемах организации экспертизы // Проблемы полиграфии и издательского дела. 2006. № 4. С. 117-122.

12.            Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия  решений. М.: Знание, 1985. 32 с.

13.            Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. 2006. № 5. С. 14-16.

14.            Теория статистики / под. ред. Г.Л. Громыко. М.: ИНФРА-М, 2009. 476 с.