Экспертизой называется оценка, получаемая путём выяснений мнений специалистов. Эксперт (от латинского e x p e r t u s - опытный) -сведущее в определенной области деятельности лицо, приглашаемое для решения вопроса, требующего специальных знаний. Экспертиза бывает индивидуальной (когда к решению задачи привлекается один специалист) или групповой. Эксперты могут устно высказывать своё мнение или заполнять специальный бланк. К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно (В.М. Зациорский, 1982; Б.Г. Литвак, 1996; В.С. Рубин, 2006; Е.Р. Яхонтов, 2006).

Например, к экспертизе прибегают в следующих случаях: а) при прогнозировании какой-либо ситуации; б) при анализе событий, для которых не существует других способов измерения; в) при обосновании принятия того или иного управленческого решения в условиях неопределенности (В.В. Музыченко, 2003; Н.Н. Пилипенко, Е.Л. Татарский, 2007).

Проведение экспертизы включает следующие основные этапы: формирование её цели, подбор экспертов, выбор методики, проведение опроса экспертов, обработка полученной информации, в том числе оценку согласованности индивидуальных экспертных оценок. Экспертные оценки подразделяются на количественные и качественные (Б.Г. Литвак, 2002).

Подбор экспертов - важнейший этап экспертизы. Основными требованиями, предъявляемыми к экспертам, являются: компетентность, заинтересованность в работе экспертной комиссии, деловитость, широта взглядов, объективность и независимость суждений. Точность экспертной оценки во многом зависит от количества экспертов. Как свидетельствует практика, оптимальное число экспертов - 7-12 человек (Э.М. Коротков, 2003). Экспертное оценивание может осуществляться путём использования следующих подходов: а) закрытого обсуждения с последующим закрытым голосованием или заполнением специальных экспертных бланков; б) свободных высказываний без обсуждения и голосования; в) открытого обсуждения поставленных вопросов с последующим открытым или закрытым голосованием.

Способы проведения качественной экспертизы многообразны. Самый простой из них называется методом предпочтения (или ранжирования альтернативных вариантов). Пользуясь этим методом, эксперты расставляют оцениваемые объекты в порядке ухудшения их качества (табл. 1).

Таблица 1. Форма экспертного бланка, составляемого при проведении экспертизы методом предпочтения

Место, занятое каждым объектом, определяется числом набранных баллов: чем меньше сумма баллов, тем выше занятое место. Для примера в таблице 1 представлены результаты ранжирования десяти типов туризма шестью специалистами (экспертами) по уровню их привлекательности для жителей России.

Часто используется и другой способ проведения экспертизы -метод парного сравнения. В этом случае эксперт заполняет таблицу, в которой и по горизонтали, и по вертикали обозначены все сравниваемые объекты (табл. 2).

Таблица 2. Пример экспертного бланка, заполняемого каждым экспертом при проведении экспертизы методом парного сравнения

Например, необходимо определить наиболее популярную страну из восьми представленных, в которую россияне хотели бы совершить туристское путешествие. В таблице 2 каждая клетка относится к двум сравниваемым объектам, и в ней проставляется единица тому из них, который, по мнению эксперта, имеет более высокое качество или более важен. Другому из этих сравниваемых объектов проставляется ноль. Затем подсчитывается общее количество набранных баллов и определяется место (ранг) объекта экспертизы.

Оценка результатов экспертизы может иметь и более сложную форму. Далее, в качестве примера, приведём поэтапную экспертизу, направленную на «Подбор руководителя туристской фирмы».

Этап № 1. Заполнение экспертного бланка. Как мы уже установили, каждый из экспертов должен заполнить экспертный бланк, который, по сути, представляет собой матрицу предпочтений, причем столбцы и строки этой матрицы именуются выбранными качествами (табл. 3). Смысл такого заполнения заключается в сравнении всех качеств поочередно друг с другом. При этом (т.е. при обоюдном сравнении) более предпочтительному качеству даётся 2 балла, а менее предпочтительному - 0 баллов. При невозможности отдать предпочтение кому-либо из двух сравниваемых качеств, каждому из них даётся по 1 баллу.

Таблица 3. Матрица предпочтений

Итак, в нашем примере на первом шаге начинаем сравнивать качества по первой строке, т.е. прежде всего, сравниваем «общительность» 1-ой строки и «обязательность» 2-ой строки. Пусть, на взгляд одного из экспертов, для директора туристской фирмы, качества которого сравниваются между собой, «общительность» предпочтительнее «обязательности». Тогда в «ячейке 1.2» проставляется значение 2, соответственно «обязательности» присваивается 0 баллов и это значение заносится в «ячейку 2.1». Таким образом, на первом шаге происходит заполнение только лишь первой строки и, соответственно, первого столбца, причем «автоматически» в зависимости от выбранных предпочтений по первой строке. Далее эксперт сравнивает качества по второй строке, т.е. сравнивает «обязательность» со всеми остальными качествами. Причем сравнивать «общительность» и «обязательность» уже не надо, так как это сравнение уже было совершено на первом шаге. Аналогичным образом происходит сравнение всех оставшихся качеств. В нашем примере заполненная матрица предпочтений будет иметь следующий вид (табл. 3).

Для проверки правильности заполнения матрицы предпочтений следует обратить внимание на то, чтобы все элементы относительно главной диагонали обладали взаимным соответствием, то есть, если в «ячейке 1.2» записано значение 2, то в «ячейке 2.1» соответственно, должно быть записано значение 0, если в «ячейке 1.3» записано значение 1, то в «ячейке 3.1» соответственно, должно быть также записано значение 1 и т.п.

Этап № 2. Обработка матрицы предпочтений. На этом этапе каждый эксперт приступает к обработке матрицы предпочтений. Прежде всего, суммируются все значения ячеек матрицы по строкам. Таким образом можно вычислить общую сумму баллов, полученных каждым альтернативным качеством, т.е. по сути узнать абсолютный вес каждого отдельного качества (V). Заметим, что максимальный абсолютный вес каждого качества () равен:

где N - число сравниваемых качеств.

В нашем примере эта величина равна 14. После обработки матрицы предпочтений видно, что такое качество, как «общительность», имеет абсолютный вес, равный 5, «обязательность» - 9, «пунктуальность» - 4 и т.д.

Затем необходимо определить общий абсолютный вес всех качеств матрицы предпочтений по формуле:

В нашем примере = 8 (8 - 1) = 56.

Если в экспертизе принимают участие несколько экспертов, то следует вычислить средний вес каждого качества по формуле:

где? = ? + ? + … + ?; k - число экспертов; а 1, 2 … n - текущий номер строки (порядковый номер качества).

И, наконец, легко вычислить относительный вес каждого качества по формуле:

= [ / N (N - 1)] ?100%, если в экспертизе участвуют несколько экспертов, и

100%, если в экспертизе участвует один эксперт.

В нашем случае мы имеем лишь одного эксперта и, следовательно, значение k=1. Отсюда, относительный вес, соответствующий качеству «общительность», равен (5/56) ? 100% = 8,9 %; качеству «обязательность» - (9/56)? 100% = 16,2%; качеству «пунктуальность» - (4/56) ? 100% = 7,1%; качеству «уравновешенность» - (8/56) ? 100% = 14,3%; качеству «стаж работы» - (5/56) ? 100% = 8,9%; качеству «справедливость» - (11/56) ? 100% = 19,6%; качеству «компетентность» - (14/56) ? 100% = 25,0%.

Этап № 3. Анализ результатов экспертизы.Зная относительный вес каждого качества, можно проранжировать их, расставив в порядке возрастания значимости. Другой важный вопрос, на который также следует дать ответ, используя полученные результаты, каковы же те качества, без которых кандидат не может занять предлагаемую должность ни при каких условиях? Для нахождения границы между необходимыми и достаточными качествами рекомендуется использовать коэффициент границы, равный 4/3n (В.В. Музыченко,2003). Итак, если nкачеств, то граница будет проходить по весу, равному (4/3) n. В нашем случае это значение равно 11 и, следовательно, такие качества, как «компетентность» и «справедливость», являются необходимыми для руководителя туристской фирмы.

Из более сложных методов проведения экспертизы получил распространение «Метод Дельфы», «Метод мозговой атаки», «Метод 6.3.5.» и некоторые другие методики.

Метод Дельфы.Его название происходит от древнегреческого города Дельфы, где, по преданию, при храме Аполлона в период с IXв. до н.э. по IVв. н.э. существовал совет мудрецов («дельфийский оракул»), славившийся своими предсказаниями. Сущность метода заключается в выработке согласованных мнений путем многократного повторения индивидуального письменного опроса одних и тех же экспертов. После первого тура опроса все ответы анализируются и в сводном виде доводятся до каждого эксперта. Затем, после каждого тура данные опроса вновь обрабатываются, и полученные результаты сообщаются экспертам с указанием расположения оценок. Первый тур опроса проводится без аргументации. Во втором отличающиеся от других ответы подлежат аргументации или же эксперт может изменить оценку. После стабилизации оценок опрос прекращается и принимается предложенное экспертами решение (А. Дурович, Л. Анастасова, 2002).

«Мозговая атака» является одним из основных в организации и проведении экспертизы (Б.Г. Литвак, 1996; Э.М. Коротков, 2003; Е.Р. Яхонтов, 2006). «Мозговая атака», как правило, состоит из двух туров. В первом туре происходит генерирование идей, а во втором - обсуждение выявленных идей, их оценка и выработка коллективной точки зрения.

Первый тур проводится так, чтобы каждый из экспертов мог свободно высказывать своё мнение. Любая высказанная точка зрения или идея должна быть обсуждена и не может объявляться ложной. Основная задача первого тура состоит в том, чтобы получить, возможно, более полную картину о факторах, которые могут влиять на развитие ситуации. Во втором туре из выявленных в первом туре факторов необходимо оставить лишь наиболее существенные. Для этого их надо критически оценить, поэтому участвующие в проведении второго этапа эксперты делятся на сторонников и противников высказанного мнения. Сторонники пытаются привести необходимые доказательства в пользу высказанной точки зрения, а противники - их опровергнуть. Затем, основываясь на результатах обсуждения, принимается окончательное решение.

Метод качественных экспертных оценок, как мы видим, имеет множество вариантов, одним из которых является метод «6. 3. 5». Суть его состоит в том, что 6 экспертов за 5 минут предлагают 3 варианта решения исследуемой проблемы.Свой ответ эксперты пишут на специальных бланках (табл. 4). Через пять минут для этой же процедуры приглашаются следующие шесть экспертов. Таким образом, за полчаса можно получить 108 новых предложений.

Таблица 4. Пример экспертного бланка, заполняемого при проведении экспертизы методом «6. 3. 5»

Накопленные за короткое время многочисленные предложения затем тщательно анализируются, и эксперты-специалисты делают выводы и дают конкретные предложения по затронутой проблеме.

Иногда специфика объектов экспертного оценивания такова, что эксперты могут дать количественную оценку отдельных показателей. В этих случаях более оправданным являются использование методов количественной оценки объектов экспертизы. Среди методов получения количественных экспертных оценок наиболее часто применяется«Непосредственная количественная оценка», «Метод средней точки» и «Метод Черчмена-Акофа».

Непосредственная количественная оценка используется в том случае, когда необходимо определить значение показателя, измеряемого количественно. В этом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Например, оценивается предполагаемая ёмкость туристского рынка; цена единицы продукции, при которой она будет иметь конкурентоспособный спрос; оптимальный объем производства; стоимость фирмы и т.п.

Метод средней точки. Метод используется, когда альтернативных вариантов, которые можно оценить количественно, достаточно много. В этом случае, если через f () обозначим оценку первого альтернативного варианта, а через f () - оценку второго альтернативного варианта, то далее эксперту предлагается определить третий альтернативный вариант, оценка которого f () располагается в середине между значениями f () и f () и равна f () + f ()/2. Далее эксперт указывает альтернативный вариант, значение которого расположено посередине между f () и f (), затем вариант, значение которого f () расположено посередине между значениями f (и f (). Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

Метод Черчмена-Акофа. Данный метод используется при количественной оценке сравнительной предпочтительности альтернативных вариантов и допускает корректировку оценок, даваемых экспертами. Все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт присваивает количественные оценки, как правило, в долях единицы, при этом общая сумма оценок альтернативных вариантов должна равняться 1 (или 100 %). Далее эксперт сопоставляет по предпочтительности оценку первого альтернативного варианта f ()и сумму остальных альтернативных вариантов. Если первый вариант предпочтителен, чем сумма остальных альтернативных вариантов, то из дальнейших рассмотрений исключается. Когда менее предпочтителен, чем сумма остальных альтернативных вариантов, то он сравнивается с суммой альтернативных вариантов, за исключением последнего. Если альтернативный вариант на каком-то шаге оказывается предпочтительнее суммы остальных альтернативных вариантов, то из дальнейших рассмотрений исключается. Этот процесс продолжается до тех пор, пока последовательно не будет просмотрены все альтернативные варианты, при этом оценки могут быть соответствующим образом скорректированы.

Как мы видим, туризм охватывает многие области жизнедеятельности человека, и поэтому изучение туризма тесно связано с психологией человека. Наиболее полно, на наш взгляд, необходимость применения методов психодиагностики в туризме обосновал в своей работе М.Б. Биржаков (1999, С. 181): «Какое направление для путешествий выберет турист, какая страна будет предпочтительнее в этом сезоне, какой вид туризма будет наиболее популярным? Что выгодно предложить на туристском рынке, куда направить активность в продвижении своего туристского продукта? Как правильно построить тур для наилучшего удовлетворения пожеланий клиента? На многие из этих вопросов невозможно ответить, не изучая психологию человека и предпосылки мотивации поступков и принятий решений».

Виды экспертного оценивания

Сущность метода экспертных оценок заключается в про-ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор-мальной обработкой результатов. Получаемое в резуль-тате обработки обобщенное мнение экспертов принима-ется как решение проблемы.

Характерными особенностями метода экспертных оце-нок как научного инструмента решения сложных нефор-мализуемых проблем являются:

· научно обо-снованная организация проведения всех этапов экспер-тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,

· применение ко-личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Особой разновидностью метода экспертной оценки является экспе?ртный опро?с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности.

Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике психологических и социологических исследований используется для:

· прогноза развития того или иного явления;

· оценки существующего состояния какого-либо явления;

· сбора предварительной информации о проблеме исследования (зондаж);

· оценки психолого-педагогических характеристик учащихся;

· оценки коллектива;

· аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).

Достоинства метода экспертных оценок

Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Данный метод применить не удастся, когда:

· исходная статистическая информация недостаточно достоверна;

· некоторая часть информации имеет качественный характер и не поддается количественной оценке;

· в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;

· существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Требования к экспертной группе

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе-ристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой-ства специалиста и возможные отношения между людь-ми, влияющие на экспертизу.

Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова - активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

· компетентность потенциального эксперта в исследуемой области,

· эрудированность в смежных областях,

· стаж научной или практической работы в определённой сфере,

· должностное положение,

· принципиальность,

· объективность,

· способность творчески мыслить,

· интуиция.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1) экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальный (на основе социально-демографических данных);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.

Процедура экспертного оценивания

Работа человека, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу входит:

· составление специальных опросных листов для экспертов Основной инструментарий экспертного опроса - анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее рассмотрению явление, предусматривается в виде гипотез возможные варианты его исхода;

· выбор группы экспертов;

· постановка задачи и предъявление вопросов экспер-там;

· выбор способа экспертных оценок;

· собственно оценивание;

· анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и дающая возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон дискуссиям (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Может оказаться необходимой также:

· проверка входных данных, используемых для экспертных оценок;

· изменение состава экспертных групп;

· повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

После проведения опроса группы экспертов осуществля-ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

Целью обработки является получе-ние обобщенных данных и новой информации, содержа-щейся в скрытой форме в экспертных оценках. На осно-ве результатов обработки формируется решение проб-лемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при-менения качественных и количественных методов обра-ботки результатов группового экспертного оценивания.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

Правило большинства — выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

Правило средней оценки — определяется либо простая, либо взвешенная средняя оценка мнений экспертов.

Качественный анализ причин группиров-ки мнений позволяет установить существование различ-ных взглядов, концепций, выявить научные школы, опре-делить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Виды экспертного оценивания

Существующие виды экспертных оценок можно классифицировать по признакам:

1 По форме участия экспертов:

· заочное.

Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.

Разновидности очного опроса:

1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

2. Анкетный опрос экспертов.

3. «Мозговой штурм», «мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Разновидности заочного опроса:

1. Почтовый анкетный опрос экспертов

2. Дельфийская техника — заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

2. По решаемым задачам:

· генерирующие решения;

· оценивающие варианты.

3. По типу ответа:

· идейные;

· ранжирующие;

· оценивающие объект в относительной или абсолютной (численной) шкале.

4. По способу обработки мнений экспертов:

· непосредственные;

· аналитические.

5. По количеству привлекаемых экспертов:

· без ограничения;

· ограниченные (обычно используется 5 - 12 человек экспертов).

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Список литературы :

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. 246 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

3. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Сегодня это действительно слишком просто: вы можете подойти к компьютеру и практически без знания того, что вы делаете, создавать разумное и бессмыслицу с поистине изумительной быстротой. (Дж. Бокс)

Экспертные оценки

Экспертные оценки часто возникают на практике, например, при дегустации продуктов питания. Вообще они типичны для социологических опросов, например, менеджер по контролю качества проводит опрос покупателей в супермаркете. При использовании экспертного метода для оценки качества часто используется шкала порядка. Решается вопрос сравнеия по принципу "лучше хуже", "больше меньше". Более подробная информация о том, во сколько раз лучше или хуже часто не требуется.

Попарное сравнение (объекты сравниваются друг с другом попарно). При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления . В таб. 1 приведен пример ранжирования шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация - 0.

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таб. 1, будет иметь вид:

Q4

Если использовать несколько экспертов, то можно получить более точный результат.

Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее (не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами.

Так появилась двенадцатибальная шкала интенсивности землетрясений MSK - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса.

Таблица 1. Ранжирование шести объектов путем попарного сравнения

Таблица 2. Шкала Мооса

Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения.

Влияние состава экспертов на результаты экспертизы

При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.

Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<W <1, причем 0 - полная несогласованность, 1 - полное единодушие.

Пример

Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить).

Таблица 3. Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Q ср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Много это или мало? Если провести соответствующие вычисления в STATISTICA , то можно получить следующую таблицу результатов:

Рис. 1. Результаты проведения анализа в STATISTICA

Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014.

Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений.

Количество экспертов n , обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx . Тогда, используя известное выражение, можно определить минимальное количесвто экспертов n , обеспечивающее заданную точность измерения:

где - стандартное отклонение, которое определяют по формуле:

где - среднеарифметическое значение оценок экспертов;
- число оценок, дававшихся экспертами.

Различают также индивидуальное и коллективное мнение экспертов, последнее считают более точным, а главное, согласованным. В роли экспертов могут выступать люди со специальной подготовкой, потенциальные потребители и изготовители продукции.

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов в управлении ………………………………………………..9

1.3 Процесс экспертного оценивания …………………………………………10

1.4 Методы экспертных оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет метод экс­пертных оценок. Это объясняется сложностью многих проблем, их проис­хождением из "человеческого фактора", отсутствием надежных эксперимен­тальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценокпосвя­щено много работ. В них рассматриваются формы экс­пертного опроса (разные виды анкетирования, интер­вью), подходы к оцениванию (ранжирование, нормиро­вание, различные виды упорядочения и т.д.), методы об­работки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компе­тентности экспертов, достоверности их мнений), мето­дики организации экспертных опросов. Выбор форм и методов проведения экспертных опро­сов, подходов к обработке результатов опроса и т.д. за­висит от конкретной задачи и условий проведения экс­пертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явле­ния трактуется как случайная величина, отражением за­кона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значи­мости того или иного события. При этом предполагает­ся, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от груп­пы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К пер­ вому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости на­званных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходи­мо осторожно подходить к обработке результатов экс­пертизы, поскольку в этом случае мнение одного (еди­ничного) эксперта, больше внимания уделяющего иссле­дованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по форми­рованию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных пла­нов целесообразно выявлять «редкие» мнения и подвер­гать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следую­щем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экс­пертные оценки нужно смотреть как на некоторую «об­щественную точку зрения», зависящую от уровня науч­но-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос - это не одноразовая процедура. Та­кой способ получения информации о сложной пробле­ме, характеризующейся большой степенью неопределен­ности, должен стать своего рода «механизмом» в слож­ной системе, т.е. необходимо создать регулярную систе­му работы с экспертами.

Следует обратить также внимание на то, что исполь­зование классического частотного подхода к оценке ве­роятности при организации проведения экспертных оп­росов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использо­вания представительности выборки). Поэтому в настоя­щее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятно­сти достижения цели. Одной из разновидностей экс­пертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.