Основные идеи методов экспертных оценок. Экспертные оценки Примеры сбора и обработки экспертных оценок

Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.

При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.

Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.

Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.

Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:

1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;

2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;

3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;

4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;

5) выбор оптимальной подходящих методов обработки выводов экспертов;

6) точную формулировку итоговых выводов в экспертной работе.

Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.

Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:

1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.

2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.

Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:

Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;

Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);

Предварительная оценка выполнения плана по определенному показателю.

Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:

1. Определение цели исследования.

2. Определение необходимого количественного и качественного состава группы.

3. Создание группы.

4. Определение способа опроса.

5. Составление программы обследования и анкеты (листа) опрос.

6. Проведение опроса.

7. Сведения, группировка и анализ полученной от экспертов информации.

8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.

Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).

Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.

Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.

Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.

Рис. 14.3. Основе виды методов экспертных оценок

Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.

Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.

Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.

Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.

Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.

Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.

Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.

Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.

В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.

Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.

Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.

Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.

В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.

Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.

РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ

В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ

В исследовании социально-экономических и политических сис­тем управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью исследуемых проблем, отсутстви­ем надежных экспериментальных или нормативных инструментов.

Экспертиза ¾ это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаний предмета исследования и технологиях качественного анализа. Слово «эксперт» образовано от латинского «опытный». Эксперт должен обладать соот­ветствующим профессиональным опытом и развитой на его основе интуицией.

Экспертные методы завоевывают популярность по мере увели­чения доли качественных критериев в отображении и оценке соци­альных процессов. Одной из причин, вызвавших эту тенденцию, явля­ется необходимость учета интуиции опытных экспертов, выносящих заключения о целесообразности принятия того или иного варианта решения в процессе разработки и реализации программы.

Факт проникновения субъективных подходов в плоскость объек­тивной оценки рассматриваемых альтернатив, лежащий в основе ме­тодологии экспертных методов, призван обеспечить более точное и адекватное отображение свойств и признаков оцениваемого объек­та. Особую роль экспертные методы начинают играть в условиях не­стабильной экономики, когда возрастает неопределенность решения различных социально-экономических ситуаций.

Методология экспертных оценок применяется в решении следу­ющих задач:

Обоснование выбора варианта управленческого решения на ос­нове заложенных в основу оценки критериев;

Определение перспективных направлений использования име­ющихся в организации технологий;

Согласование мнений между различными уровнями управле­ния;

Проведение полной и адекватной оценки ситуации, сложившей­ся на предприятии, в отрасли и пр.

Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа - это исследование па­раметров исследуемого объекта, основанное на принципах организа­ции коллективной мыследеятельности с использованием технологии экспертного опроса. Цель экспертного анализа заключается в пред­варительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследова­теля. Благодаря методам экспертного анализа собирается необходи­мый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохож­дение ряда этапов.

1. Подготовка экспертов.

2. Выделение критериев и условий принятия экспертных реше­ний.

3. Выбор оптимального метода экспертной оценки.

Эксперты не всегда способны дать количественные оценки зна­чений оцениваемых показателей. Поэтому важнейшим элементом эк­спертной оценки является способ качественной оценки объектов экс­пертизы.

Таким образом, своеобразие качественных методов проведения экспертной оценки заключается в таком представлении объекта эк­спертизы, которое позволит увидеть в нем скрытые до этого свой­ства.

СТЕПЕНЬ ДОСТОВЕРНОСТИ ЭКСПЕРТИЗЫ.

ТРЕБОВАНИЯ К ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ

Экспертные исследования могут иметь как самостоятельное зна­чение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.

Прогнозные экспертные оценки отражают индивидуальность суж­дения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.

Интуитивные (экспертные) методы исследований используются в следующих случаях:

Для анализа, диагностики состояния, последующего прогнозирования вариантов развития объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

В условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

В условиях большой неопределенности среды функционирова­ния объекта, рыночной среды;

При средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках;

В случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать пробле­му с применением формальных моделей;

При отсутствии необходимых технических средств моделиро­вания, например вычислительной техники с соответствующими харак­теристиками;

В экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолют­ной частоте, с которой оценка эксперта в конечном итоге подтвержда­ется последующими событиями.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией. К эксперту предъявляют следующие требования:

Высокий уровень общей эрудиции;

Стабильность во времени оценок эксперта;

Наличие дополнительной информации о прогнозируемых при­знаках лишь подтверждает оценку эксперта; богатый практический и исследовательский опыт, репутация признанного специалиста в данной области знаний;

Наличие психологической установки на будущее;

Способность к адекватному отображению тенденций развития исследуемого объекта;

Незаинтересованность в конкретном результате прогноза.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки пер­вого вида известны в технике измерений как систематические, ошиб­ки второго вида - как случайные. Эксперт, склонный к систематичес­ким ошибкам, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошиб­ки этого вида связаны со складом ума экспертов. Для коррекции сис­тематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.

Случайные ошибки изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии.

Исходя из анализа основных видов ошибок при вынесении экс­пертных суждений, можно добавить к рассмотренному выше перечню требований к экспертам еще одно. Смысл его состоит в том, что следу­ет предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожале­нию, заранее определить способность человека делать правильные эк­спертные оценки невозможно.

Организация форм работы эксперта может быть программирован­ной или непрограммированной. Деятельность эксперта может осущест­вляться в устной (интервью) либо в письменной форме. Программирование работы эксперта предполагает следующее:

1) построение граф-модели объекта на базе ретроспективного анализа данных прошедшего периода;

2) определение структуры таблиц экспертных оценок или про­граммы интервью на базе граф-модели объекта и целей экспертизы;

3) определение типа и формы вопросов в таблицах экспертных оценок или интервью;

4) определение типа шкалы для вопросов в названных таблицах;

5) учет психологических особенностей экспертизы при опреде­лении последовательности вопросов в таблицах экспертных оценок;

6) учет верифицируемых вопросов;

7) разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация и стимулирование работы эксперта состоит в раз­работке эвристических приемов и способов, облегчающих поиск про­гнозной экспертной оценки; правовых норм, гарантирующих экспер­ту оформление приоритета в авторстве, а также неразглашение всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм моральной, профессиональной и материальной заинтересован­ности эксперта в экспертных оценках; организационных форм работы эксперта.

При решении задачи формирования экспертной группы необхо­димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной облас­ти. К нему обращаются с просьбой назвать десять наиболее компетен­тных, по его мнению, специалистов по данной проблеме. Затем обра­щаются одновременно к каждому из десяти названных специалистов с просьбой указать десять наиболее крупных коллег-ученых. Из полу­ченного списка специалистов вычеркивают десять первоначальных, а остальным рассылают письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь на­званных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специали­стов, компетентных в области прогнозируемой проблемы. Однако в си­лу ряда практических ограничений оказывается нецелесообразным привлечение всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупно­сти экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

Анкета для опроса специалистов является важнейшим инструмен­том экспертного прогнозирования. Подготовка и проведение эксперт­ного прогнозирования включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозиро­вания, методикой прогнозирования и верификации прогноза.

Формулировка вопросов в анкете должна отвечать следующим требованиям:

Общепринятая терминология;

Исключение всякой смысловой неопределенности;

Обеспечение достижения целей прогноза;

Соответствие структуре объекта прогнозирования;

Обеспечение единого и однозначного толкования результатов анкетирования;

Обеспечение использования конкретного способа верификации результатов прогнозирования.

По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на кото­рый не регламентирован. Закрытым называют вопрос, в формулиров­ке которого содержатся альтернативные варианты ответов. При от­вете на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, содержащегося в бланке. Косвенные во­просы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать неискренность эксперта при ответе на во­прос.

Таким образом, методы экспертных оценок в исследовании соци­ально-экономических и политических процессов часто применяют в предшествующих прогнозных и плановых исследованиях.

ЭКСПЕРТНЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ

В целом можно выделить две группы экспертных оценок: инди­видуальные и коллективные. Индивидуальные экспертные мето­ды используют при прогнозировании в относительно узких областях науки и практики. Коллективные экспертные оценки применяют при прогнозировании объектов и процессов, имеющих междисциплинар­ный характер.

Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также исполь­зуются как качественные, так и количественные критерии. Таким об­разом, можно выделить особую группу эвристических методов, значе­ние которых заключается в мобилизации творческого мышления на решение сложных комплексных задач.

Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получа­ет заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

1.Метод гирлянд и ассоциаций, разработанный в 70-е гг. XX в. советским ученым Г. Бушем, предполагает изучение объекта, схожего по свойствам, на базе сличения их выявляются особенности, характерные для исследуемого объекта.

Метод предполагает прохождение следующих этапов:

Определение аналогов объекта;

Выбор случайных объектов;

Составление комбинаций из элементов гирлянд аналогов объек­та и случайных объектов;

Составление перечня или таблицы признаков случайных объек­тов;

Развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов;

Генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков);

Развитие новых идей путем попыток комбинирования элемен­тов гирлянды ассоциаций по признакам с элементами гирлянды ана­логов объекта;

Выбор альтернативы, т.е. анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциа­ций и комбинирования понятий;

Оценка и отбор рациональных вариантов идей;

Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная про­блемная ситуация, слабо изученная, в отношении которой нет сложив­шегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изуче­нии свойств аналогов исследуемого объекта, целесообразности их при­влечения, формировании психологической установки экспертов и т.д.

2. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноцен­ность или принципиальную несравнимость представленных альтерна­тив, в связи с чем они исключаются из анализа. В ходе такого сравне­ния эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свой­ства и признаки отобранной альтернативы.

3.При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изоб­разить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонен­том - число альтернатив, которые превосходят второй, и т.д. Исполь­зовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX в. аме­риканским ученым Ч. Вайтингом, заключается в перенесении призна­ков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на кон­центрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска. Процедура применения метода предполагает прохождение следующих этапов;

Выбор фокального объекта;

Выбор трех-пяти случайных объектов;

Составление списков признаков для каждого случайного объекта;

Генерирование идей посредством присоединения к фокально­му объекту признаков случайных объектов;

Развитие полученных сочетаний путем свободных ассоциаций;

Оценка полученных идей и отбор полезных решений.

5. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает инди­видуальное заполнение экспертом (экспертами) разработанного заказ­чиком формуляра, по результатам которого производится всесторон­ний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного до­кумента, составленного на основе тщательного обследования объекта.

6. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй - наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа. В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каж­дому из них эксперт назначает количественные оценки. Преимуще­ством данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов.

8. Метод лотерей. В соответствии с методом имеющиеся альтер­нативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (а 2) равноценен лотерее; альтерна­тивный вариант (а,) встречается с вероятностью (р), альтернативный вариант (а 3) встречается с вероятностью (1 - р).

Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зре­ния достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительно­го круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов.

1. «Мозговой штурм». Главная цель «мозгового штурма» заклю­чается в стимулировании творческого процесса генерации идей, воз­можного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной ситуации разработать максимальное ко­личество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Глав­ным преимуществом метода «мозгового штурма» является нацелен­ность на нахождение нестандартных решений, способных реализовать­ся при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сфор­мировать группу людей, обладающих высокими креативными способ­ностями, что чрезвычайно важно для организации любого типа. Метод «мозгового штурма» является очень эффективной технологией генерирования новаторских идей.

2. Методика судов. Суть методики заключается в такой организа­ции обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая дает критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое испол­нение, которое позволяет участникам обсуждения наиболее полно про­явить себя в организационном процессе, осознавая в нем не только собственное место, но и место других служб и должностных функций.

3.Метод «черного ящика». Главным достоинством метода «чер­ного ящика» является минимизация возможного влияния заинтере­сованных лиц на принятие неэффективных решений. Метод нацели­вает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экс­пертов, оценивающих перспективы принятия решений по определен­ному перечню проблем.

4.Метод эвристического прогнозирования. Использование данного метода предполагает привлечение к работе экспертов узкой специали­зации, которые на основе предварительно разработанных анкет и таб­лиц должны выработать общую модель исследуемого объекта. Основ­ной трудностью в использовании этого метода является процедура подбора экспертов, поскольку их специализация и профиль должны обеспечить возможность целостного представления объекта. Успеш­ное выполнение этой задачи позволит сформулировать ряд норматив­ных характеристик объекта, которые могут послужить базой для опре­деления вероятных путей их достижения.

Таким образом, методом эвристического прогнозирования назы­вают метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифи­цированных специалистов (экспертов) в узкой области науки, техни­ки или производства.

Область применения рассматриваемого метода включает научно-технические объекты, рынки и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разрабатывать адекватную модель.

В основе метода лежат три теоретических допущения:

1) существование у эксперта психологической установки на бу­дущее, сформулированной на основе профессионального опыта и ин­туиции;

2) тождественность процесса эвристического прогнозирования или процесса решения научной или рыночной проблемы с однотипно­стью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации;

3) возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синте­зируемых из прогнозных экспертных оценок.

Следовательно, назначение метода эвристического прогнозиро­вания - выявление объективизированного представления о перспек­тивах развития узкой области науки, техники, рынка на основе систе­матизированной обработки прогнозных оценок репрезентативной группы экспертов.

5. Синектический метод. Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно. При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма
общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.

Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию реше­ний придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная ста­бильность, но выявляется уникальный способ осознания и разреше­ния актуальных проблем.

6. Метод дневников. Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего
метод используется в структуре управления с жестко регламентированной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по со­вершенствованию деятельности предприятий.

7. «Метод Делъфи» является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими воз­можностями самого метода, позволяющими решать сложные комплек­сные задачи.

«Метод Дельфи» был разработан в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.

Сущность метода заключается в последовательном анкетирова­нии мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих воз­можности вступать друг с другом в непосредственный контакт и полу­чающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

На первом этапе экспертам предлагают дать заключение о целесо­образности выбора того или иного варианта решения проблемы, осно­ванного на логике доказательства такого выбора и интуиции эксперта.

На втором этапе (обсуждения) эксперты обмениваются заключе­ниями через координатора экспертизы, учитывая во втором варианте собственного отчета доводы и аргументацию своих коллег.

Процесс экспертизы может продолжаться до тех пор, пока не бу­дет получена максимально консолидированная оценка экспертами сло­жившейся проблемной ситуации и предложен оптимальный и наибо­лее обоснованный способ ее решения.

Использование метода возможно лишь при соблюдении ряда ус­ловий, способных оказать влияние на его эффективное применение в отборе наилучшей альтернативы.

Организационные требования к использованию «метода Дельфи» таковы.

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в определенных рамках. Минимальное чис­ло экспертов можно вычислить по формуле

N min = 0,5 (3: b+5)

где b - ошибка результата, измеряемого в диапазоне экспертной оценки от 0 до 1.

2. Время между этапами опроса должно составлять не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров (этапов) должно быть достаточным, чтобы все уча­стники имели возможность ознакомиться с причиной той или иной оценки и критиковать ее.

5. Необходимо иметь самооценку компетенции экспертов по рас­сматриваемым проблемам.

6. Необходима формула согласованности оценок, основанная на данных самооценок.

7. Следует установить влияние различных видов передачи инфор­мации экспертам по каналам обратной связи.

8. Необходимо установить влияние общественного мнения на эк­спертные оценки и на сходность этих оценок.

9. В ходе реализации метода должен проводиться систематиче­ский отбор экспертов, основанный на данных экспертизы по турам и са­мооценкам.

Важнейшим достоинством метода является использование в нем количественных показателей, позволяющих делать точные и аргумен­тированные заключения.

«Метод Дельфи» целесообразно применять в следующих случаях:

Имеющиеся в распоряжении или доступные данные непригод­ны для анализа существующей проблемы;

В распоряжении нет нужных данных;

Нет достаточного времени для сбора данных;

Процесс получения и анализа необходимых данных слишком дорог.

В «Дельфи» предусматривается создание условий, обеспечива­ющих эффективную работу экспертной комиссии. Это достигается ано­нимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мне­ния - с другой. Еще одно важное свойство - обратная связь, позволя­ющая экспертам корректировать свои суждения с учетом промежуточ­ных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирова­ния. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в их распоряжение, после чего эксперты уточняют первоначальные ответы. Такая процедура повторяется несколь­ко раз до достижения приемлемой согласованности всей совокупно­сти высказанных мнений.

На первом туре экспертам сообщается цель экспертизы и форму­лируются вопросы, ответы на которые составляют основное содер­жание экспертизы. Успеху способствует предоставление эксперту до­полнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку проме­жуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усред­ненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых рас­положены 25% численных значений оценок. Расстояние между квар­тилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

n = s/х * 100%

Где s – среднее квадратическое отклонение оценок.

Где х – среднее значение оценки

х i – оценка каждого эксперта

n – число экспертов.

Медиана - значение оценки, которое находится в середине ран­жированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «край­ние» точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями постав­ленных оценок снова направляется каждому участнику. На основе по­лученной информации эксперты пересматривают предыдущие оцен­ки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргумента­цией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждый эксперт распределяет оценки третьего тура, и он должен снова представить на рассмотрение пересмот­ренную оценку, учтя полученную информацию. Как показывает прак­тика, желаемое согласие наступает к четвертому туру.

Рассмотрим применение «метода Дельфи» на примере прогноза величины валового сбора зерна в К* области в 2004 г.

Пусть в подготовке решения участвовало 14 экспертов. Коорди­натором экспертизы был сделан доклад о состоянии и основных на­правлениях развития сельского хозяйства в рассматриваемом регио­не, приведена статистика валового сбора зерна в 1913-2003 гг. (рис.). Опрос проводился в три тура.

Экспертами были приведены следующие аргументы за минималь­ный объем сбора зерна:

1) прогнозируемые синоптиками на 2004 г. неблагоприятные по­годные условия - дожди во время уборки;

2) высокая степень износа сельскохозяйственной техники;

3) недостаточное финансирование производящих отраслей агро­промышленного комплекса;

4) недостатки управления сельским хозяйством: низкая квалифи­кация кадров управления, неэффективность организационных струк­тур управления, отсутствие системы непрерывного прогнозирования и планирования на производящих организациях и т.д.

За максимальный объем валового сбора зерна экспертами были высказаны следующие аргументы:

1) увеличение объемов производства сельскохозяйственной про­дукции в фермерских хозяйствах области;

2) увеличение посевных площадей;

3) тенденции увеличения производства зерна в регионе за послед­ние годы;

4) политика органов регионального управления, направленная на стабилизацию кризисных явлений в сельском хозяйстве области.

Первый тур. Для проведения экспертизы экспертам предостави­ли анкеты; в каждой содержался вопрос и место для ответа. Результа­ты обработки анкет на первом туре представлены ниже (табл.).

Среднее значение оценки:

Х = 1/14(1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 +

2200 + 2400 + 2500 + 2600 + 2600 + 2900) = 1864,3.

Результаты анкетирования (первый тур)

Статистические характеристики второго тура

`х = 1517,18 Q 0.25 = 1100 s = 511.16

Мe = 1350 Q 0.75 = 2000 n = 33.6%

Третий тур экспертной оценки аналогичен. Каждому эксперту предлагается пересмотреть свои предыдущие ответы и, при желании, исправить их. Все исправления сопровождаются объяснениями, поче­му увеличиваются или уменьшаются объемы валового сбора (табл.).

Статистические характеристики третьего тура экспертизы

`х = 1221,4 Q 0.25 = 1100 s = 160,9

Мe = 1200 Q 0.75 = 1350 n = 13,1%

При необходимости экспертиза может продолжаться далее.

Общие результаты экспертизы по турам

В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации v = 13,1%).

В результате применения «Дельфи» состоялся прогноз о том, что валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.

Таким образом, рассмотрев две группы экспертных оценок, мож­но сделать вывод. Индивидуальные экспертные методы мало пригод­ны для прогнозирования наиболее общих стратегий из-за ограничен­ности знаний одного эксперта о развитии смежных областей науки и практики, тогда как методы коллективных экспертных оценок осно­вываются на принципах выявления коллективного мнения экспертов о параметрах и перспективах развития объекта, где в основе лежит ги­потеза о наличии у экспертов умения с достаточной степенью досто­верности оценить важность и значение исследуемой проблемы.

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов в управлении ………………………………………………..9

1.3 Процесс экспертного оценивания …………………………………………10

1.4 Методы экспертных оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет метод экс­пертных оценок. Это объясняется сложностью многих проблем, их проис­хождением из "человеческого фактора", отсутствием надежных эксперимен­тальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценокпосвя­щено много работ. В них рассматриваются формы экс­пертного опроса (разные виды анкетирования, интер­вью), подходы к оцениванию (ранжирование, нормиро­вание, различные виды упорядочения и т.д.), методы об­работки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компе­тентности экспертов, достоверности их мнений), мето­дики организации экспертных опросов. Выбор форм и методов проведения экспертных опро­сов, подходов к обработке результатов опроса и т.д. за­висит от конкретной задачи и условий проведения экс­пертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явле­ния трактуется как случайная величина, отражением за­кона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значи­мости того или иного события. При этом предполагает­ся, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от груп­пы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К пер­ вому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости на­званных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходи­мо осторожно подходить к обработке результатов экс­пертизы, поскольку в этом случае мнение одного (еди­ничного) эксперта, больше внимания уделяющего иссле­дованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по форми­рованию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных пла­нов целесообразно выявлять «редкие» мнения и подвер­гать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следую­щем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экс­пертные оценки нужно смотреть как на некоторую «об­щественную точку зрения», зависящую от уровня науч­но-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос - это не одноразовая процедура. Та­кой способ получения информации о сложной пробле­ме, характеризующейся большой степенью неопределен­ности, должен стать своего рода «механизмом» в слож­ной системе, т.е. необходимо создать регулярную систе­му работы с экспертами.

Следует обратить также внимание на то, что исполь­зование классического частотного подхода к оценке ве­роятности при организации проведения экспертных оп­росов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использо­вания представительности выборки). Поэтому в настоя­щее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятно­сти достижения цели. Одной из разновидностей экс­пертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

  • На стадии определения целей и задач исследовательского процесса.
  • Во время построения или проверки гипотезы.
  • Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
  • Чтобы обосновать адекватность применяемого инструментария.
  • Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

  • Запуск в серийное производство одного из разработанных вариантов продукции.
  • Подбор космонавтов из многочисленных претендентов.
  • научной работы, который будет профинансирован.
  • Выбор предприятия, которое получит экологический кредит.
  • Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

  1. Проведение которую требуется исследовать.
  2. Подбор экспертов для проведения процедуры.
  3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
  4. Проведение самой процедуры оценивания.
  5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

  • Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
  • Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
  • Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

  • Аналитический способ.
  • Метод написания сценария.
  • Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

  • Коллективную генерацию идей («мозговая атака»).
  • Метод «635».
  • Метод Дельфи.
  • Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

  1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
  2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
  3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

  • Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
  • «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
  • Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.