Главная

Метод экспертных оценок. Методики проведения экспертизы Метод экспертных оценок вывод

В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однакосуществуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, - это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.

Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области деятельности.

Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.

Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.

Экспертиза - процедура получения информации от экспертов. Экспертные оценки - это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.

Специфика опроса экспертов состоит в следующем.

Нет необходимости применять в анкете косвенные или контрольные вопросы.

Программа опроса экспертов не детализирована и носит концептуальный характер.

В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.

Основные нормативные требования к проведению экспертной оценки :

тщательность подбора экспертов;

оценка надежности представленной экспертами информации;

создание условий для продуктивного использования экспертов в ходе исследования;

учет факторов, влияющих на суждения экспертов;

сохранение информации экспертов без искажения на всех этапах исследования.

Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.

Критерии подбора экспертов таковы:

степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;

способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;

сочетание узкой специализации и общего кругозора эксперта;

способность к анализу и синтезу изучаемых проблем,

умение перерабатывать и усваивать качественно новую информацию;

высокие моральные качества;

сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.

Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный - использование специальных методик отбора - и субъективный - привлечение к процедуре отбора самих потенциальных экспертов.

Объективный подход имеет два варианта :

а) документальный метод - подбор экспертов на основе социальнодемографических данных.

б) экспериментальный метод - отбор на основе тестирования кандидата.

Субъективный подход также имеет несколько вариаций ;

а) аттестация - подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);

б) метод взаимной оценки в баллах или ранжированием;

в) метод самооценки компетентности.

Экспертный опрос может иметь разные формы :

разовый индивидуальный опрос (анкетирование или интервью);

однократный коллективный опрос (совещания, мозговой штурм);

индивидуальный опрос в несколько туров (дельфийская техника);

коллективный опрос в несколько туров (дискуссия, совещание, многоступенчатый отбор).

Еще одна форма экспертного опроса - традиционная дискуссия - метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.

В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.

Метод «отнесенной оценки» - повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.

Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).

Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.

После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.

Упрощенные вариации дельфийской техники («мини дельфи») позволяют

собрать экспертные оценки по 2-3 турам за несколько часов или дней.

К недостатки метода Дельфи относятся :

сложность подготовки, проведения и обработки результатов,

сравнительно большие затраты времени и средств.

Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.

Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования - «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.

Виды экспертного оценивания

Сущность метода экспертных оценок заключается в про-ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор-мальной обработкой результатов. Получаемое в резуль-тате обработки обобщенное мнение экспертов принима-ется как решение проблемы.

Характерными особенностями метода экспертных оце-нок как научного инструмента решения сложных нефор-мализуемых проблем являются:

· научно обо-снованная организация проведения всех этапов экспер-тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,

· применение ко-личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Особой разновидностью метода экспертной оценки является экспе?ртный опро?с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности.

Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике психологических и социологических исследований используется для:

· прогноза развития того или иного явления;

· оценки существующего состояния какого-либо явления;

· сбора предварительной информации о проблеме исследования (зондаж);

· оценки психолого-педагогических характеристик учащихся;

· оценки коллектива;

· аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).

Достоинства метода экспертных оценок

Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Данный метод применить не удастся, когда:

· исходная статистическая информация недостаточно достоверна;

· некоторая часть информации имеет качественный характер и не поддается количественной оценке;

· в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;

· существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Требования к экспертной группе

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе-ристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой-ства специалиста и возможные отношения между людь-ми, влияющие на экспертизу.

Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова - активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

· компетентность потенциального эксперта в исследуемой области,

· эрудированность в смежных областях,

· стаж научной или практической работы в определённой сфере,

· должностное положение,

· принципиальность,

· объективность,

· способность творчески мыслить,

· интуиция.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1) экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальный (на основе социально-демографических данных);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.

Процедура экспертного оценивания

Работа человека, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу входит:

· составление специальных опросных листов для экспертов Основной инструментарий экспертного опроса - анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее рассмотрению явление, предусматривается в виде гипотез возможные варианты его исхода;

· выбор группы экспертов;

· постановка задачи и предъявление вопросов экспер-там;

· выбор способа экспертных оценок;

· собственно оценивание;

· анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и дающая возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон дискуссиям (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Может оказаться необходимой также:

· проверка входных данных, используемых для экспертных оценок;

· изменение состава экспертных групп;

· повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

После проведения опроса группы экспертов осуществля-ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

Целью обработки является получе-ние обобщенных данных и новой информации, содержа-щейся в скрытой форме в экспертных оценках. На осно-ве результатов обработки формируется решение проб-лемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при-менения качественных и количественных методов обра-ботки результатов группового экспертного оценивания.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

Правило большинства — выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

Правило средней оценки — определяется либо простая, либо взвешенная средняя оценка мнений экспертов.

Качественный анализ причин группиров-ки мнений позволяет установить существование различ-ных взглядов, концепций, выявить научные школы, опре-делить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Виды экспертного оценивания

Существующие виды экспертных оценок можно классифицировать по признакам:

1 По форме участия экспертов:

· заочное.

Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.

Разновидности очного опроса:

1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

2. Анкетный опрос экспертов.

3. «Мозговой штурм», «мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Разновидности заочного опроса:

1. Почтовый анкетный опрос экспертов

2. Дельфийская техника — заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

2. По решаемым задачам:

· генерирующие решения;

· оценивающие варианты.

3. По типу ответа:

· идейные;

· ранжирующие;

· оценивающие объект в относительной или абсолютной (численной) шкале.

4. По способу обработки мнений экспертов:

· непосредственные;

· аналитические.

5. По количеству привлекаемых экспертов:

· без ограничения;

· ограниченные (обычно используется 5 - 12 человек экспертов).

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Список литературы :

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. 246 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

3. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.

Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.

В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:

метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);

метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;

дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;

методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;

документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.

По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.

Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.

Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

оценки согласованности и зависимости мнений экспертов;

оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле:

где – количество максимально возможных оценок, полученных j-тым объектом;

– количество экспертов, оценивающих j-ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где – ранг оценки j-м экспертом j-го объекта.

Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (Vj) оценок, данных j-му объекту определяется по формуле:

где – оценка в баллах i-м экспертом j-гo объекта;

– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где mj – количество экспертов, оценивающих j-ый объект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по

где – ранговые оценки j-гo объекта экспертов α и β;

п – количество оцениваемых объектов;

– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:

если все n рангов оценок, назначенных i-м экспертом различны, то Тi = 0, иначе для равных рангов:

где L – количество групп связанных рангов;

t1 – количество связанных рангов в 1-й. группе.

Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:

затем вычисляются отклонения dj суммы рангов оценок, полученных j-м объектом от :

после этого подсчитываются показатели Ti связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации:

где m1 – количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:

рассчитывается значение по формуле:

где т – количество экспертов,

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

По таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – Po (обычно Рo = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Рo, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

получены количественно определенные ответы на предлагаемые вопросы;

получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.

Таблица 9

Анализ оценки относительной важности влияния i-x

локальных АИСУ на статьи затрат себестоимости продукции

В качестве примера в табл. 9 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11, стр. 298). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 10.

Таблица 10

Анкета оценки степени влияния на мнение экспертов источников аргументации

Таблица 11

Анкета количественной оценки степени влияния на

мнение экспертов источников аргументации

После этого в клетки табл. 10, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (Kai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

значение коэффициента аргументированности

значению Kai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;

значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

В целях удовлетворения третьему условию каждому эксперту предлагается сделать отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.

После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.

Показателями обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (Mj) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.

– коэффициент степени знакомства с обсуждаемой проблемой.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 12.

Коэффициент степени знакомства учитывает степень знакомства эксперта с рассматриваемой проблемой и равен нормированному (умноженному на 0,1) значению соответствующей оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид:

Таблица 12

Коллективная экспертная оценка

Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения Сij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц.

Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.

В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:

обеспечить адекватную оценку объекта экспертизы;

выработать эффективные альтернативные варианты решений достижения поставленных целей;

выбрать из них единственный оптимальный (наиболее рациональный) вариант.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.

Литература

Евланов Л.Г. Теория и практика принятия решений. – М: Экономика, 1984.

Карданская Н.Л. Принятие управленческого решения. – М.:ЮНИТИ, 1999.

Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.

Методика (основные положения) определения потребности народного хозяйства в продукции отрасли (с учетом нормативов для отдельных групп продукции). – М.: ЦНИИ ИиТЭИ приборостроения, средств автоматизации и систем управления, 1982.

Растригин Л.А. Современные принципы управления сложными объектами. – М.: Советское радио, 1980.

Трояновский В.М. Математическое моделирование в менеджменте. – М.: Экономика, 1999.

Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.

При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.

Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.

Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.

Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:

1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;

2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;

3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;

4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;

5) выбор оптимальной подходящих методов обработки выводов экспертов;

6) точную формулировку итоговых выводов в экспертной работе.

Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.

Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:

1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.

2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.

Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:

Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;

Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);

Предварительная оценка выполнения плана по определенному показателю.

Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:

1. Определение цели исследования.

2. Определение необходимого количественного и качественного состава группы.

3. Создание группы.

4. Определение способа опроса.

5. Составление программы обследования и анкеты (листа) опрос.

6. Проведение опроса.

7. Сведения, группировка и анализ полученной от экспертов информации.

8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.

Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).

Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.

Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.

Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.

Рис. 14.3. Основе виды методов экспертных оценок

Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.

Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.

Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.

Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.

Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.

Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.

Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.

Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.

В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.

Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.

Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.

Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.

В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.

Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов в управлении ………………………………………………..9

1.3 Процесс экспертного оценивания …………………………………………10

1.4 Методы экспертных оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из "человеческого фактора", отсутствием надежных экспериментальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценокпосвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов. Выбор форм и методов проведения экспертных опросов, подходов к обработке результатов опроса и т.д. зависит от конкретной задачи и условий проведения экспертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно-техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К пер вому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертизы, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных планов целесообразно выявлять «редкие» мнения и подвергать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экспертные оценки нужно смотреть как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос - это не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необходимо создать регулярную систему работы с экспертами.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительности выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели. Одной из разновидностей экспертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.

1.2 Роль экспертов в управлении

Экспертиза - это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При групповой экспертизе большое значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы.

Заключение экспертов представляет собой документ, в котором фиксируется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную ("да", "нет"), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации работы экспертов необходимо придерживаться следующих принципов:

1. Идеи, мнения и оценки должны укладываться в заранее подготовленную схему. Это позволяет делать их обобщение, сравнение, выделение существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

2. Обработку экспертных заключений необходимо осуществлять не только в количественном обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

5. Существуют различные формы организации работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная и многоэтапная работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Специалиста или группу специалистов, выступающих в роли экспертов, иногда отождествляют с измерительным прибором, имеющим случайные и систематические ошибки измерения.

Случайные ошибки обусловлены субъективностью мнений экспертов о рассматриваемом вопросе и могут отклоняться в ту или иную сторону от истинного значения. Влияние таких ошибок уменьшается путем усреднения достаточного количества оценок.

Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена путем обработки получаемых оценок. Это говорит о том, что в отдельных случаях необходимо подходить весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов.

1.3 Процесс экспертного оценивания

К основным этапам процесса экспертного оценивания относят:

формирование цели и задач экспертного оценивания;

формирование группы управления и оформление решения на проведение экспертного оценивания;

выбор метода получения экспертной информации и способов ее обработки;

подбор экспертной группы и формирование при необходимости анкет опроса;

опрос экспертов (экспертизу);

обработку и анализ результатов экспертизы;

интерпретацию полученных результатов;

составление отчета.

Задачу на проведение экспертного оцениваний ставит ЛПР. Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет - опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях - психологии, математики, медицины, социологии.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

· оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;

· коллективная оценка кандидата в эксперты как специалиста в данной области

· самооценка кандидата в эксперты;

· аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую, применяют одновременно несколько способов: самооценки и коллективной оценкикачеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

В общем случае формирование экспертной группы предваряют следующие мероприятия:

· выявляется и формулируется проблема;

· определяется цель и область деятельности группы;

· составляется предварительный список экспертов;

· проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

· уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;

· определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

Пример градации качества и компетентности экспертов

Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1-4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

Профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

Креативность (умение решать творческие задачи); . научная интуиция;

Заинтересованность в объективных результатах экспертной работы;

Независимость суждений;

Деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

Объективность;

Нонконформизм;

Высокая общая эрудиция.

Проведение сбора мнений экспертов предполагает определение: места и времени сбора мнений; формы и методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

Анкетирование;

Интервьюирование;

Дискуссия;

Мозговой штурм

Совещание;

Деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность. Смешанная форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами - средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

1.4Методы экспертных оценок

1.4.1 SWOT-анализ

Особой разновидностью экспертного метода, пользующейся большой популярностью, является оригинальный метод SWOT-анализа. Он получил такое название по первым буквам четырех английских слов, которые в русском переводе означают: Сильные и Слабые стороны, Возможности и Угрозы.

Эта методология может использоваться в качестве универсальной. Особый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, зависимость внутренних и внешних факторов функционирования, цикличность развития.

По методологии этого анализа проводится распределение факторов, характеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить ситуацию, чтобы иметь успех развития.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновременно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинством, в другой - недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

В каждом квадранте факторы не обязательно должны обладать одинаковым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возникает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны можно плохо использовать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

В исследовании систем управления предметом этого метода могут быть различные проблемы развития управления. Например, эффективность, персонал, стиль, распределение функций, структура системы управления, механизм управления, мотивация, профессионализм, информационное обеспечение, коммуникации и организационное поведение и пр.

Использование специально подготовленных и отобранных экспертов или внутренних консультантов позволяет повысить эффективность этого метода.

1.4.2 Метод SMART

Существует множество модификаций метода SWOT-анализа. Наиболее интересный из них метод разработки и анализ целей.

Известно, что цель управления является решающим фактором успеха, эффективности, стратегии и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования. Ведь сформулировать корректно эту цель тоже бывает нелегко. Программа исследования, использования методов его проведения зависят от цели.

Цель должна разрабатываться по критериям Достижимости, Конкретности, Оцениваемости (измеримости), с учетом Места и Времени. Эти критерии отражают английские слова - Specific, Measurable, Achievable, Relevant, Timed, в сокращенном названии это SMART. Так и называется этот метод.

Метод предполагает последовательную оценку целей по совокупности критериев, расположенных в матричной форме. Вот набор сопоставимых факторов, отражающих характеристики цели: труднодостижима-легкодостижима, высокие затраты - низкие затраты, имеет поддержку персонала - не имеет поддержки персонала, имеет приоритеты - не имеет приоритетов, требует много времени - требует мало времени, имеет широкое влияние - имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с новой организацией управления - не связана с новой организацией управления.

На следующем этапе составляется матрица определения проблем. Для достижения цели необходимо решить ряд проблем. Но для этого их надо сначала определить.

Распределение проблем осуществляется по следующим критериям: существующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (количественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

Такая матрица позволяет составить план исследований.

1.4.3 Метод ранжирования и оценивания

По методу ранговэксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы: Н= (Н+1): 2.

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний - тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами)

Чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.

1.4.4 Метод непосредственного оценивания

Представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта

1.5 Оценка согласованности экспертов

Собранные мнения экспертов обрабатываются как количественно (численные данные), так и качественно (содержательная информация). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются в основном методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недоста-точности информации по решаемому вопросу (что нередко бывает мри исследовании СУ) наряду с количественными методами обработки экспертных данных используются также методы качественного анализа и синтеза.

При этом следует помнить, что мнения экспертов часто совпадают не полностью, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений.

При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ»

В современных условиях оценка персонала является одним из важнейших элементов системы управления, на ее основе руководители принимают соответствующие решения в отношении своих сотрудников. От того, насколько информация, полученная в рамках оценочных мероприятий, будет качественной и надежной, в конечном счете зависит эффективность принимаемого решения.

Большое значение оценки персонала предприятия обусловлено и тем, что она связывает все элементы системы управления персоналом в единое целое. Невозможно осуществить управление персоналом ни по одному направлению (кадровому планированию, отбору, развитию работников, стимулированию труда, трудовым перемещениям и др.), не проводя оценку соответствующих характеристик сотрудников предприятия.

Рассмотрим практический опыт оценки персонала на одном из крупнейших российских промышленных предприятий ОАО «УАЗ».

В качестве основной формы рассматриваемого процесса на протяжении многих лет применялась аттестация сотрудников. Проведение аттестации характеризовалось достаточно простой схемой. Непосредственный начальник работника составлял на него характеристику. За этим следовало заседание аттестационной комиссии, которая только на основании оценки руководителя (характеристики) принимала решение о соответствии (несоответствии) сотрудника занимаемой должности. Ни о каких других экспертах (кроме руководителя работника) не было и речи. Результаты такой аттестации не давали достаточно обоснованной информации по совершенствованию работы с кадрами, т. е. аттестация носила чисто формальный характер, не было системного подхода к данному мероприятию, заинтересованности в получении достоверных результатов. Выводы аттестационной комиссии фиксировались в личных делах работников и не находили дальнейшего применения для повышения качества персонала. С приходом нового собственника и команды руководителей в ОАО «УАЗ» изменилось отношение к персоналу, который стал рассматриваться как наиболее важный ресурс развития. Поэтому проблемам, связанным с работниками, стало уделяться больше внимания, а система оценки персонала претерпела значительные эволюционные изменения. В 2002 г. в Дирекции по персоналу был создан отдел анализа персонала с целью формирования системы оценки персонала, анализа полученных в результате оценки данных и эффективного их использования. В тот период руководством была поставлена задача: провести оценку руководителей, специалистов и служащих в форме аттестации с использованием нового метода, в качестве которого нами был выбран метод экспертной оценки.

Итак, под аттестацией мы понимаем процедуру определения квалификации, уровня знаний, практических навыков, деловых и личностных качеств работника, качества трудовой деятельности и ее результатов и установления их соответствия (несоответствия) требованиям занимаемой должности. Целью проведения аттестации в ОАО «УАЗ» является повышение эффективности труда и заинтересованности работника в результатах своего труда и деятельности всей организации.

Аттестации подлежат все руководители, специалисты и служащие ОАО «УАЗ», за исключением:

Работников, проработавших в занимаемой должности менее одного года;

Беременных женщин; женщин и одиноких мужчин, имеющих детей в возрасте до трех лет.

Аттестация в ОАО «УАЗ» проводится периодически, один раз в три года. Сроки проведения аттестации утверждаются приказом генерального директора ОАО «УАЗ». График проведения аттестации составляется Дирекцией по персоналу и утверждается директором по персоналу. В графике указываются сроки проведения аттестации в структурных подразделениях. График проведения аттестации доводится до сведения работников не позднее чем за два месяца до заседания аттестационной комиссии.

Для проведения аттестации в каждом структурном подразделении ОАО «УАЗ» создаются аттестационные комиссии. Аттестационная комиссия состоит из председателя, заместителя председателя, секретаря, представителя выборного профсоюзного органа и других членов комиссии. Рекомендуется включать в аттестационную комиссию не более девяти человек. Кроме того, в состав комиссии могут привлекаться эксперты, не участвующие в голосовании.

Решение аттестационной комиссии принимается большинством голосов присутствующих на заседании членов комиссии. Комиссия правомочна решать вопросы в том случае, если на заседании присутствует не менее двух третей ее членов. При равенстве голосов принимается решение в пользу аттестуемого сотрудника.

Кроме того, директором по персоналу формируется Центральная аттестационная комиссия для аттестации руководителей высшего звена управления (заместителей директоров, управляющих производствами, начальников управлений и центров). В ее состав включаются все функциональные директора ОАО «УАЗ».

В случае, если аттестуемый работник не принял участия в аттестационных мероприятиях без уважительной причины, аттестационная комиссия правомочна проводить обсуждение без участия аттестуемого. Уважительными причинами являются: болезнь, командировка, отпуск, учеба.

На стадии подготовки к аттестации на предприятии была сформирована рабочая группа, состоящая из руководителей структурных подразделений и сотрудников Дирекции по персоналу. Группа решила, что в рамках оценочных мероприятий перед собственно аттестацией необходимо оценить наиболее важные характеристики персонала, в качестве которых были определены следующие:

1. Профессиональные знания и умения.

2. Уровень качества работы.

3. Своевременность выполнения заданий.

4. Инициативность в нововведениях.

5. Сложность выполняемых работ.

Для определения степени выраженности деловых качеств сотрудников нами применяется экспертная оценка - метод групповой оценки работников, основанный на опросе его руководителей и лиц одинакового должностного статуса. Кроме того, проводится самооценка работника. Для участия в группе экспертов отбираются компетентные работники:

Имеющие с оцениваемым высокий уровень коммуникативно-деловых связей;

Совместно проработавшие не менее года;

Не состоящие в родственных отношениях.

Количественный состав экспертных групп четыре человека плюс сам оцениваемый сотрудник.

В целях регламентации проведения аттестации был разработан порядок осуществления данного процесса:

1 этап (подготовительный):

1.1. Издание приказа генерального директора по заводу о проведении аттестации; доведение приказа и графика проведения аттестации до руководителей всех структурных подразделений под роспись.

1.2. Назначение распоряжением руководителя каждого структурного подразделения ответственного за проведение аттестационных мероприятий (координатора) и формирование состава аттестационной комиссии.

1.3. Проведение специалистами отдела анализа персонала Дирекции по персоналу семинара по обучению координаторов процедуре оценочных мероприятий.

1.4. Составление координатором плана мероприятий по проведению аттестации, утверждение его руководителем структурного подразделения и информирование аттестуемых.

1.5. Сформированы и утверждены руководителями структурных подразделений списки работников, подлежащих аттестации, и работников, не подлежащих аттестации, с четким обоснованием причин, по которым данный работник не подлежит аттестации, и предоставление списков в отдел анализа персонала (в обязательном порядке на электронных и бумажных носителях) в течение семи рабочих дней с момента получения приказа о проведении аттестации.

1.6. Составление списков экспертных групп и их утверждение руководителем структурного подразделения.

2 этап (оценка):

2.1. Составление непосредственным руководителем характеристики на аттестуемого работника с занесением ее в оценочный лист.

2.2. Организация и проведение координатором экспертной оценки персонала. Максимальный срок проведения мероприятий - пять рабочих дней.

Членами экспертных групп оцениваются деловые качества руководителей, специалистов и служащих ОАО «УАЗ». Каждый эксперт заполняет опросные листы на аттестуемого сотрудника, руководствуясь только своим мнением, в соответствии с предложенной инструкцией и шкалой. Кроме того, осуществляется самооценка работника, т. е. заполнение опросного листа самим аттестуемым по тем же качествам.

2.3. Координаторы передают заполненные опросные листы в отдел анализа персонала Дирекции по персоналу для определения степени выраженности каждого делового качества у аттестуемого работника; результаты подсчета заносятся в таблицу в оценочном листе.

Средний балл по каждому деловому качеству работника рассчитывается как среднее арифметическое значение оценок всех экспертов по данному деловому качеству работника, т. е. по формуле:

СБ=(01+02+...+0п):п,

где СБ - средний балл выраженности делового качества,

0i - оценка (в баллах) делового качества, поставленная i-м экспертом (i = 1,2,...n),

n - количество экспертов.

На основании полученных средних баллов определяется степень выраженности каждого делового качества оцениваемого сотрудника в соответствии с таблицей.

Степень выраженности делового качества оцениваемого сотрудника:

Средний балл до 2,4 - Качество не выражено

Средний балл 2,5 - 3,4 - Качество выражено слабо

Средний балл 3,5 - 4,4 - Качество выражено достаточно

Средний балл 4,5 - 5,0 - Качество выражено высоко

2.4. Передача отделом анализа персонала заполненных оценочных листов в аттестационную комиссию структурного подразделения (не позднее чем за две недели до заседания аттестационной комиссии) для ознакомления с ними аттестуемых работников под роспись.

3 этап (заседание аттестационной комиссии):

3.1. Изучение аттестационной комиссией оценочных листов, заслушивание мнения непосредственного руководителя аттестуемого работника, проведение собеседования с аттестуемым, обсуждение полученных выводов и их утверждение голосованием.

3.2. Формулирование аттестационной комиссией по результатам голосования окончательных выводов и рекомендаций с занесением их в аттестационный лист.

а) соответствует занимаемой должности;

б) соответствует занимаемой должности при условии улучшения работы и выполнения рекомендаций аттестационной комиссии с повторной аттестацией через год;

в) не соответствует занимаемой должности.

Об увеличении должностного оклада;

О переводе сотрудника на другую должность;

О приоритетных направлениях развития;

О зачислении сотрудника в кадровый резерв.

3.3. Доведение координатором непосредственно после проведения аттестации выводов и решений аттестационной комиссии до аттестуемых и их руководителей под роспись.

3.4. Передача координатором аттестационных листов в отдел анализа персонала.

3.5. По завершении аттестации отдел анализа персонала Дирекции осуществляет статистическую обработку данных по всем аттестованным работникам с составлением сводного отчета, после чего аттестационные листы помещаются в личные дела сотрудников.

Примечание: информация, содержащаяся в оценочных и аттестационных листах, является конфиденциальной и не подлежит разглашению лицам, не входящим в состав аттестационной комиссии и не задействованным в процедуре обработки и хранения аттестационных листов. После завершения аттестации предложения аттестационной комиссии, зафиксированные в аттестационных листах, рассматриваются руководителем структурного подразделения для принятия решения в течение двух месяцев с момента ознакомления с ними. Работник, в случае признания его не соответствующим занимаемой должности, направляется на повышение квалификации или переподготовку, либо с его письменного согласия переводится на другую должность. По истечении двух месяцев перевод работника на другую должность по результатам данной аттестации не допускается. При необходимости проведения повторной аттестации, директор по персоналу издает распоряжение с указанием структурных подразделений, списков работников, подлежащих повторной аттестации, и сроков ее проведения. Заседания аттестационных комиссий проходят в прежнем составе. Решение о соответствии (несоответствии) работника занимаемой должности принимается на основании:

Характеристики руководителя на аттестуемого работника;

Все спорные вопросы, связанные с результатами аттестации, рассматриваются аттестационной комиссией в соответствии с действующим законодательством или передаются в Комиссию по трудовым спорам.

Таким образом, если до 2002 г. аттестация в ОАО «УАЗ» проводилась только на основе характеристики руководителя, то с2002 г. в основу аттестации была положена экспертная оценка, что позволило снизить степень субъективизма оценки. За период с 2002 по 2005 г. нами совместно со структурными подразделениями предприятия была проведена аттестация всех руководителей, специалистов и служащих ОАО «УАЗ», подлежащих аттестации, число которых составляет более пяти тысяч человек.

Заключение

В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

В основу экспертной оценки свойств и деловых качеств кандидата положены количественные параметры и оценочные критерии, полученные в результате интервью. Хотя здесь и присутствуют элементы условности и субъективизма, однако при хорошей разработке шкалы оценок и внимательном (профессиональном) подходе экспертов оценить испытуемых можно с высокой степенью достоверности.

Список использованных источников и литературы

1. Григоров В. М. Эксперты в системе управления общественным производством // М.: Мысль, 1976

2. Демидова А.В. Исследование систем управления. – М.: Приор-издат, 2005. – 96 с.

3. Джонсон Р. и др. Системы и руководство (теория систем и руководство системами) / Пер. с англ. // М.: Советское радио, 1974.

4. Игнатьева А.В. Исследование систем управления. – М.: ЮНИТИ-ДАНА, 2003. – 157 с.

5. Кафидов В.В. Исследование систем управления. – М.: Академический Проект, 2005. – 160 с.

6. Малин А.С. Исследование систем управления. – М.: ГУ ВШЭ, 2005. – 399 с.

7. Мишин В.М. Исследование систем управления. - М.: ЮНИТИ-ДАНА, 2005

8. Мухин В.И. Исследование систем управления. – М.: Экзамен, 2003. – 384 с.

9. Ползунова Н.Н. Исследование систем управления. – М.: Академический Проект, 2004. – 176 с.

10. Рейльян Я. Р. Основа принятия управленческих решений //М.: Финансы и статистика, 1989

11. Ременников В.Б. Разработка управленческого решения. Учеб. пособие. - М.: ЮНИТИ-ДАНА, 2000.

12. Смолкин A.M. Менеджмент: основы организации. - М.: ИНФРА-М, 1999.

13. Управление организацией. /Под ред. А.Г. Поршнева, З.П. Румянцевой, Н.А. Саломатина. -М.: ИНФРА-М, 1999.

Что еще почитать

Тушеная капуста в мультиварке редмонд Вкусная капуста тушеная в мультиварке редмонд Вашему вниманию предлагаем сегодня рецепт тушеной капусты с мясом в мультиварке Редмонд. Если же вы соблюдаете пост или...

Как мужчине избавиться от кандидоза навсегда Как мужчине избавиться от молочницы Молочницу (кандидоз) половых органов раньше принято рассматривать как сугубо женскую проблему, в народе бытует мнение,...

Фэн-шуй квартиры Расположение квартиры по фен шуй 08.11.2017 Как нужно расставить дома по фэншую. Планировка дома по фен-шуй. Обладатели частных домов могут...

Метод экспертных оценок. Методики проведения экспертизы Метод экспертных оценок вывод

Виды экспертного оценивания

Достоинства метода экспертных оценок

Требования к экспертной группе

Процедура экспертного оценивания

Виды экспертного оценивания

Что еще почитать

ПОСЛЕДНИЕ ЗАПИСИ

Категории