АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Оценка количественного состава группы экспертов

Читайте также:
  1. D.2 Оценка практического экзамена на 1-й и 2-й уровни – руководящие указания по взвешенным процентам
  2. II. Оценка располагаемых водных ресурсов объекта.
  3. III. Изучение геологического строения месторождений и вещественного состава песка и гравия
  4. PzKpfw 38(t) Praga – чешский танк на немецкой службе из состава 8-й тд
  5. V этап. Оценка результатов
  6. V этап. Оценка результатов
  7. V этап. Оценка результатов
  8. V этап. Оценка результатов
  9. VI. Аннотация к рабочей программе средней группы
  10. VII. ОЦЕНКА СЕЛЬХОЗУГОДИЙ
  11. VIII. Сигналы, применяемые для обозначения поездов, локомотивов и другого подвижного состава
  12. Алгоритм хода анализа смеси катионов I группы

Качественные и количественные параметры состава экспертной группы всегда взаимосвязаны, что нередко отражается в конкретных методиках подбора экспертов. Это объясняется тем, что в конечном итоге определяющий критерий обоснования численности - это, прежде всего достижение высокого качества прогноза, генерируемого в результате индивидуального или же группового оценивания. А качественный экспертный прогноз возможен лишь при условии априорно высоких качественных параметров привлекаемых к его разработке специалистов по исследуемой проблеме.

На практике аналитики обычно используются два основных подхода при обосновании численности и качественного состава членов экспертной группы. Условно их можно разделить на статистический и эвристический с элементами количественного анализа. Ниже приводятся методы расчетов, отражающих оба подхода.

1. Статистический подход.

1.1. В качестве базы обоснования объема репрезентативной выборки экспертов можно воспользоваться некоторыми результатами теории вероятности при различных условиях генерирования случайной величины [1]. В частности полезным может оказаться следствие из различных форм закона больших чисел, в частности из неравенства Чебышева

, где

- тестовое значение дисперсии оценок экспертов;

- предельная априорно задаваемая ошибка оценивания;

- вероятность совпадения (точнее – не меньше) истиной оценки с усредненной по группе.

1.2. Использование результатов прикладного статистического анализа. Осуществляется кластерный анализ ответов экспертов (объединение экспертов, имеющих близкие оценки, в одну группу либо высокие показатели межклассовых расстояний) по всем оцениваемым вопросам экспертизы. В группу отбираются эксперты, ответы которых дают оптимальное значение по выбранному критерию качества кластеризации [2], например минимум среднеквадратического отклонения их ответов по тестовому множеству от среднего арифметического их групповой оценки. В том случае, если эксперты дают оценки в метрической шкале, то среднеквадратическое отклонение находится по формуле

,

где xij- оценка i-го эксперта по j-у вопросу, причем , .

2. Эвристический подход.

Примером эвристической процедуры обоснования численности экспертной группы можно привести метод “снежного кома”. Его формальное описание следует ниже.

2.1. Пусть М0 – исходное множество экспертов, известных заранее. Осуществляется последовательный опрос специалистов из первоначального множества М0 с целью выявления всего множества экспертов компетентных по данному вопросу. Первый опрошенный из них называет m1(1) новых лиц, после чего кандидатов становится М0 + m1(1). После опроса любого k- го лица из М0 выявленных лиц станет , а в итоге всего первого тура опроса выявляется () потенциальных претендентов на включение в экспертную группу, где М1 - число новых лиц, названных в ходе первого круга опроса, его можно представить в виде следующей суммы: . В общем виде, число ранее не названных потенциальных кандидатов за r итераций опроса составит человек.

Очевидно, что необходимо выявить компромисс между желанием достичь идеально полного списка и нежеланием расходовать излишне много времени и средств на полный перебор и оценку потенциальных кандидатов. Для чего предлагается построить стохастическую модель рассмотренного ранее процесса на основе данных о потенциальном множестве экспертов, выявленных к окончанию какого-то тура опроса. Основной момент, который следует учесть при этом, что любое множество экспертов конечно и, начиная с какого-то момента, упоминаемые специалисты будут повторяться [25].

Обозначим как (N+1) - число всех кандидатов, которые могли бы быть признаны в качестве экспертов, оно заранее неизвестное.

М0 - число априорно известных кандидатов.

m - число лиц, называемое каждым опрашиваемым кандидатом; - число новых, не входящих в ранее названное множество М0 - лиц, названных каким-либо опрошенным. Допустим, что каждый опрошенный из М0 называет m неизвестных ему лиц из N.

Рассмотрим случай полной неопределенности, т.е., когда опрошенный с равной вероятностью называет любые m лиц из N. При этом - случайная величина, принимающая значения от 0 до m.

Как следует из комбинаторных соображений, вероятность того, что какой-то опрошенный из М0 назовет l новых, ранее не упомянутых лиц, можно оценить как , где l= , а С - знак оператора сочетания.

Следует отметить, что представляет собой гипергеометрическое распределение, из чего легко можно получить математическое ожидание и другие моменты. В этом случае математическое ожидание случайной величины определяется как e(m¢)=m(N+1-М0)/N. С целью получения искомой оценки можно приравнять математическое ожидание числа ранее не упоминавшихся кандидатов к выборочному среднему по данным первого тура опроса исходного множества кандидатов М0, тогда:

,

где - булева переменная, принимающая значение 1, если i-й кандидат из исходного множества М0 называет лицо, ранее не входящее в М0 , 0, в противном случае.

Отсюда следует, что исходное множество потенциальных экспертов по проблеме («генеральная совокупность») может быть оценена как . Следовательно, искомая приближенная оценка возможного числа кандидатов на единицу больше и равна .

При использовании на практике найденного числа в качестве обоснования количества членов экспертной группы необходимо иметь ввиду его приближенный характер. Следует разумно соотносить число реально доступных специалистов компетентных в соответствующей предметной областью с теоретически возможной величиной и, приняв во внимание затраты на новые туры опроса, решить, начинать ли следующий цикл опроса.

2.2. Определение верхней и нижней границ численности специалистов, входящих в группу экспертов, может строиться и на основе некоторых разумных гипотез. В том числе, относительно требований, предъявляемых к специалистам в данной предметной области. В качестве примера могут быть приведены следующие рассуждения [16, 18].

С одной стороны число человек, входящее в экспертную группу должно быть таким, чтобы удовлетворялось условие достаточной средней компетентности по группе, т.е. , где К – усредненный минимально допустимый уровень компетентности по группе в целом (может иногда определяться в долях от максимально возможного (Кmax), например, К = 0,85Кmax; k(n) – средний уровень компетентности на n-й итерации процедуры, т.е. при включении в группу n-го эксперта, следовательно, , где кi - коэффициент компетентности i-го эксперта.

Таким образом, необходимое (n*), обеспечивающее требуемый качественный уровень, число экспертов можно оценить из условия выполнения соотношения вида . Однако приведенное условие является не достаточным, для однозначного определения численности группы, так как при этом должно соблюдаться условие устойчивости средне группового мнения. С целью установления этого факта проводится дополнительное тестовое исследование, призванное итеративно отыскать такое множество из s экспертов, чтобы выполнялось следующее неравенство:

, где М(s) - среднее значение тестовой оценки, выдаваемое группой из s экспертов, а М(s 1) - новое среднее значение при включении или исключении в исходную группу 1 человека. Т.е., s определяет такое количество специалистов, когда включение или исключение человека из экспертной группы не влияет на общую групповую оценку.

Таким образом, исходя из данного обоснования, окончательно количество человек в группе может быть найдено из условия . Где нижняя граница численности группы может задаваться директивно, например, из опыта, либо некого норматива, а может исходить из использования неких рекомендуемых [17] эмпирических формул расчета минимального числа экспертов, например: .

Заметим, что независимо от метода, используемого для подбора группы экспертов, возникает вопрос о ее составе. Считается, что в группах с однородным составом (по образовательному, должностному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В группах со случайным подбором кандидатов, как правило, эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок. В этой связи особое значение уделяется количественным методам обоснования процедур выявления необходимых качественных кондиций экспертной комиссии.

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.004 сек.)