АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Устойчивость измерения

Читайте также:
  1. В3. В случае несоответствия показателей нормативным значениям с ухудшения финансовая устойчивость организации по данным может быть определена как «неудовлетворительно».
  2. В:: А какое влияние она оказывает вне своих пределов? Например, на нашу Галактику. Или на соседние измерения. есть какое-то влияние?
  3. Влияние на продольную устойчивость и управляемость.
  4. ВЫПАДЕНИЕ ИЗ СИНХРОНИЗМА И СТАТИЧЕСКАЯ УСТОЙЧИВОСТЬ
  5. Динамическая устойчивость при к.з. на линий
  6. Динамическая устойчивость при кз на линии
  7. Информационная база оценки и управления финансовой устойчивостью организации
  8. Лекция № 4. Устойчивость природных систем
  9. МЕТОД ИСПЫТАНИЯ НА УСТОЙЧИВОСТЬ
  10. Методика измерения.
  11. Методика измерения.
  12. Методика измерения.

О высокой надежности шкалы можно говорить лишь в том случае, если повторные измерения при помощи одних и тех же объектов дают сходные результаты устойчивость проверяется на одной и той же выборке исследуемых объектов (респондентов). Сравнение же средних оценок разных выборок ничего не говорит об устойчивости измерения как таковом, а толь­ко лишь о репрезентативности выборок и их соответствий одной, и той же совокупности. Обычно устойчивость проверяй проведе­нием двух последовательных замеров с определенным временным интервалом — таким, чтобы этот промежуток не был слишком велик, чтобы сказалось изменение самого объекту но не слишком май, чтобы респондент мог по памяти «подтягивать» данные второго замера к предыдущему (т. е. его протяженность зависит от (объекта изучения и колеблется от двух до трех недель).

Осуществление более двух измерений связано с трудностями организации эксперимента и накапливанием ошибок другой при­роды, не связанной, с устойчивостью.

Пусть х — изучаемый на устойчивость признак, а отдельные его значения— х1, x2…хк. Каждый респондент l(l=1,…n) и при первом и при втором опросах получает некоторую оценку по изучаемому признаку — x1lи x2lсоответственно/

Результаты двух опросов в респондентов заносятся в таблицу сопряженности (табл. 30), которая служит основой для дальнейшего изучения вопросов устойчивости. Здесь nij число респондентов, выбравших в первом опросе ответ хi и заменивших его при втором опросе на ответ xj.

Существует традиция изучать устойчивость с помощью анализа корреляций между ответами проб I и II. Однако этот подход не­достаточно эффективен, поскольку не учитывает многих аспектов устойчивости.

 

Остановимся на более результативных показателях.

1. Показателем абсолютной устойчивости шкалы назовем вели­чину, показывающую долю совпадающих ответов в последователь­ных пробах.

Этот показатель использует не всю информацию, содержащуюся в соотношении ответов проб I и II, а базируется лишь на частотах совпадающих ответов. Однако он хорош, например, для характе­ристики устойчивости качественных признаков.

Для описания устойчивости количественных признаков его не­достаточно, поскольку при большом числе градаций доля совпада­ющих ответов будет чрезвычайно мала назначение W мало информативно. Здесь пригодны показатели неустойчивости, т. е. величи­ны ошибки, учитывающие не просто факт несовпадения ответов, а степень этого несовпадения. Ошибки рассчитываются по край­ней мере для порядковых признаков.

Линейной мерой несовпадения оценок, является средняя ариф­метическая ошибка, показывающая средний сдвиг в ответах в расчете на одну пару последовательных наблюдений:

 

Здесь х1 и х11 ответы по анализируемому вопросу L - го рес­пондента в I и II пробах соответственно.

Пример. Пусть ответы на вопрос в пятибальной шкале для выборки 50 человек распределились, как в табл. 31.

Таким образом, в I пробе оценку «1» дали 9 респондентов, из них только трое повторили ее в пробе II, пятеро отметили «2», один дал оценку «3» и т. д.

 

Данный показатель использует всю информацию, содержащуюся в распределении, хорошо интерпретируется как средний сдвиг в ответах одного респондента, однако имеет определенные ограниче­ния аналитического характера и поэтому обычно редко использу­ется в статистических расчетах.

Средняя квадратическая ошибка для последовательных дан­ных17 в расчете на одну пару наблюдений выглядит так:

 

 



(совпадение Sx и 1AI в этом примере чисто случайное).

До сих пор речь шла об абсолютный ошибках, размер которых выражался в тех же единицах, что и сама измеряемая величина, например 0,82 балла в пятибалльной шкале. Это не позволяет срав­нивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показа­тели ошибок измерения.

В качестве показателя для нормирования абсолютной ошибки можно использовать максимально возможную ошибку в рассмат­риваемой шкале (Dmax).

Если число делений шкалы k, тогда Dmax равно разнице между крайними значениями шкалы (Xmax – Xmin), т. е. k—1, и относи­тельная ошибка имеет вид

 

(здесь |D|— средняя арифметическая ошибка измерения).

Однако зачастую этот показатель «плохо работает» из-за того, что шкала не используется на всей ее протяженности. Поэтому бо­лее показательными являются относительные ошибки, рассчитан­ные по фактически используемой части шкалы, как было рассмот­рено выше. Если число градаций в «работающей» части шкалы обозначить k', то тогда более надежной будет такая оценка ошибки:

 

Если в качестве абсолютной ошибки использовалась средняя квадратическая ошибка S, то показатель относительной ошибки



 

Пример. Допустим, что шкала имеет 7 градаций. При опреде­лении «работающей» части этой шкалы анализируется распреде­ление полученных в I пробе оценок:

 

Здесь на оценки «5», «6»-, «7» приходится лишь 11 наблюдений, т. е. 2,26%. Проверка согласно критерию (формула (1)) устанав­ливает, что эта часть шкалы «не работает»; т. е. используются лишь градации 1, 2, 3, 4, поэтому Dmaх = 4 — 1 = 3. На основании соотношения ответов в I и II пробах находим сдвиги в ответах (ошиб­ки). Распределение ошибок по этой шкале оказалось следующим:

 

измерения. Однако оценка по k также является довольно грубой и не использует всю информацию, содержащуюся в ответах I пробы ведь реально не все оценки могут дать максимальный сдвиг, а только крайние на шкале.

Оценим для приведенного распределения максимальный сдвиг по реально работающей части шкалы: только крайние значения (233, 78 + 11) могут дать сдвиг в 3 балла, 106 и 59 ответов могут дать максимальный сдвиг в 2 балла. Таким образом, возможный сдвиг для данного исходного распределения «может быть равен средней в 2,6 балла четырех балльной шкалы, т. е. фактическая ошибка еще больше: 0,6:2,6= 0,23.

Повышение устойчивости измерения. Для решения этой задачи необходимо выяснить различительные возможности пунктов: исполь­зуемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных про­бах респонденты практически повторяют свои оценки. Следователь­но, высокой различимости делений шкалы должна соответствовать малая ошибка.

Эту жё задачу можно описать в терминах чувствительности шка­лы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е. чем больше градаций в, шкале, тем/больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка из­мерения ±10 баллов).

Во и при малом числе градаций, т. е. при низкой чувствитель­ности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают кате­горические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет» для характеристики своего нейтрального положения.

Итак, следует найти некоторое оптимальное соотношение меж­ду чувствительностью и устойчивостью. Введём правило: использовать столько градаций в шкале, чтобы ее ошибка была меньше 0,5 балла. - : ".

Если ошибка меньше 0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При |D| >0,5 балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше).

Существуют способы, «позволяющие добиться требуемой чувстви­тельности.

Пример. В исследовании каждый испытуемый дает 8 оценок некоторым профессиональным качествам инженеров. Значение оце­нок варьирует от +3 до —3. Проведено два измерения. Рассмотрим суммарное распределение оценок по четырем качествам (самостоя­тельность, творчество, инициативность, опытность), данных тринад­цати респондентов (табл. 32).



Всего в табл 32 представлено 416 пар наблюдений: 13 респон­дентов X 8 оценок X 4 качества. Из них в первой пробе 226 оценок имели значение «3»; во второй пробе из них только 170 были по­вторены, 47 оценок получили значение «2», 6 оценок — значение «1» и 3 оценки — значение «О».

 

Таким образом, для исходной оценки «3» средняя оценка во второй пробе стала равной

На основании этого соотношения оценок получим распределение ошибок:

Рассчитаем среднюю арифметическую ошибку çDç= 0,69. Поскольку çDç> 0,5, ищем не различающиеся градации.

Средние оценки по каждой строке сравниваем с помощью кри­терия Стьюдента. Если окажется, что х1 и xi+1 отличаются незначимо (t<tкрит), то далее нужно сравнивать xi и xi+1 и т. д. до значимого отличия средних (tti, i+tзаписаны в последнем столбце табл. 32, а значимы» значения выделены).

Таким образом, оценки «3». и «2» отличаются между собой су­щественно, поскольку критерий Стьюдента фиксирует значимое различие между 2,70 и 2,47; оценки «2» и «1» несущественно отлича­ются друг от друга и т. д. Представим результаты сравнения ис­ходных оценок при помощи схемы разбиения совокупности оце­нок на классы эквивалентности:

Здесь все оценки попадают в три непересекающихся класса: оценка «3» отличается от «2»; «2» и «1» не отличаются друг от друга, но отличаются от соседних оценок; последние четыре значе­ния взаимно неразличимы.

Следовательно, респонденты различают лишь три уровня вме­сто семи предложенных, и шкала должна быть преобразована в трехбалльную, где высокой оценке соответствует исходная оценка в 3 балла, бредней — 2 и 1 балл; низкой — О, —1, —2, —3. При­своим описанным уровням новые баллы — соответственно 3, 2, 1. В итоге имеем следующее соотношение оценок (табл. 33).

Это распределение характеризуется ошибкой çDç=0,43 балла, т. е. уже меньше 0,5 градации, и потому такая шкала устойчива.

В общем случае возможны два варианта соотношения исходных оценок: 1) классы неразличимости оценок неё пересекаются (например, как это было в только что рассмотренном случае);

 

 

2) классы неразличимости оценок пересекаются например так:

 

 



 

 

В первом случае можно подобрать для шкалы числовую серию, т. е. упорядоченный ряд чисел, в котором большее число характе­ризует более высокий уровень качества.

Во втором случае имеется полуупорядоченная система оценок, и ее можно отобразить лишь на полуупорядоченную числовую си­стему. В рассматриваемом примере возможно, в частности, такое числовое представление:

Там, где между исходными оценками нет существенного раз­личия, разница между значениями числового представления (ниж­ний ряд чисел) меньше 1; при значимом различии разница боль­ше 1.

Однако часто желательно иметь преобразованные оценки, вы­раженные целыми числами. В таком случае можно предложить следующую систему понижения дробности шкалы: ближайшим исходным значениям, существенно отличающимся друг от друга, присваивают ранги последовательно I, II, III и, т. д. В рассматриваемом примере будет выглядеть так:



 

Для промежуточных значений, несущественно отличающихся от соседних (например, исходную оценку «2» можно отнести в любые классы — и в I, и во II), следует предложить дополнительные кри­терии отнесения их в один из двух соседних классов. Можно в качестве критерия использовать меру относительной близости про­межуточной оценки к тому или иному соседнему классу и путем перебора всех возможных схем объединения искать схему с наименьшей ошибкой.

В конечном итоге порядок действия может быть таким. На ос­нове данных двух последовательных проб определяем пороги различаемости градаций шкалы, В том случае, если обнаружено смешение градаций, применяют один из двух способов.

Первый способ, и итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй способ. Для предъявления респонденту сохраняют прежнюю дробность шкалы и только при обработке укрупняют соот­ветствующие ее пункты (как это было показано выше).

Второй способ кажется предпочтительнее, поскольку, как пра­вило, большая дробность шкал побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различи­тельной способности исходной' шкалы.

Итак, предложенные способы анализа целесообразны при отра­ботке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет; а) выявить плохо сформулиро­ванные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы» предложенной для оценки того или иного явления, выявить более оптимальный вариант дроб­ности значения шкалы.

Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной устойчивостью), которые будут получены в основном исследовании.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | 119 | 120 | 121 | 122 | 123 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.008 сек.)