Робастные методы анализа данных

Цель работы

Изучение метода, альтернативного основному методу определения стандартных отклонений повторяемости и воспроизводимости стандартного метода измерений, именуемого робастным методом анализа данных, для которого нет необходимости отбрасывать выбросы и, тем самым, изменять статистические характеристики оставшегося набора данных.

Описание работы

Робастные методы, описываемые в этом пункте, позволяют проанализировать полученные данные таким способом, при котором не требуется принимать решения, влияющие на результаты расчетов. Таким образом, если имеется основание ожидать, что результаты эксперимента по оценке прецизионности могут содержать выбросы, робастные методы могут быть предпочтительнее.

Примером применения робастных методов является случай, когда при анализе данных эксперимента по оценке прецизионности, значения стандартных отклонений повторяемости и воспроизводимости рассчитывают таким образом, что на них не влияет наличие выбросов. Если всех участников эксперимента можно разделить на два класса: производящих данные хорошего и плохого качества, то робастные методы дадут значения стандартных отклонений повторяемости и воспроизводимости, которые действительны для класса с хорошим качеством данных, и не окажут воздействия на данные плохого качества (при условии, что класс данных плохого качества не слишком велик).

Использование робастных методов для анализа данных не влияет на планирование, организацию или выполнение эксперимента по оценке прецизионности. При использовании робастных методов в ходе обработки данных необходимо, как и в других случаях, проводить тесты на наличие выбросов, проверку совместимости (однородности), а также исследовать причины отдельных выбросов или графики по статистикам h и k. Однако сами исходные данные не должны исключаться как результаты этих измерений и проверок.

При оценке прецизионности рассчитывают статистики двух типов:

а) средние значения в элементах, по которым рассчитывают стандартное отклонение, определяющее оценку межлабораторного расхождения;

б) стандартные отклонения или расхождения в пределах элементов (в том числе расхождения в эксперименте с распределенными уровнями), которые объединяют, чтобы получить оценку внутрилабораторного расхождения (вариации).

Робастные методы не подменяют эти средние значения в элементах, стандартные отклонения или расхождения (или вариации), различия, а обеспечивают альтернативные способы их сочетания для получения статистик, используемых для расчетов стандартных отклонений повторяемости и воспроизводимости.

Описанные робастные методы относительно просты. При этом обеспечиваются робастные способы объединения лишь средних значений, стандартных отклонений и расхождений в элементах. Описанные робастные методы не объединяют индивидуальные результаты измерений (испытаний), то есть они начинают с арифметических средних и стандартных отклонений в элементах. Имеются, однако, методы, которые объединяют результаты измерений (испытаний) в пределах элементов робастным способом, но они могут быть более сложными при применении на практике.

Исходные данные

Исходные данные представлены в табл. 4.1.

Данные столбцов 1, 2, 3 должны быть рассмотрены с помощью алгоритмов А и S.

Данные столбца 4 должны быть рассмотрены по отдельным однородным уровням.

Задание

1. Провести робастный анализ данных по алгоритму А.

2. Провести робастный анализ данных по алгоритму S.

3. Провести робастный анализ данных для отдельного уровня эксперимента по модели с однородными уровнями.

4. Сделать выводы.

Выполнение задания

1. Робастный анализ. Алгоритм А

Этот алгоритм дает робастные величины среднего значения и стандартного отклонений данных, к которым он применяется, а именно:

а) средним значениям в элементах для любой модели;

б) расхождениям в элементах для модели с распределенными уровнями.

Рассчитать средние значения данных каждого элемента xi столбцов 1 – 3, считая данные столбцов результатами измерений в разных лабораториях


Таблица 4.1

Исходные данные

№ эксперимента Столбец 1 Столбец 2 Столбец 3 Столбец 4 Столбец 5 Столбец 6
7,75 7,70 7,72 9,750 9,780 9,745
7,80 7,70 7,74 9,800 9,820 9,802
7,85 7,65 7,75 9,750 9,760 9,760
7,75 7,60 7,75 9,750 9,730 9,758
7,70 7,75 7,70 9,700 9,740 9,730
7,65 7,75 7,65 7,720 7,730 7,740
7,80 7,70 7,80 7,840 7,840 7,810
7,74 7,60 7,74 7,792 7,762 7,802
7,66 7,65 7,66 7,728 7,738 7,748
7,73 7,70 7,73 7,784 7,774 7,784
7,71 7,65 7,71 6,473 6,479 6,463
7,80 7,70 7,80 6,533 6,543 6,533
7,70 7,64 7,70 6,467 6,461 6,477
7,75 7,66 7,75 6,500 6,510 6,500
7,70 7,63 7,70 6,467 6,447 6,487
7,90 7,61 7,70 5,657 5,653 5,637
7,72 7,78 7,72 5,554 5,534 5,544
7,68 7,76 7,68 5,531 5,531 5,538
7,65 7,65 7,65 5,514 5,524 5,534
7,75 7,65 7,75 5,571 5,551 5,551
7,85 7,63 7,75 4,925 4,895 4,885
7,72 7,66 7,72 4,860 4,880 4,862
7,73 7,75 7,73 4,865 4,875 4,875
7,74 7,65 7,74 4,870 4,870 4,870
7,85 7,63 7,75 4,825 4,835 4,855

Обозначить индексом p общее число данных, расположенных в порядке возрастания: x1, x2, …, xi, …, xp.

Обозначить робастное среднее значение x* и стандартное отклонение s* средних значений xi.

Рассчитать первоначальные значения x* и s* в виде:

x* = медиана от xi (i =1, 2, ..., p), (4.1)

x* = 7,717.

Рассчитать абсолютные значения отклонений |xi – x*| и определить робастное стандартное отклонение для средних значений

s* = 1,483 ´ медиана от |xi – x*| (i =1, 2, ..., p), (4.2.)

s* = 1,483 ´ 0,023 = 0,034603.

Обновить значения x* и s*, для чего рассчитать

return false">ссылка скрыта

j = 1,5s*, (4.3)

j = 0,051905.

Для каждого значения (i =1, 2, ..., p) рассчитать:

(4.4)

Рассчитать новые значения x* и s*

, (4.5)

. (4.6)

Робастные оценки x* и s* могут быть получены итеративным путем. Трижды повторить итеративный расчет. Результаты приведены в табл. 4.2.

После проведения итераций робастные значения:

x* = 7,7159, s* = 0,03355.

2. Робастный анализ. Алгоритм S

Этот алгоритм применяют для внутрилабораторного стандартного отклонения (или внутрилабораторных расхождений) в любой модели эксперимента. Он дает робастное среднеквадратичное значение для стандартных отклонений или расхождений, к которым применен.

Рассчитать стандартные отклонения для столбцов 1 – 3 (табл. 4.1) по каждому номеру эксперимента xi, считая данные столбцов результатами внутрилабораторных экспериментов.

Обозначить индексом p общее число данных, расположенных в порядке возрастания: s1, s2, …, si, …, sp. Обозначить робастные стандартные отклонения s*, а число степеней свободы si через n = n – 1, где n = 3 – число результатов измерений в элементе. В таблице 4.3 найти значения h = 1,517 и x = 1,054, необходимые для использования алгоритма.

Найти первоначальное значение s* в виде

s* = медиана si (i = 1, 2, ..., p). (4.7)

Обновить величину s* следующим образом

y= h ´ s*. (4.8)


Таблица 4.2

Робастный анализ. Алгоритм А

№ x1 x2 x3 xi |xi – x*| (1) (2) (3)
7,75 7,70 7,72 7,723 0,007 7,723 7,723 7,723
7,80 7,70 7,74 7,747 0,030 7,747 7,747 7,747
7,85 7,65 7,75 7,750 0,033 7,750 7,750 7,750
7,75 7,60 7,75 7,700 0,017 7,700 7,700 7,700
7,70 7,75 7,70 7,717 0,000 7,717 7,717 7,717
7,65 7,75 7,65 7,683 0,033 7,683 7,683 7,683
7,80 7,70 7,80 7,767 0,050 7,766 7,766 7,766
7,74 7,60 7,74 7,693 0,023 7,693 7,693 7,693
7,66 7,65 7,66 7,657 0,060 7,665 7,665 7,665
7,73 7,70 7,73 7,720 0,003 7,720 7,720 7,720
7,71 7,65 7,71 7,690 0,027 7,690 7,690 7,690
7,80 7,70 7,80 7,767 0,050 7,766 7,766 7,766
7,70 7,64 7,70 7,680 0,037 7,680 7,680 7,680
7,75 7,66 7,75 7,720 0,003 7,720 7,720 7,720
7,70 7,63 7,70 7,677 0,040 7,677 7,677 7,677
7,90 7,61 7,70 7,737 0,020 7,737 7,737 7,737
7,72 7,78 7,72 7,740 0,023 7,740 7,740 7,740
7,68 7,76 7,68 7,707 0,010 7,707 7,707 7,707
7,65 7,65 7,65 7,650 0,067 7,665 7,665 7,665
7,75 7,65 7,75 7,717 0,000 7,717 7,717 7,717
7,85 7,63 7,75 7,743 0,027 7,743 7,743 7,743
7,72 7,66 7,72 7,700 0,017 7,700 7,700 7,700
7,73 7,75 7,73 7,737 0,020 7,737 7,737 7,737
7,74 7,65 7,74 7,710 0,007 7,710 7,710 7,710
7,85 7,63 7,75 7,743 0,027 7,743 7,743 7,743
x* 7,7167   7,7158 7,7159 7,7159
s* 0,034603   0,033725 0,033607 0,033550
j 0,051905   0,050588 0,050410  

Таблица 4.3

Факторы, необходимые для робастного анализа. Алгоритм S

Степень свободы n Ограничительный фактор h Согласующий фактор x
1,645 1,097
1,517 1,054
1,444 1,039
1,395 1,032
1,359 1,027
1,332 1,024
1,310 1,021
1,292 1,019
1,277 1,018
1,264 1,017

 


Для каждого si (i = 1, 2, ..., p) рассчитать

(4.9)

Рассчитать новое значение s*

(4.10)

Получить робастную оценку s* итеративным способом, трижды повторить операции пункта 2. Результаты расчета приведены в табл. 4.4.

Таблица 4.4

Робастный анализ. Алгоритм S

№ si (1) (2) (3) wi (1) (2) (3)
0,0252 0,0252   0,0252 0,0252 0,0500 0,0500 0,0500 0,0500
0,0503 0,0503 0,0503 0,0503 0,1000 0,1000 0,1000 0,1000
0,1000 0,0764 0,0764 0,0764 0,2000 0,1481 0,1481 0,1481
0,0866 0,0764 0,0764 0,0764 0,1500 0,1481 0,1481 0,1481
0,0289 0,0289 0,0289 0,0289 0,0500 0,0500 0,0500 0,0500
0,0577 0,0577 0,0577 0,0577 0,1000 0,1000 0,1000 0,1000
0,0577 0,0577 0,0577 0,0577 0,1000 0,1000 0,1000 0,1000
0,0808 0,0764 0,0764 0,0764 0,1400 0,1400 0,1400 0,1400
0,0058 0,0058 0,0058 0,0058 0,0100 0,0100 0,0100 0,0100
0,0173 0,0173 0,0173 0,0173 0,0300 0,0300 0,0300 0,0300
0,0346 0,0346 0,0346 0,0346 0,0600 0,0600 0,0600 0,0600
0,0577 0,0577 0,0577 0,0577 0,1000 0,1000 0,1000 0,1000
0,0346 0,0346 0,0346 0,0346 0,0600 0,0600 0,0600 0,0600
0,0520 0,0520 0,0520 0,0520 0,0900 0,0900 0,0900 0,0900
0,0404 0,0404 0,0404 0,0404 0,0700 0,0700 0,0700 0,0700
0,1484 0,0764 0,0764 0,0764 0,2900 0,1481 0,1481 0,1481
0,0346 0,0346 0,0346 0,0346 0,0600 0,0600 0,0600 0,0600
0,0462 0,0462 0,0462 0,0462 0,0800 0,0800 0,0800 0,0800
0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000
0,0577 0,0577 0,0577 0,0577 0,1000 0,1000 0,1000 0,1000
0,1102 0,0764 0,0764 0,0764 0,2200 0,1481 0,1481 0,1481
0,0346 0,0346 0,0346 0,0346 0,0600 0,0600 0,0600 0,0600
0,0115 0,0115 0,0115 0,0115 0,0200 0,0200 0,0200 0,0200
0,0520 0,0520 0,0520 0,0520 0,0900 0,0900 0,0900 0,0900
0,1102 0,0764 0,0764 0,0764 0,2200 0,1481 0,1481 0,1481
s* 0,050332 0,054461 0,054461 0,054461        
y 0,076354 0,082617 0,082617 0,082617        
w*   0,090000 0,104646 0,104646 0,104646
y         0,148050 0,172142 0,172142 0,172142

Рассчитать абсолютные значения внутрилабораторных расхождений между значениями столбцов 1 – 2 (табл. 4.1) по каждому номеру эксперимента xi, считая данные столбцов результатами внутрилабораторных экспериментов.

Обозначить индексом p общее число данных, расположенных в порядке возрастания: w1, w2, …, wi, …, wp. Обозначить робастные расхождения w*, а число степеней свободы wi через n = 1. В таблице 4.3 найти значения h = 1,645 и x = 1,097, необходимые для использования алгоритма.

Найти первоначальное значение w* в виде

w* = медиана wi (i = 1, 2, ..., p). (4.11)

Обновить величину w* следующим образом

y= h ´ w*. (4.12)

Для каждого wi (i = 1, 2, ..., p) рассчитать

(4.13)

Рассчитать новое значение w*

(4.14)

Получить робастную оценку w* итеративным способом, трижды повторив операции пункта 2. Результаты расчета приведены в табл. 4.4.

После проведения итераций робастные значения:

s* = 0,034461, w* = 0,104646.

3. Робастный анализ для отдельного уровня в эксперименте по модели с однородными уровнями

Робастная оценка стандартного отклонения повторяемости sr для какого-либо уровня этой модели может быть получена применением алгоритма S к расхождениям или стандартным отклонениям в элементах для получения робастного значения s* из уравнений (4.10). Если алгоритм S применяют к стандартным отклонениям в элементах, то

. (4.15)

Робастная оценка стандартного отклонения средних значений в элементах sd для некоторого уровня может быть получена применением к ним алгоритма А, получением робастного значения s* из уравнения (4.6)

. (4.16)

Межлабораторное стандартное отклонение sL в каждом элементе

, (4.17)

где n - число результатов измерений в элементе.

Если выражение под корнем отрицательное, тогда принимают sL = 0.

Стандартное отклонение воспроизводимости в каждом элементе

. (4.18)

Рассчитать данные каждого элемента xi на каждом однородном уровне измерения столбцов 4 – 6 табл. 4.1 с использованием алгоритмов A и S.

Результаты эксперимента по модели с однородными уровнями, использующим алгоритм А, представлены в табл. 4.5.

Таблица 4.5

Результаты эксперимента по модели с однородными уровнями (алгоритм А)

№ xi (1) (2) (3) s*|x* s*|x*(1) s*|x*(2) sd = s*|x*(3)
9,758 9,758 9,758 9,758 0,015819 0,019856 0,019856 0,019856
9,807 9,780 9,780 9,780
9,757 9,757 9,757 9,757 9,7567 9,7549 9,7549 9,7549
9,746 9,746 9,746 9,746
9,723 9,733 9,733 9,733
7,730 7,730 7,730 7,730 0,063275 0,045831 0,045831 0,045831
7,830 7,830 7,830 7,830
7,785 7,785 7,785 7,785 7,7807 7,7728 7,7728 7,7728
7,738 7,738 7,738 7,738
7,781 7,781 7,781 7,781
6,472 6,472 6,472 6,472 0,006921 0,008330 0,008330 0,008330
6,536 6,482 6,482 6,482
6,468 6,468 6,468 6,468 6,4717 6,4742 6,4742 6,4742
6,503 6,482 6,482 6,482
6,467 6,467 6,467 6,467
5,649 5,574 5,574 5,574 0,020268 0,022601 0,022601 0,022601
5,544 5,544 5,544 5,544
5,533 5,533 5,533 5,533 5,5440 5,5467 5,5467 5,5467
5,524 5,524 5,524 5,524
5,558 5,558 5,558 5,558
4,902 4,876 4,876 4,876 0,003955 0,005073 0,005073 0,005073
4,867 4,867 4,867 4,867
4,872 4,872 4,872 4,872 4,8700 4,8698 4,8698 4,8698
4,870 4,870 4,870 4,870
4,838 4,864 4,864 4,864

Результаты эксперимента по модели с однородными уровнями, использующим алгоритм S, представлены в табл. 4.6.

По полученным робастным стандартным отклонениям sd и sr рассчитать

дисперсию воспроизводимости и межлабораторную дисперсии.

Результаты расчета на каждом уровне стандартных отклонений и дисперсий повторяемости, воспроизводимости и межлабораторной приведены в табл. 4.7.

Таблица 4.6

Результаты эксперимента по модели с однородными уровнями (алгоритм S)

  si (1) (2) (3) s* s*(1) s*(2) sr = s*(3)
0,018930 0,018930 0,016015 0,013948 0,014422 0,016015 0,013948 0,012808
0,011015 0,011015 0,011015 0,011015
0,005774 0,005774 0,005774 0,005774
0,014422 0,014422 0,014422 0,013948
0,020817 0,020817 0,016015 0,013948
0,010000 0,010000 0,010000 0,010000 0,010000 0,012414 0,010969 0,010262
0,017321 0,015170 0,012414 0,010969
0,020817 0,015170 0,012414 0,010969
0,010000 0,010000 0,010000 0,010000
0,005774 0,005774 0,005774 0,005774
0,008083 0,008083 0,008083 0,007811 0,008083 0,008789 0,007811 0,007448
0,005774 0,005774 0,005774 0,005774
0,008083 0,008083 0,008083 0,007811
0,005774 0,005774 0,005774 0,005774
0,020000 0,012262 0,008789 0,007811
0,010583 0,010583 0,010128 0,009677 0,010000 0,010128 0,009677 0,009320
0,010000 0,010000 0,010000 0,009677
0,004041 0,004041 0,004041 0,004041
0,010000 0,010000 0,010000 0,009677
0,011547 0,011547 0,010128 0,009677
0,020817 0,016710 0,012176 0,010012 0,011015 0,012176 0,010012 0,008615
0,011015 0,011015 0,011015 0,010012
0,005774 0,005774 0,005774 0,005774
0,000000 0,000000 0,000000 0,000000
0,015275 0,015275 0,012176 0,010012

Таблица 4.7

Стандартные отклонения и дисперсии

№ sr sd sL sR
0,012808 0,000164 0,019856 0,000394 0,018851 0,000355 0,022790 0,000519
0,010262 0,000105 0,045831 0,002101 0,045568 0,002076 0,046709 0,002182
0,007448 0,000055 0,008330 0,000069 0,007562 0,000057 0,010614 0,000113
0,009320 0,000087 0,022601 0,000511 0,022183 0,000492 0,024061 0,000579
0,008615 0,000074 0,005073 0,000026 0,002386 0,000006 0,008939 0,000080

Содержание отчета

1. Результаты робастного анализа данных по алгоритму А.

2. Результаты робастного анализа данных по алгоритму S.

3. Результаты робастного анализа данных для нескольких уровней эксперимента по модели с однородными уровнями.

Контрольные вопросы

1. В чем главное различие основного метода повторяемости и воспроизводимости стандартного метода измерений и приведенных алгоритмов робастного метода анализа?

2. Опишите процедуру выполнения расчета в соответствии с алгоритмом A робастного метода анализа.

3. Опишите процедуру выполнения расчета в соответствии с алгоритмом S робастного метода анализа.

4. Можно ли использовать робастные методы анализа применительно к индивидуальным значениям результатов измерений?

5. Какое минимальное количество измерений в элементе необходимо для использования алгоритмов робастного анализа?

6. В чем отличие алгоритмов A и S робастного метода анализа?

7. Каким образом робастные методы анализа влияют на результаты оценок средних значений, стандартных отклонений и дисперсий результатов измерений?

8. Какие из ранее рассмотренных методов опредления оценок средних значений, стандартных отклонений и дисперсий результатов измерений являются более субъективными?

9. Каким образом робастные методы анализа влияют на результаты измерений в лабораториях с плохой повторяемостью?

10. Каким образом принимается решение об использовании робастных методов анализа?

11. Какие виды статистик могут быть рассмотрены с помощью приведенных алгоритмов робастного метода анализа?

12. К каким статистическим моделям стандартов ГОСТ Р ИСО 5725 могут применены робастные методы анализа?

13. Можно ли использовать в описанных алгоритмах робастного метода анализа при определении оценок средних значений стандартные отклонения, полученные при выполнении алгоритма S?

14. Опишите процедуру выполнения алгорита A робастного метода анализа без использования итераций.

15. Опишите процедуру выполнения алгорита S робастного метода анализа без использования итераций.

16. Напишите формулу определения межлабораторного стандартного отклонения.

 


Библиографический список

1. ГОСТ Р ИСО 5275-2-2002. Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод повторяемости и воспроизводимости стандартного метода измерений. – М.: ИПК Изд-во стандартов, 2002. – 51 с.

2. Шендалева Е.В. Правильность и прецизионность в сертификационных испытаниях. Методические указания к практическим работам. – Омск: Изд-во ОмГТУ, 2011. – 32 с.

3. ГОСТ Р ИСО 5275-6-2002. Точность (правильность и прецизионность) методов и результатов измерений. Часть 6. Использование значений точности на практике. – М.: Изд-во стандартов, 2002. – 51 с.

4. ГОСТ Р ИСО 5275-5-2002. Точность (правильность и прецизионность) методов и результатов измерений. Часть 5. Альтернативные методы определения прецизионности стандартного метода измерений. – М.: Изд-во стандартов, 2002. – 60 с.

 


Содержание

 

1. Основной метод определения повторяемости и

воспроизводимости стандартного метода измерений (часть II) 3

2. Использование статистических критериев

при межлабораторных испытаниях 21

3. Эксперимент с разделенными уровнями 37

4. Робастные методы анализа данных 53

Библиографический список