Руководство еврахим ситак количественное описание неопределенности в аналитических измерениях

Содержание

СОДЕРЖАНИЕ

Предисловие к русскому изданию vii

Предисловие ко второму изданию 1

  1. Область применения 3
  2. Неопределенность 4
  1. Определение 4
  2. Источники неопределенности 4
  3. Составляющие неопределенности 4
  4. Погрешность и неопределенность 5

3. Аналитические измерения и неопределенность 7

  1. Оценка пригодности методов 7
  2. Экспериментальные исследования характеристик эффективности 8
  3. Прослеживаемость 9
  1. Процесс оценивания неопределенности 12
  2. Этап 1. Описание измеряемой величины 14
  3. Этап 2. Выявление источников неопределенности 15
  4. Этап 3. Количественное описание неопределенности 18
  1. Введение 18
  2. Процедура оценивания неопределенности 18
  3. Применимость предварительных исследований 19
  4. Оценивание неопределенности по отдельным составляющим 19
  5. Адекватные стандартные образцы 20
  6. Использование данных предшествующих межлабораторных
    исследований по разработке и оценке пригодности метода 20
  7. Использование данных внутрилабораторных исследований

по разработке и оценке пригодности метода 21

  1. Оценивание неопределенности эмпирических методов 23
  2. Оценивание неопределенности аналитических методов ad-hoc 24
  3. Количественное описание отдельных составляющих неопределенности … 25
  4. Экспериментальное оценивание индивидуальных вкладов

в неопределенность 25

  1. Оценивание на основе дополнительных результатов / данных 26
  2. Моделирование, основанное на теоретических принципах 27
  3. Оценивание на основе суждений 27
  4. Значимость смещения 29

8. Этап 4. Вычисление суммарной неопределенности 30

  1. Стандартные неопределенности 30
  2. Суммарная стандартная неопределенность 30
  3. Расширенная неопределенность 32

Содержание

9. Представление неопределенности 34

9.1. Общие положения 34

9.1. Требуемая информация 34

  1. Представление стандартной неопределенности 34
  2. Представление расширенной неопределенности 35
  3. Численное выражение результатов 35
  4. Соответствие заданным пределам 35

Приложение А. Примеры 37

Введение 37

Пример А1. Приготовление градуировочного раствора 39

Пример А2. Стандартизация раствора гидроксида натрия 46

Пример A3. Кислотно-основное титрование 57

Пример А4. Оценивание неопределенности с использованием данных

внутрилабораторных исследований по оценке пригодности метода

анализа. Определение фосфорорганических пестицидов в хлебе 67

Пример А5. Определение кадмия, выделяющегося из керамической посуды,

методом атомно-абсорбционной спектрометрии 80

Пример А6. Определение сырой клетчатки в кормах для животных 91

Пример А7. Определение свинца в воде методом масс-спектрометрии

с индуктивно-связанной плазмой и двойным изотопным разбавлением… 100

Приложение В. Определения 109

Приложение С. Неопределенности в аналитических процессах 113

Приложение D. Анализ источников неопределенности 115

D.I. Введение 115

D.2. Принципы подхода 115

D.3. Анализ «причина-следствие» 115

D.4. Пример 116

Приложение Е. Полезные статистические процедуры 118

ЕЛ. Функции распределения 118

Е.2. Метод электронных таблиц для вычисления неопределенности 120

Е.З. Неопределенности, связанные с линейной градуировкой

по методу наименьших квадратов 123

Е.4. Представление неопределенности в случае ее зависимости

от содержания определяемого компонента 125

Приложение F. Неопределенность измерений вблизи предела

обнаружения / предела определения 129

F.I. Введение 129

F.2. Наблюдения и оценки 130

F.3. Интерпретация результатов и установление соответствия 130

Приложение G. Типичные источники и значения неопределенности 132

Приложение Н. Библиография 138

Примечания редакторов перевода 139

VI
Предисловие к русскому изданию

Уважаемый читатель!

Перед Вами перевод международного Руководства, предназначенного для широкого круга химиков-аналитиков и метрологов. Этот документ был выпущен в 2000 г. от имени двух организаций: ЕВРАХИМ (Европейское общество по аналитической химии) и СИ-ТАК (Сотрудничество в области прослеживаемости измерений в аналитической химии).

По сравнению с предыдущей версией, перевод которой был издан в 1997 г., настоящий документ в большей мере учитывает реальную аналитическую практику. В нем описаны различные способы оценивания неопределенности аналитических измерений, в том числе на основе данных внутрилабораторного контроля качества и межлабораторных экспериментов. Даны рекомендации по выявлению и учету факторов, влияющих на качество результатов аналитических измерений в лабораториях. Приведены подробные примеры, охватывающие разные объекты и методы химического анализа.

Термин «неопределенность измерения», используемый в Руководстве не должен отпугивать читателя, так как по сути — это эквивалент хорошо известного у нас термина «характеристика погрешности измерения». В последние годы «неопределенность измерений» начинает входить в отечественные нормативные документы: в частности, один из разделов ГОСТ Р ИСО/МЭК 17025-2000 «Общие требования к компетентности калибровочных и испытательных лабораторий» озаглавлен «Оценка неопределенности измерений».

Гармонизация отечественных и международных требований к качеству результатов измерений — необходимый этап на пути интегрирования нашей страны в мировой рынок. Очевидно, что все большее число отечественных нормативных документов будет основываться на соответствующих международных стандартах и руководствах. Специалисты Всероссийского научно-исследовательского института метрологии им. Д.И.Менделеева, осуществившие перевод Руководства на русский язык, считают, что знакомство с этим изданием будет особенно полезно тем, кто занимается разработкой, аттестацией и внедрением методик количественного химического анализа.

Мы будем благодарны Вам за замечания и готовы к обсуждению положений этого Руководства.

Руководитель проекта

профессор, д-р техн. наук Л.А.Конопелько

VII
Предисловие ко второму изданию

Многие важные практические решения основываются на результатах количественного химического анализа. Эти результаты используются, например, для оценки выхода какого-либо продукта химической реакции, проверки соответствия материалов техническим требованиям или требованиям законодательства, а также установления их стоимости. Во всех случаях, когда решения принимаются на основе результатов анализа, важно иметь какое-то свидетельство их качества, т.е. степени, до которой на эти результаты можно полагаться для достижения конкретной цели. Все, кто использует результаты химического анализа, особенно в областях, связанных с международной торговлей, испытывают все большую потребность в том, чтобы избежать дублирования затрат, связанных с получением этих результатов. Доверие к результатам, полученным вне организации-пользователя данных, является одной из предпосылок для достижения этой цели. В некоторых областях химического анализа теперь содержится официальное (часто, законодательно закрепленное) требование к лабораториям вводить меры по обеспечению качества для гарантии того, что они способны выдавать и действительно выдают данные необходимого качества. Такие меры включают: использование методов анализа, которые прошли оценку пригодности, применение регламентированных процедур внутреннего контроля качества, участие в программах проверки квалификации, аккредитацию на основе ИСО 17025 [Н.1] и демонстрацию прослеживаемости результатов измерений.

До последнего времени в аналитической химии большое внимание уделялось только сходимости и воспроизводимости результатов, полученных по определенной методике, а не их прослеживаемости к определенному эталону или единице СИ. Следствием этого явилось применение «официальных методов» («official methods») в случаях, когда нужно проверить выполнение законодательных требований или требований торговли. Однако теперь, в связи с необходимостью установления большего доверия к результатам, важно, чтобы результат измерения обладал прослеживаемостью к определенному эталону, такому как эталон единицы СИ, стандартный образец или, там где это допустимо, к эмпирическому (см. раздел 5.2) методу анализа. Процедуры внутреннего контроля качества, участие в проверках квалификации и аккредитация лабораторий могут помочь в установлении прослеживаемости.

Ввиду этих требований химики-аналитики, со своей стороны, должны демонстрировать качество своих результатов, т.е. подтверждать их пригодность для достижения конкретной цели путем указания некой меры доверия, которую можно указать вместе с результатом. Предполагается, что она включает степень, до которой результат анализа будет совпадать с другими результатами, обычно, независимо от метода анализа. Одной из полезных мер такого доверия является неопределенность измерений.
Предисловие ко второму изданию

Хотя понятие неопределенности измерений знакомо химикам в течение многих лет, только публикация в 1993 г. Международной организацией по стандартизации (ИСО) в сотрудничестве с МБМВ, МЭК, МФКХ, ИЮПАК, ИЮПАП и МОЗМ «Руководства по выражению неопределенности в измерениях» [Н.2] формально установила общие правила для оценивания и выражения неопределенности в широком спектре измерений. Данный документ ЕВРАХИМ показывает, как понятия, описанные в Руководстве ИСО, могут применяться в химических измерениях. Прежде всего, он вводит понятие неопределенности и объясняет различие между неопределенностью и погрешностью. Затем следует описание этапов, из которых состоит оценивание неопределенности, и этот процесс иллюстрируется рабочими примерами в Приложении А.

Процесс оценивания требует от аналитика внимательного рассмотрения всех возможных источников неопределенности. Хотя исследование такого рода может потребовать значительных усилий, важно, чтобы затраченные усилия не были слишком большими. На практике предварительный анализ быстро выявляет наиболее важные источники неопределенности, и, как показывают примеры, найденное значение суммарной неопределенности почти целиком определяется этими основными вкладами. Таким образом, достаточно хорошую оценку неопределенности можно получить, сосредоточив усилия на главных составляющих. Кроме того, оценка неопределенности, полученная для данного метода, примененного в конкретной лаборатории (т.е. для конкретной методики анализа), может использоваться для всех результатов, полученных тем же методом в той же лаборатории при условии, что эта оценка подтверждается соответствующими данными по контролю качества. В таком случае, если методика или используемое оборудование не изменяются, нет и необходимости затрачивать какие-либо дополнительные усилия, и найденное значение неопределенности подлежит пересмотру только в процессе повторной оценки пригодности метода анализа.

Первое издание Руководства ЕВРАХИМ «Количественное описание неопределенности в аналитических измерениях» [Н.З] было опубликовано в 1995 г. вслед за Руководством ИСО.

Это второе издание Руководства подготовлено в свете практического опыта оценивания неопределенности в химических лабораториях и еще большего осознания необходимости введения лабораториями принятых мер по обеспечению качества. Во втором издании Руководства подчеркивается, что методы, применяемые лабораторией для оценивания неопределенности измерений, должны быть увязаны с существующими мерами по обеспечению качества, поскольку эти меры часто предоставляют много информации, необходимой для оценивания неопределенности. Предполагается, например, использование результатов предшествующих исследований по оценке пригодности метода анализа и других данных в полном соответствии с формальными принципами Руководства ИСО. Этот подход согласуется также с требованиями ИСО 17025:1999 [Н.1].

ПРИМЕЧАНИЕ:

В Приложении А даны рабочие примеры. Пронумерованный перечень определений приведен в Приложении В. Термины, нуждающиеся в определении, выделяются жирным шрифтом при их первом упоминании, и непосредственно за этим следует ссылка (в квадратных скобках) на определение, данное в Приложении. Определения взяты, в основном, из «Международного словаря основных и общих терминов в области метрологии» (VIM) [H.4], упомянутого Руководства ИСО [Н.2] и стандарта ИСО 3534 «Статистика. Словарь и обозначения» [Н.5]. В Приложении С показана в общем виде структура химического анализа, ведущая к результату измерения. Приложение D описывает общую процедуру, котлрую можно применять для выявления составляющих неопределенности и планирования дальнейших экспериментов. В Приложении Е рассматриваются некоторые статистические приемы, применяемые при оценивании неопределенности в аналитической химии. Приложение F обсуждает неопределенность измерений вблизи предела обнаружения. В Приложении G дан перечень многих общих источников неопределенности и методов оценивания неопределенности. Библиография приведена в Приложении Н.


Подборка по базе: Башлаева В.А. Описание работ.docx, ! Описание выполнения контрольной работы Word.docx, ! Описание выполнения контрольной работы Word.pdf, Сочинение- описание по картине..docx, Библиографическое описание.pptx, Базисное руководство по психотерапии.pdf, Как составить описание лекции, мастер-класса, концерта.docx, 10-11. Руководство для учителей биологии по методике организации, ДП Оценивание неопределённости измерений.docx, 3. ViPNet_Client 4U_for_Linux Руководство пользователя.pdf


Руководство ЕВРАХИМ / СИТАК CG 4
Количественное описание
неопределенности
в аналитических
измерениях
Третье издание
QUAM:2012.P1-RU

Руководство
ЕВРАХИМ/СИТАК
Количественное описание
неопределенности в
аналитических
измерениях
Третье издание
Редакторы
S L R Ellison (LGC, UK)
A Williams (UK)
Состав рабочей группы*
Члены Еврахим
A Williams Chairman
UK
S Ellison Secretary
LGC, Teddington, UK
R Bettencourt da
Silva
University of Lisbon, Portugal
W Bremser
BAM, Germany
A Brzyski
Eurachem Poland
P Fodor
Corvinus University of Budapest, Hungary
R Kaarls
Netherlands Measurement Institute, The Neth-
erlands
R Kaus
Eurachem Germany
B Magnusson
SP, Sweden
E Amico di Meane
Italy
P Robouch
IRMM, EU
M Rösslein
EMPA St. Gallen, Switzerland
A van der Veen
Netherlands Measurement Institute, The Neth-
erlands
M Walsh
Eurachem IRE
W Wegscheider
Montanuniversitaet, Leoben, Austria
R Wood
Food Standards Agency, UK
P Yolci Omeroglu
Istanbul Technical University, Turkey
Представители СИТАК
A Squirrell
ILAC
I Kuselman
National Physical Laboratory of Israel
A Fajgelj
IAEA Vienna
Представители Евролаб
M Golze
BAM, Germany
*Attending meetings or corresponding in the period 2009-2011
Благодарности
Этот документ бал подготовлен объединенной рабочей группой ЕВРАХИМ/СИТАК в составе указанном справа.
Редакторы выражают благодарность всем специалистам и организациям за комментарии, советы и содействие при подготовке этого документа..
Выпуск этого Руководства частично поддержан
Национальной системой измерений
Великобритании.
Ссылка на СИТАК
Это Руководство основано на Руководстве СИТАК номер 4
Перевод
выполнен
Уральским
научно
исследовательским
институтом
метрологии
(УНИИМ)

Количественное описание неопределенности
Содержание
QUAM:2012.P1-RU
Стр.
i
СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ К ТРЕТЬЕМУ ИЗДАНИЮ
1
1. ОБЛАСТЬ ПРИМЕНЕНИЯ
4
2. НЕОПРЕДЕЛЕННОСТЬ
5
2.1. О
ПРЕДЕЛЕНИЕ НЕОПРЕДЕЛЕННОСТИ
5 2.2. И
СТОЧНИКИ НЕОПРЕДЕЛЕННОСТИ
5 2.3. С
ОСТАВЛЯЮЩИЕ НЕОПРЕДЕЛЕННОСТИ
6 2.4. П
ОГРЕШНОСТЬ И НЕОПРЕДЕЛЕННОСТЬ
6 2.5. О
ПРЕДЕЛЕНИЕ ПОНЯТИЯ НЕОПРЕДЕЛЕННОСТИ В
VIM
3 7
3. АНАЛИТИЧЕСКИЕ ИЗМЕРЕНИЯ И НЕОПРЕДЕЛЕННОСТЬ
9
3.1. В
АЛИДАЦИЯ МЕТОДИК
9 3.2. Э
КСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ХАРАКТЕРИСТИК ЭФФЕКТИВНОСТИ
10 3.3. П
РОСЛЕЖИВАЕМОСТЬ
11
4. ПРОЦЕСС ОЦЕНИВАНИЯ НЕОПРЕДЕЛЕННОСТИ
13
5. ЭТАП 1. ОПИСАНИЕ ИЗМЕРЯЕМОЙ ВЕЛИЧИНЫ
15
6. ЭТАП 2. ВЫЯВЛЕНИЕ ИСТОЧНИКОВ НЕОПРЕДЕЛЕННОСТИ
17
7. ЭТАП 3. КОЛИЧЕСТВЕННОЕ ВЫРАЖЕНИЕ НЕОПРЕДЕЛЕННОСТИ
20
7.1. В
ВЕДЕНИЕ
20 7.2. П
РОЦЕДУРА ОЦЕНИВАНИЯ НЕОПРЕДЕЛЕННОСТИ
20 7.3. П
РИМЕНИМОСТЬ ПРЕДВАРИТЕЛЬНЫХ ИССЛЕДОВАНИЙ
21 7.4. О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ ПО ОТДЕЛЬНЫМ СОСТАВЛЯЮЩИМ
21 7.5. А
ДЕКВАТНЫЕ АТТЕСТОВАННЫЕ СТАНДАРТНЫЕ ОБРАЗЦЫ
21 7.6. О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ ПРЕДШЕСТВУЮЩИХ
МЕЖЛАБОРАТОРНЫХ ИССЛЕДОВАНИЙ ПО РАЗРАБОТКЕ И ВАЛИДАЦИИ МЕТОДИКИ
22 7.7. О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ С
ИСПОЛЬЗОВАНИЕМ ДАННЫХ ВНУТРИЛАБОРАТОРНЫХ
ИССЛЕДОВАНИЙ ПО РАЗРАБОТКЕ И ВАЛИДАЦИИ МЕТОДИКИ
23 7.8. И
СПОЛЬЗОВАНИЕ ДАННЫХ ПРОГРАММ ПРОВЕРКИ КВАЛИФИКАЦИИ
25 7.9. О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ ДЛЯ ЭМПИРИЧЕСКИХ МЕТОДОВ
27 7.10. О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ ДЛЯ МЕТОДИК AD HOC
27 7.11. К
ОЛИЧЕСТВЕННОЕ ВЫРАЖЕНИЕ ОТДЕЛЬНЫХ СОСТАВЛЯЮЩИХ НЕОПРЕДЕЛЕННОСТИ
28 7.12. Э
КСПЕРИМЕНТАЛЬНОЕ ОЦЕНИВАНИЕ ИНДИВИДУАЛЬНЫХ ВКЛАДОВ
В НЕОПРЕДЕЛЕННОСТЬ
28 7.13. О
ЦЕНИВАНИЕ НА ОСНОВЕ ДОПОЛНИТЕЛЬНЫХ РЕЗУЛЬТАТОВ ИЛИ
ДОПОЛНИТЕЛЬНЫХ ДАННЫХ
29 7.14. М
ОДЕЛИРОВАНИЕ
,
ОСНОВАННОЕ НА ТЕОРЕТИЧЕСКИХ ПРИНЦИПАХ
30 7.15. О
ЦЕНИВАНИЕ НА ОСНОВЕ СУЖДЕНИЙ
29 7.16. З
НАЧИМОСТЬ СМЕЩЕНИЯ
32

Количественное описание неопределенности
Содержание
QUAM:2012.P1-RU
Стр.
ii
8. ЭТАП 4. ВЫЧИСЛЕНИЕ СУММАРНОЙ НЕОПРЕДЕЛЕННОСТИ
33
8.1. С
ТАНДАРТНЫЕ НЕОПРЕДЕЛЕННОСТИ
33 8.2. С
УММАРНАЯ СТАНДАРТНАЯ НЕОПРЕДЕЛЕННОСТЬ
33 8.3. Р
АСШИРЕННАЯ НЕОПРЕДЕЛЕННОСТЬ
35
9. ПРЕДСТАВЛЕНИЕ НЕОПРЕДЕЛЕННОСТИ
38
9.1. О
БЩИЕ ПОЛОЖЕНИЯ
38 9.2. Т
РЕБУЕМАЯ ИНФОРМАЦИЯ
38 9.3. П
РЕДСТАВЛЕНИЕ СТАНДАРТНОЙ НЕОПРЕДЕЛЕННОСТИ
38 9.4. П
РЕДСТАВЛЕНИЕ РАСШИРЕННОЙ НЕОПРЕДЕЛЕННОСТИ
39 9.5. Ч
ИСЛОВОЕ ВЫРАЖЕНИЕ РЕЗУЛЬТАТОВ
39 9.6. Н
ЕСИММЕТРИЧНЫЕ ИНТЕРВАЛЫ
39 9.7. С
ООТВЕТСТВИЕ ЗАДАННЫМ ПРЕДЕЛАМ
39
ПРИЛОЖЕНИЕ А. ПРИМЕРЫ
42
П
РИМЕР
A1:
П
РИГОТОВЛЕНИЕ ГРАДУИРОВОЧНОГО РАСТВОРА
44
П
РИМЕР
A2:
С
ТАНДАРТИЗАЦИЯ РАСТВОРА ГИДРОКСИДА НАТРИЯ
51
П
РИМЕР
A3:
К
ИСЛОТНО

ОСНОВНОЕ ТИТРОВАНИЕ
630
П
РИМЕР
A4:
О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ
ВНУТРИЛАБОРАТОРНЫХ ИССЛЕДОВАНИЙ ПО ВАЛИДАЦИИ МЕТОДИКИ АНАЛИЗА
О
ПРЕДЕЛЕНИЕ
ФОСФОРОРГАНИЧЕСКИХ ПЕСТИЦИДОВ В ХЛЕБЕ
730
П
РИМЕР
A5:
О
ПРЕДЕЛЕНИЕ КАДМИЯ
,
ВЫДЕЛЯЮЩЕГОСЯ ИЗ КЕРАМИЧЕСКОЙ ПОСУДЫ
,
МЕТОДОМ
АТОМНО

АБСОРБЦИОННОЙ СПЕКТРОМЕТРИИ
863
П
РИМЕР
A6:
О
ПРЕДЕЛЕНИЕ СЫРОЙ КЛЕТЧАТКИ В КОРМАХ ДЛЯ ЖИВОТНЫХ
973
П
РИМЕР
A7:
О
ПРЕДЕЛЕНИЕ СВИНЦА В ВОДЕ МЕТОДОМ МАСС

СПЕКТРОМЕТРИИ С ИНДУКТИВНО

СВЯЗАННОЙ ПЛАЗМОЙ И ДВОЙНЫМ ИЗОТОПНЫМ РАЗБАВЛЕНИЕМ
1062
ПРИЛОЖЕНИЕ B. ОПРЕДЕЛЕНИЯ
1151
ПРИЛОЖЕНИЕ C. НЕОПРЕДЕЛЕННОСТИ В АНАЛИТИЧЕСКИХ ПРОЦЕССАХ 1195
ПРИЛОЖЕНИЕ D. АНАЛИЗ ИСТОЧНИКОВ НЕОПРЕДЕЛЕННОСТИ
1217
ПРИЛОЖЕНИЕ E. ПОЛЕЗНЫЕ СТАТИСТИЧЕСКИЕ ПРОЦЕДУРЫ
1240
E.1 Ф
УНКЦИИ РАСПРЕДЕЛЕНИЯ
1240
E.2 М
ЕТОД ЭЛЕКТРОННЫХ ТАБЛИЦ ДЛЯ ВЫЧИСЛЕНИЯ НЕОПРЕДЕЛЕННОСТИ
1262
E.3 О
ЦЕНИВАНИЕ НЕОПРЕДЕЛЕННОСТИ С ИСПОЛЬЗОВАНИЕМ МОДЕЛИРОВАНИЯ ПО МЕТОДУ
М
ОНТЕ

АРЛО
1295
E.4 Н
ЕОПРЕДЕЛЕННОСТИ
,
СВЯЗАННЫЕ С ЛИНЕЙНОЙ ГРАДУИРОВКОЙ ПО МЕТОДУ НАИМЕНЬШИХ
КВАДРАТОВ
1384
E.5 П
РЕДСТАВЛЕНИЕ НЕОПРЕДЕЛЕННОСТИ
,
ЗАВИСЯЩЕЙ ОТ СОДЕРЖАНИЯ АНАЛИТА
1406
ПРИЛОЖЕНИЕ F. НЕОПРЕДЕЛЕННОСТЬ ИЗМЕРЕНИЙ ВБЛИЗИ
ПРЕДЕЛА ОБНАРУЖЕНИЯ/ПРЕДЕЛА ОПРЕДЕЛЕНИЯ
1440
ПРИЛОЖЕНИЕ G. ТИПИЧНЫЕ ИСТОЧНИКИ И ЗНАЧЕНИЯ НЕОПРЕДЕЛЕННОСТИ 1506
ПРИЛОЖЕНИЕ H. БИБЛИОГРАФИЯ
1572

Количественное описание неопределенности
Предисловие к третьему изданию
QUAM:2012.P1-RU
Стр.
1
Предисловие к третьему изданию
Многие важные практические решения основываются на результатах количественного химического анализа. Эти результаты используются, например, для оценки выхода какого-либо продукта химической реакции, проверки соответствия материалов техническим требованиям или требованиям законодательства, а также установления их стоимости. Во всех случаях, когда решения принимаются на основе результатов анализа, важно иметь какое-то свидетельство качества этих результатов, т. е. степени, до которой на эти результаты можно положиться для достижения конкретной цели. Все, кто использует результаты химического анализа, особенно в областях, связанных с международной торговлей, испытывают все большую потребность в том, чтобы избежать дублирования затрат, связанных с получением этих результатов. Доверие к результатам, полученным вне организации- пользователя данных, является одной из предпосылок для достижения этой цели. В некоторых областях химического анализа теперь содержится официальное (часто законодательно закрепленное) требование к лабораториям вводить меры по обеспечению качества для гарантии того, что они способны выдавать и действительно выдают данные необходимого качества. Такие меры включают: использование методик анализа, которые прошли валидацию, применение регламентированных процедур внутреннего контроля качества, участие в программах проверки квалификации, аккредитацию на основе ИСО/МЭК 17025 [H.1] и демонстрацию прослеживаемости результатов измерений.
До последнего времени в аналитической химии большое внимание уделялось только повторяемости и воспроизводимости результатов, полученных по определенной методике, а не их прослеживаемости к определенному эталону или единице СИ. Следствием этого явилось применение
“официальных методов” (“official methods”) в случаях, когда необходимо выполнение законодательных требований или требований торговли. Однако в связи с необходимостью установления большего доверия к результатам важно, чтобы результат измерения обладал прослеживаемостью к определенной основе для сравнения, такой как единица СИ или стандартный образец, даже при использовании операционно-определяемого, или эмпирического (см. раздел 5.4.) метода анализа. Руководство ЕВРАХИМ/СИТАК “Прослеживаемость в химических измерениях”
[H.9] поясняет, как метрологическая прослеживаемость устанавливается в случае операционно- определяемых методов.
Ввиду этих требований химики-аналитики должны демонстрировать качество своих результатов и, в частности, подтверждать их пригодность для конкретной цели путем указания некой меры доверия, которую можно указать вместе с результатом. Предполагается, что она включает степень, с которой результат анализа будет совпадать с другими результатами, обычно независимо от метода анализа.
Одной из полезных мер такого доверия является неопределенность измерений.
Хотя понятие неопределенности измерений знакомо химикам в течение многих лет, только публикация в 1993 г. Международной организацией по стандартизации (ИСО) в сотрудничестве с
МБМВ, МЭК, МФКХ, ИЮПАК, ИЮПАП и МОЗМ “Руководства по выражению неопределенности в измерениях” [H.2]формально установила общие правила для оценивания и выражения неопределенности в широком спектре измерений. Данный документ ЕВРАХИМ показывает, как понятия, описанные в Руководстве ИСО, могут быть применены в химических измерениях. Прежде всего, он вводит понятие неопределенности и объясняет различие между неопределенностью и погрешностью. Затем следует описание этапов, из которых состоит оценивание неопределенности, и этот процесс иллюстрируется примерами в приложении А.
Процесс оценивания неопределенности требует от аналитика внимательного рассмотрения всех возможных источников неопределенности. Хотя исследование такого рода может потребовать значительных усилий, важно, чтобы затраченные усилия не были слишком большими. На практике предварительный анализ быстро выявляет наиболее важные источники неопределенности, и, как показывают примеры, найденное значение суммарной неопределенности почти целиком

Количественное описание неопределенности
Предисловие к третьему изданию
QUAM:2012.P1-RU
Стр.
2
определяется этими основными вкладами. Таким образом, достаточно хорошую оценку неопределенности можно получить, сосредоточив усилия на главных составляющих. Кроме того, оценка неопределенности, полученная для данного метода, примененного в конкретной лаборатории
(т. е. для конкретной методики измерений), может использоваться для последующих результатов, полученных тем же методом в той же лаборатории при условии, что эта оценка подтверждается данными по контролю качества. В таком случае, если методика или используемое оборудование не изменяются, нет и необходимости затрачивать какие-либо дополнительные усилия, и найденное значение неопределенности подлежит пересмотру только в процессе повторной валидации методики анализа.
Разработка методики анализа включает сходный процесс оценивания неопределенности, возникающей от каждого источника. Исследуют потенциальные источники неопределенности и там, где возможно, оптимизируют методику так, чтобы снизить неопределенность до приемлемого уровня. (Этот приемлемый уровень неопределенности, указанный в виде верхнего предела, называется “целевой неопределенностью измерений” [H.7]). Затем эффективность методики количественно выражают в терминах прецизионности и правильности. Для обеспечения того, что показатели эффективности, полученные при разработке методики, достигаются при ее конкретном применении, проводят валидацию методики. В некоторых случаях методика проходит межлабораторное исследование, в результате которого получают дополнительные данные по эффективности. Участие в программах проверки квалификации и внутренний контроль качества должны подтверждать, что методика остается на прежнем уровне эффективности, но, кроме того, это также дает дополнительные данные. Все эти действия дают информацию, которую можно использовать при оценивании неопределенности. Целью данного Руководства является единый подход к использованию различной информации для оценивания неопределенности измерений.
Первое издание Руководства ЕВРАХИМ “Количественное описание неопределенности в аналитических измерениях” [H.3] было опубликовано в 1995 г. вслед за Руководством ИСО. Второе издание Руководства [H.4] было подготовлено в сотрудничестве с СИТАК в 2000 г в свете практического опыта оценивания неопределенности в химических лабораториях и еще большего осознания необходимости введения лабораториями принятых мер по обеспечению качества. Во втором издании Руководства подчеркивалось, что методы, применяемые лабораторией для оценивания неопределенности измерений, должны быть увязаны с существующими мерами по обеспечению качества, поскольку эти меры часто предоставляют много информации, необходимой для оценивания неопределенности.
Третье издание сохраняет основные черты второго и включает новую информацию, основанную на разработках в вопросах оценивания и использования неопределенности измерений начиная с 2000 г.
Дополнительный материал предоставляет руководство по выражению неопределенности вблизи нуля, по применению методов Монте-Карло для оценивания неопределенности измерений, руководство по использованию данных из программ проверки квалификации и руководство по оценке соответствия результатов, представленных с неопределенностью. Таким образом, данное
Руководство охватывает вопросы использования данных по валидации и связанных с ними данных при формировании оценок неопределенности в полном соответствии с формальными принципами, установленными Руководством ИСО по выражению неопределенности в измерениях [H.2]. Данный подход согласуется также с требованиями ИСО/МЭК 17025:2005 [H.1].
Данное издание реализует Руководство ИСО по выражению неопределенности в измерениях (GUM,
1995), переизданное в 2008 г. [H.2]. Поэтому основная терминология следует GUM. Статистическая терминология следует Части 2 ИСО 3534 [H.8]. В других случаях используется более поздняя терминология, введенная в Международном словаре по метрологии − Основные и общие понятия и соответствующие термины (VIM) [H.7]. В тех случаях, когда термины GUM и VIМ существенно различаются, терминология VIM дополнительно обсуждается в тексте. Дополнительные указания в отношении понятий и терминов, принятых в VIM, содержатся в Руководстве ЕВРАХИМ
“Терминология аналитических измерений − Введение в VIM 3” [H.5]. Наконец, исходя из необходимости компактного представления, значения массовой доли принято выражать в процентах; для целей данного Руководства массовая доля, выраженная в процентах, соответствует единицам г/100 г.

Количественное описание неопределенности
Предисловие к третьему изданию
QUAM:2012.P1-RU
Стр.
3
ПРИМЕЧАНИЕ
В приложении А даны рабочие примеры. Пронумерованный перечень определений приведен в приложении В. Термины, нуждающиеся в определении, выделяются жирным шрифтом при их первом появлении в тексте, и тут же следует ссылка (в квадратных скобках) на определение в приложении В. Определения взяты, в основном, из “Международного словаря основных и общих терминов по метрологии” (VIM) [H.7], упомянутого Руководства ИСО [H.2] и стандарта ИСО 3534-
2 (Статистика. Словарь и обозначения. Часть 2: Прикладная статистика) [H.8]. В приложении С показана в общем виде структура химического анализа, ведущая к результату измерения; в приложении D — общая процедура, которую можно применять для выявления составляющих неопределенности и планирования дальнейших экспериментов. В приложении Е рассматриваются некоторые статистические приемы, применяемые при оценивании неопределенности в аналитической химии, включая численный метод электронных таблиц и моделирование методом
Монте-Карло. В приложении F обсуждается неопределенность измерений вблизи предела обнаружения. В приложении G дан перечень многих общих источников неопределенности и методов оценивания этих неопределенностей. Библиография приведена в приложении H.

Количественное описание неопределенности
Область применения
QUAM:2012.P1-RU
Стр.
4
1. Область применения
1.1. Данный документ дает детальное руководство по оцениванию и выражению неопределенности в количественном химическом анализе на основе подхода, принятого в “Руководстве по выражению неопределенности в измерениях” [H.2]. Он применим на всех уровнях точности и во всех областях − от рутинного анализа до фундаментальных исследований, включая рациональные и эмпирические методы химического анализа
(см. раздел 5.5.).
Некоторые важные области, в которых необходимы химические измерения и в которых целесообразно применение настоящего документа, таковы:
 контроль качества и обеспечение качества продукции в промышленности;
 испытания на соответствие нормативным требованиям;
 испытания, использующие стандартный метод;
 калибровка эталонов и оборудования;
 измерения, связанные с разработкой и аттестацией стандартных образцов;
 исследования и разработки.

Оценка неопределенности измерений — Форум для аккредитованных лабораторий — LINCO Platform

Форум

Станьте частью глобального сообщества,
используя ресурсы платформы LINCO

Разделы форума


  • Больше тем и разделов
    Больше функций
  • ⚡ LINCO Forum Public
  • Истории
  • Разъяснятор
  • Система менеджмента
  • Методы исследования
  • Оборудование
  • Персонал
  • Реактивы
  • Аккредитация
  • Отбор проб
  • Микробиологические исследования
  • Нормативные документы
  • Вакансии. Поиск работы
  • ФГИС. Вопросы по работе системы
  • Другие вопросы
  • Материалы. Процедуры
  • Accreditation Counselor
  • ЦНТС «Диалог»
  • Альфа-образование
  • АНО ДПО МЦПК
  • Центр компетенций «Знание»

Оценка неопределенности измерений



Оценка неопределенности отбора проб

Примеры расчетов неопределенности и постановки эксперимента. Отбор пробы часто вносит существенный вклад в неопределенность и требует тщательного планирования и контроля. В связи с этим ужесточаются требования по оценке неопределенности, связанной с процессом отбора пробы. Какие НД требуют оценивать неопределенность отбора пробы? ГОСТ ISO/IEC 17025-2019 прямо говорит о том, что “лаборатории должны определять вклад(ы) в неопределенность измерений“ и “при оценивании неопределенности измерений все существенные вклады, в том числе связанные с отбором образцов, должны учитываться с применением соответствующих методов анализа (п. 7.6.1).

ЧИТАТЬ ПОЛНОСТЬЮ ❯

Последние статьи


  • Создано:

    Forum LINCO Platform

    | 08 февраля 2020 в 15:31 |

      Ответить

    Прошу пояснение: по ГОСТ 17025 лаборатория должна оценить неопределенность измерений. Если в стандартной методике (методики на воду) установлена погрешность, может ли лаборатория прописать себе в РК, что погрешность — это неопределённость? На что при этом можно сослаться? И второй вопрос: если в методике погрешность не установлена (ГОСТы на нефтепродукты, почву), то нужно проводить все эти огромные расчеты? Может быть есть какой документ, позволяющий лаборатории минимизировать дополнительные трудозатраты?

    • Создано:

      Forum LINCO Platform

      | 08 февраля 2020 в 15:32 |

      Стандарт ГОСТ ISO/IEC 17025-2019 (МС ISO/IEC 17025:2017) требует оценивать точность результатов измерений с применением процедур оценки неопределенности. Однако применяемые в Российской Федерации методики испытаний (в том числе и методики, указанные в технических регламентах) чаще всего оценивают точность результатов измерений с применением процедур оценки погрешности. Лаборатории в этом случае целесообразно руководствоваться требованиями методик и/или требованиями Заказчика. При необходимости могут быть применены рекомендации РМГ 91-2009 «Совместное использование понятий «погрешность измерения» и «неопределенность измерения».
      А вообще, конечно, оценку надо проводить. При внедрении, т.е. верификации методики,
      вы можете условно принять и экспериментально показать.



  • Создано:

    Forum LINCO Platform

    | 16 февраля 2020 в 17:57 |

      Ответить

    Как оформляете расчеты?

    • Создано:

      Forum LINCO Platform

      | 16 февраля 2020 в 20:54 |

      Я так поняла, что если мы пользуемся аттестованные методики и в них установлена погрешность, то неопределенность нам самим рассчитывать не нужно. Установление неопределенности касается калибровочных лабораторий. Или я до сих пор заблуждаюсь?



  • Создано:

    Forum LINCO Platform

    | 16 февраля 2020 в 20:55 |

      Ответить

    Я сейчас на учёбе. Эксперт говорит, что надо считать неопределённость везде, а в тех ми где есть погрешность ещё и погрешность, чтобы не отклонятся от методики


  • Создано:

    Forum LINCO Platform

    | 16 февраля 2020 в 20:55 |

      Ответить

    Вот новости. А нам на учебе по другому говорили) а как считать? Методическая основа в каком нд?

    • Создано:

      Forum LINCO Platform

      | 18 февраля 2020 в 00:42 |

      Руководство ЕВРАХИМ СИТАК CG 4 “Количественное определение неопределенности в аналитических измерениях”, 3 издание, QUAM:2012.P1-RU



  • Создано:

    Forum LINCO Platform

    | 16 февраля 2020 в 20:57 |

      Ответить

    В 17025 написано, что к некоторым методикам можно не считать, если мы контролируем параметры, которые могут повлиять на стабильность условий. Для химиков точно, если в методике не установлено требование ( это касается и испытаний и отбора проб) считать неопределенность и нет требования заказчика, то неопределенность считать не надо, но надо подтвердить стабильность условий ( контроль температуры, влажности, и т.д.)

    • Создано:

      Элина Алтухова

      | 08 февраля 2021 в 13:27 |

      В ГОСТе 17025 так не написано. Там написано, что если в методе УСТАНОВЛЕНА неопределенность, то можно не считать заново, если можете продемонстрировать что все критические факторы (не только параметры окружающей среды) находятся под контролем.
      п.7.6.3 Лаборатория должна оценивать неопределенность. И никаких оговорок.
      В Введении ГОСЧТ 17025 Должен-обозначает требование.



  • Создано:

    Ася Феллер

    | 03 марта 2021 в 11:39 |

      Ответить

    Проверьте, пожалуйста, в таблице 3 неверное число в последнем столбце s(1)2.

    • Создано:

      Forum LINCO Platform

      | 03 марта 2021 в 14:45 |

      Благодарим Вас за обращение. Мы скорректировали значение в таблице 3. С уважением, команда LINCO Platform



  • Создано:

    Forum LINCO Platform

    | 11 марта 2021 в 10:39 |

      Ответить

    Мы неопределенность считаем на исследования по прямым измерениям. Все остальное погрешность по МВИ.


  • Создано:

    Forum LINCO Platform

    | 06 апреля 2021 в 20:27 |

      Ответить

    Подскажите, пожалуйста, где найти оценку неопределенности? А то у нас расширение и нам сделали замечание по данному вопросу, что не соответствует ГОСТ. А в чем несоответствие непонятно.

    • Создано:

      Forum LINCO Platform

      | 06 апреля 2021 в 20:28 |

      Есть в методике описание, как её считать — считаем, если нету — нет. Суммарная расширенная состоит из неопределённости по типу А и типу В. А — это неопределённость, обусловлена случайность (внешние условия, руки и пр.). И чтобы её оценить нужно несколько раз сделать (параллели). Неопределённость по типу В — это погрешность прибора(ов). Все описано в ГОСТах 34100. С вас скорее всего и спрашивают, понимаете ли вы, что это такое и как её считать.


    • Создано:

      Forum LINCO Platform

      | 06 апреля 2021 в 20:29 |

      Неопределенность — это составляющая самого испытания, в отличие от погрешности. Если вы в своей лаборатории используете на какое-то конкретное испытание набор оборудования, посуды и делают одни и те же люди, то оцените один раз её и зафиксируейте при внедрении. Я так думаю.



  • Создано:

    Forum LINCO Platform

    | 04 мая 2021 в 09:12 |

      Ответить

    Коллеги, эксперты прислали задания на проверку. Результаты измерений (несмотря на то что в методиках погрешность) привести с неопрелеленностью. Помогите, как это сделать??? У нас пока ж это одно и то же.

    • Создано:

      Forum LINCO Platform

      | 04 мая 2021 в 09:16 |

      Не одно и то же. Пока не будет разъяснений, все зависит от эксперта. Кто-то принимает, кто-то нет. Погрешность это не неопределенность, но в методиках обычно приводится не погрешность как таковая, а предельная погрешность, которая равна неопределенности. Для расчета посмотрите ГОСТ Р ИСО 21748-2012 «Статистические методы. Руководство по использованию оценок повторяемости, воспроизводимости и правильности при оценке неопределенности измерений». Также в руководстве Еврахим/Ситак вполне себе есть пересчет, если методикой установлены показатели качества.



  • Создано:

    Ира Макарова

    | 29 июня 2021 в 23:49 |

      Ответить

    Здравствуйте! Подскажите пожалуйста, если объекты разные (например, сточные воды на разных предприятиях), то необходимо переходить в относительные единицы, иначе дисперсия между объектами будет огромная. Не могу сообразить, в таблице 4 что на что надо поделить, чтобы перейти в относительные единицы?


Информация

  • Главная
  • Книги
  • Количественное описание неопределенности в аналитических измерениях

Количественное описание неопределенности в аналитических измерениях

Описание книги

Перед Вами перевод международного Руководства, предназначенного для широкого круга химиков-аналитиков и метрологов. Этот документ был выпущен в 2000г. от имени двух организаций: ЕВРАХИМ (Европейское общество по аналитической химии) и СИТАК (Сотрудничество в области прослеживаемости измерений в аналитической химии). Книга «Количественное описание неопределенности в аналитических измерениях» авторов Перевод с англ. Р.Л. Кадис, Г.Р. Нежиховский, В.Б. Симин, Л.А. Конопелько оценена посетителями Книг…

Перед Вами перевод международного Руководства, предназначенного для широкого круга химиков-аналитиков и метрологов. Этот документ был выпущен в 2000г. от имени двух организаций: ЕВРАХИМ (Европейское общество по аналитической химии) и СИТАК (Сотрудничество в области прослеживаемости измерений в аналитической химии). Книга «Количественное описание неопределенности в аналитических измерениях» авторов Перевод с англ. Р.Л. Кадис, Г.Р. Нежиховский, В.Б. Симин, Л.А. Конопелько оценена посетителями КнигоГид, и её читательский рейтинг составил 0.00 из 10.
Для бесплатного просмотра предоставляются: аннотация, публикация, отзывы, а также файлы для скачивания.

  • Просмотров: 54
  • Рецензий: 0

Информация об издании

  • Переводчики: не указаны
  • Серия:
    не указана
  • ISBN (EAN): 5-94365-038-7
  • Языки: не указаны
  • Возрастное ограничение: не указано
  • Год написания: не указан

Эта книга еще не добавлена в подборки

К ЭТОЙ КНИГЕ НЕ ДОБАВЛЕНЫ персонажи

КНИГА НЕ УПОМИНАЛАСЬ В БЛОГАХ

Посмотрите еще

Ультра. Как в 40 лет изменить свою жизнь и стать одним из лучших атлетов планеты

Ультра. Как в 40 лет изменить свою жизнь и стать одним из лучших атлетов планеты

Это книга-мотиватор. Автор – ныне один из лучших атлетов планеты, входящий в список 25 сильнейших мужчин мира, участник ультрагонок, в том числе гавайской Epic5 (пять дистанций Ironman за неделю), – еще несколько лет назад боролся с лишним весом и одышкой, а до того – с алкоголизмом. Секрет преображения – в переходе на веганскую пищу, занятиях спортом, но главное – в том, как он нашел мотивацию дл…

Растительная диета: скажи «да» своему здоровью

Растительная диета: скажи «да» своему здоровью

О книге
Подробный гид по растительной диете, который ответит на все ваши вопросы и поможет питаться просто, полезно и вкусно.

Растительная диета не про отказ от большинства вкусных блюд. Она про то, как питаться цельной, полезной пищей, которая поможет вам чувствовать себя лучше и лучше выглядеть.

Любое изменение образа жизни, в том числе переход на растительную диету, всегда сопровождается вопр…

Научно-популярная литература

0.0


0

Зачем мы говорим. История речи от неандертальцев до искусственного интеллекта

Зачем мы говорим. История речи от неандертальцев до искусственного интеллекта

Эта книга — захватывающая история нашей способности говорить. Тревор Кокс, инженер-акустик и ведущий радиопрограмм BBC, крупным планом демонстрирует базовые механизмы речи, подробно рассматривает, как голос определяет личность и выдает ее особенности. Книга переносит нас в прошлое, к истокам человеческого рода, задавая важные вопросы о том, что может угрожать нашей уникальности в будущем. В этом п…

Культура и искусство

8.6


0

1913. Что я на самом деле хотел сказать

1913. Что я на самом деле хотел сказать

Вам бы хотелось, чтобы книга Флориана Иллиеса «1913. Лето целого века» не заканчивалась? Автор чувствовал то же самое. В течение многих лет он искал и собирал новые захватывающие истории из этого невероятного года. Результат вы держите в руках. В продолжении международного бестселлера «тизер ХХ века», как сформулировала в свое время пресса, разворачивается в масштабную диораму: старые герои высвеч…

Прикладная литература

0.0


0

Девушка в Dior

Девушка в Dior

Показ дебютной коллекции Кристиана Диора в 1947 году произвел в мире моды эффект разорвавшейся бомбы. Увидев череду тонких талий и объемных юбок, главный редактор американского Harper’s Bazaar Кармел Сноу воскликнула: «Мой дорогой Кристиан, ваши платья — это нечто совершенно новое, настоящий newlook!» Именно так и стали называть стильный силуэт Dior, который по сей день принято считать символом же…

Международный деловой этикет на примере 22 стран

Международный деловой этикет на примере 22 стран

Перед вами книга, которая содержит всю необходимую информацию о правилах международного делового этикета: традициях деловых кругов Европы, Америки и Азии.
Книга состоит из двух частей. В первой вы сможете найти ответы на вопросы, которые касаются деловой жизни человека, – начиная от составления гардероба и умения вести переговоры, заканчивая организацией официальных мероприятий. Вторая часть посв…

Прикладная литература

6.2


0

Мама-дебютант. Основные правила ухода за малышом

Мама-дебютант. Основные правила ухода за малышом

Рождение ребенка — чудесное, волшебное, незабываемое событие! Но быть мамой не так просто. Книга МАМА-ДЕБЮТАНТ расскажет вам, как ухаживать за ребенком от роддома до детского сада, и познакомит с бесценными советами доктора Реготтаз, врача-педиатра с тридцатилетним стажем!

Мемуары и биографии

8.2


0

Lessons. Мой путь к жизни, которая имеет значение

Lessons. Мой путь к жизни, которая имеет значение

До сих пор мало кто знал настоящую Жизель Бюндхен, известную топ-модель и актрису, чья личная жизнь резко контрастирует с ее публичным имиджем. Оказывается, ее судьба не всегда была безоблачной. Встреча с модельным агентом, о которой мечтают миллионы девушек, превратилась в испытание, а всемирная известность — в барьеры, которые было не так просто преодолеть. В своих мемуарах Жизель впервые расска…

Прикладная литература

7.6


0

Сама себе стилист. Пошаговый план трансформации от известного fashion-блогера

Сама себе стилист. Пошаговый план трансформации от известного fashion-блогера

Чтобы одеваться стильно, не обязательно покупать вещи в дорогих магазинах и штудировать модные журналы. Диана Госс, стилист и модный Instagram-блогер с аудиторией более 470 000 человек, создала свою формулу безупречного стиля, которая базируется на трех основных элементах. Одежда должна: подчеркивать природный колорит, акцентировать достоинства фигуры, скрывая недостатки, соответствовать вашему х…

Понравилась статья? Поделить с друзьями:
  • Инструкция по делу производства в органах местного самоуправления
  • Министерство транспорта россии руководство
  • Лютеин форте витамины для глаз витамир инструкция
  • Руководство по работе с кассой
  • Руководство томского государственного университета