allgosts.ru67. ПРОИЗВОДСТВО ПИЩЕВЫХ ПРОДУКТОВ67.240. Органолептический анализ

ГОСТ ISO 11136-2017 Органолептический анализ. Методология. Общее руководство по проведению гедонических испытаний потребителями в контролируемой зоне

Обозначение:
ГОСТ ISO 11136-2017
Наименование:
Органолептический анализ. Методология. Общее руководство по проведению гедонических испытаний потребителями в контролируемой зоне
Статус:
Действует
Дата введения:
01/01/2019
Дата отмены:
-
Заменен на:
-
Код ОКС:
67.240

Текст ГОСТ ISO 11136-2017 Органолептический анализ. Методология. Общее руководство по проведению гедонических испытаний потребителями в контролируемой зоне


ГОСТ ISO 11136-2017

МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ



Органолептический анализ


МЕТОДОЛОГИЯ


Общее руководство по проведению гедонических испытанийпотребителями в контролируемой зоне


Sensory analysis. Methodology. General guidance for conductinghedonic tests with consumers in a controlled area



МКС 67.240

Датавведения 2019-01-01

Предисловие

Предисловие


Цели, основные принципы иосновной порядок проведения работ по межгосударственнойстандартизации установлены в ГОСТ1.0-2015 "Межгосударственная система стандартизации. Основныеположения" и ГОСТ1.2-2015 "Межгосударственная система стандартизации. Стандартымежгосударственные, правила и рекомендации по межгосударственнойстандартизации. Правила разработки, принятия, обновления иотмены"

Сведения остандарте

1ПОДГОТОВЛЕН Акционерным обществом "Всероссийскийнаучно-исследовательский институт сертификации" (АО "ВНИИС") наоснове официального перевода на русский язык англоязычной версииуказанного в пункте 5 стандарта, который выполнен ФГУП"Стандартинформ"

2ВНЕСЕН Федеральным агентством по техническому регулированию иметрологии

3ПРИНЯТ Межгосударственным советом по стандартизации, метрологии исертификации (протокол от 1 июня 2017 г. N 51)

За принятиепроголосовали:

Краткоенаименование страны по МК (ИСО3166) 004-97

Код страныпо
МК (ИСО3166) 004-97

Сокращенноенаименование органа по стандартизации

Армения

AM

МинэкономикиРеспублики Армения

Беларусь

BY

ГосстандартРеспублики Беларусь

Казахстан

KZ

ГосстандартРеспублики Казахстан

Киргизия

KG

Кыргызстандарт

Молдова

МD

Молдова-Стандарт

Россия

RU

Росстандарт

Украина

UA

Минэкономразвития Украины

4Приказом Федерального агентства по техническому регулированию иметрологии от 19 сентября 2017 г. N 1159-ст межгосударственныйстандарт ГОСТ ISO 11136-2017 введен в действие в качественационального стандарта Российской Федерации с 1 января 2019 г.

5Настоящий стандарт идентичен международному стандарту ISO11136:2014* "Сенсорный анализ. Методология. Общее руководство попроведению гедонических испытаний потребителями в контролируемойзоне" ("Sensory analysis - Methodology - General guidance forconducting hedonic tests with consumers in a controlled area",IDT).
________________
*Доступ к международным и зарубежным документам, упомянутым здесь идалее по тексту, можно получить, перейдя по ссылке на сайт . - Примечаниеизготовителя базы данных.


Наименование настоящегостандарта изменено относительно наименования указанногомеждународного стандарта для увязки с наименованиями, принятыми всуществующем комплексе межгосударственных стандартов.

Международный стандартразработан Подкомитетом ISO ТС 34/SC 12 "Сенсорный анализ"Технического комитета по стандартизации ISO/TC 34 "Пищевыепродукты" Международной организации по стандартизации (ISO).

При применении настоящегостандарта рекомендуется использовать вместо ссылочных международныхстандартов соответствующие им межгосударственные стандарты,сведения о которых приведены в дополнительном приложении ДА

6ВВЕДЕН ВПЕРВЫЕ

7Некоторые элементы настоящего стандарта могут являться объектамипатентных прав


Информация обизменениях к настоящему стандарту публикуется в ежегодноминформационном указателе "Национальные стандарты", а текстизменений и поправок - в ежемесячном информационном указателе"Национальные стандарты". В случае пересмотра (замены) или отменынастоящего стандарта соответствующее уведомление будет опубликованов ежемесячном информационном указателе "Национальные стандарты".Соответствующая информация, уведомление и тексты размещаются такжев информационной системе общего пользования - на официальном сайтеФедерального агентства по техническому регулированию и метрологии всети Интернет (www.gost.ru)

1Область применения


Настоящий стандартописывает подходы к определению, в пределах контролируемой зоны,степени, в которой потребителям нравится или относительно нравитсяпредлагаемая продукция.

Встандарте описаны испытания, основанные на сборе ответов навопросы, обычно представленных в бумажном виде или посредствомклавиатуры, или сенсорной панели. Испытания поведенческогохарактера (например, параметры записей, использованныепотребителями по своему усмотрению) не попадают под настоящийстандарт.

Гедонические испытания,описанные в настоящем стандарте, можно использовать при:

-сравнении предложенного продукта с конкурирующими продуктами;

-оптимизации продукта с целью получения высокой гедонической оценкиили с целью понравиться большому количеству потребителей;

-определении ассортимента продуктов, соответствующих конкретнойцелевой совокупности потребителей;

-определении срока годности (продукта);

-оценке воздействия изменения состава продукта на удовольствие,доставляемое этим продуктом;

-изучении воздействия органолептических характеристик продукта настепень, в которой этот продукт нравится, независимо от косвенныххарактеристик, таких как бренд, цена или реклама;

-изучении влияния коммерческой переменной или формы преподнесенияпродукции, например, упаковки.

Описанные методы являютсяэффективными для определения:

-существуют или нет предпочтения в восприятии (различие в степенипредпочтительности), или

-существуют или нет отрицательные предпочтения (тест на проверкуподобия методом парного сравнения).

2Нормативные ссылки


Следующие документы*, накоторые приводится ссылка, являются обязательными для применениянастоящего стандарта. В отношении датированных ссылок применимотолько указанное издание. В отношении недатированных ссылокдействительно только последнее издание ссылочного документа,включая любые изменения к нему
_______________
*Таблицу соответствия национальных стандартов международным см. поссылке. - .


ISO 4121, Sensoryanalysis - Guidelines for the use of quantitative responsescales (Органолептический анализ. Руководящие указания поприменению шкалы количественных результатов)

ISO 5492, Sensoryanalysis - Vocabulary (Органолептический анализ.Словарь)

ISO 5495, Sensoryanalysis - Methodology - Paired comparison test (Сенсорныйанализ. Методология. Метод парного сравнения)

ISO 8587, Sensoryanalysis - Methodology - Ranking (Сенсорный анализ.Методология. Ранжирование)

ISO 8589, Sensoryanalysis - General guidance for the design of testrooms (Органолептический анализ. Общее руководство попроектированию помещений для исследований)

ISO 29842, Sensoryanalysis - Methodology - Balanced incomplete block designs(Органолептический анализ. Методология. Неполностьюсбалансированные блочные конструкции)

3Термины и определения


Вданном документе используются термины с соответствующимиопределениями, приведенные в ISO 5492, а также следующие.

3.1 группаиспытателей (access panel): Примерная база данных потенциальныхреспондентов, которые заявили о своем желании сотрудничать впланируемых сборах данных, если будут выбраны.

[ИСТОЧНИК: ISO 20252)

Примечание - Респондентымогут выбираться из базы на более или менее регулярной основе.

3.2 вопрос,предусматривающий стереотипные альтернативные ответы(closed-ended question): Вопрос, который требует от респондентавыбрать из предварительно составленного перечня возможныеответы.

3.3сторона-инициатор (commissioning party): Лицо, орган илислужба, которые уполномочивают третью сторону на проведениеиспытания.

Примечания

1Понятие "сторона-инициатор" соответствует концепции "покупатель"или "заказчик" в области контроля качества и противоположноконцепции "поставщик", "поставщик услуг" или "лаборатория".

2Обычно сторона-инициатор и поставщик услуг принадлежат к разнымпредприятиям. Там, где они принадлежат к двум департаментам одногои того же предприятия, соответствующие обязанности этих двухдепартаментов должны четко дифференцироваться и разъясняться впредложении о проведении испытания.

3.4 потребитель(испытатель) (consumer), респондент (respondent): Лицо,использующее продукт.

Примечание - В настоящемстандарте это значение ограничено лицом, которое не являетсяэкспертом, специалистом-дегустатором или экспертом по оценке,выбранным в соответствии с ISO 5492.

3.5 выборкапотребителей (испытателей) (consumer sample): Группапотребителей, набранных на основе критериев, установленных всоответствии с характером целевой совокупности.

3.6 контролируемаязона (controlled area): Место, обеспечивающее:

-контролируемую подготовку и представление продуктов;

-комфортабельные условия для потребления продуктов и опросапотребителей,

-отсутствие обмена информацией (вербального и невербального) междупотребителями (испытателями), гарантирующее независимостьответов.

3.7 гедоническоевосприятие (hedonic perception): Количество удовольствия,доставляемого органолептическими свойствами продукта.

3.8 гедоническоеиспытание (hedonic test): Испытание, целью которого являетсяопределение общего гедонического восприятия продуктапотребителями.

3.9 вопрос,допускающий неограниченное число ответов, открытый вопрос(open-ended question): Вопрос, который не предусматривает готовыеальтернативные ответы для респондентов, а просит дать ответсобственными словами.

Примечание - Он можеткасаться каждого из продуктов, представленных потребителям(испытателям), или только некоторых из них (например, когдазадается вопрос, почему определенный продукт является наиболее(наименее) привлекательным для потребителя (испытателя).

3.10 необъективность,связанная с положением (position bias): Косвенное влияние,связанное с расположением продукта в наборе оцениваемыхпродуктов.

3.11 семействопродуктов (product family): Группа продуктов, которые могутбыть взаимозаменяемыми в нормальных условиях потребления.

Примечание - Семействапродуктов могут зависеть от культуры и привычек потребителей.

3.12репрезентативность (representativeness) <выборки>:Степень, в которой качественные признаки выборки согласуются ссоответствующими качественными признаками совокупности, из которойэта выборка получена.

3.13 необъективность,связанная с последовательностью (sequential bias): Косвенноевлияние временного положения или положения в последовательностипродукта в наборе оцениваемых продуктов.

3.14 сессия(session): Заседание потребителей (испытателей), работающиходновременно по одному и тому же протоколу в течение определенногопериода времени.

Примечание - Сессию можноразделить на несколько сеансов, между которыми дается определенноевремя на отдых. Например, сессию продолжительностью 1 ч 30 минможно разделить на два сеанса с 10-минутным перерывом междуними.

3.15 целеваясовокупность (target population): Совокупность потребителей,чей гедонический отзыв на продукт предполагается оценить.

4Подготовительные мероприятия

4.1Предложение о проведении испытания


Предложение о проведениииспытания выдвигается предоставляющей услуги лабораторией на основеинформации (обычно касающейся цели испытания и целевойсовокупности), выданной стороной-инициатором, как письменныйдокумент, который связывает лабораторию и сторону-инициаторадоговором. Он включает следующие элементы:

-цель испытания;

-подлежащие оценке продукты (и процедуры для их закупки, особенно втех случаях, когда лаборатории требуется обеспечить один или болеепродуктов);

-целевая совокупность для испытания;

-размер выборки потребителей (объем выборки) и способ набораучастников;

-любые ограничения в отношении потребителей, ранее участвовавших вподобных испытаниях;

-любые ограничения на другие продукты, которые предполагаетсяоценить, за одну и ту же сессию испытаний;

-условия оценивания;

-тип интервью (самостоятельное заполнение форм или интервьюеры);

-вопросник (анкета);

-место проведения оценивания;

-количество продуктов для оценивания на сессию в предлагаемомиспытании, наряду с указанием других продуктов для оценивания, там,где сессия охватывает несколько семейств продуктов (там, где этипродукты неизвестны на момент составления предложения, лабораторииследует взять на себя обязательство связаться с испытателями, кактолько лаборатория узнает о характере продуктов);

-условия подготовки, конкретно для оцениваемых продуктов (если ониизвестны на данном этапе);

-любые инструкции, конкретно для оцениваемых продуктов (если ониизвестны на данном этапе) наряду с конкретной информацией,предоставляемой о продуктах или испытании в начале сессии;

-наименование статистических критериев, которые предполагаетсяиспользовать для интерпретации результатов; тип использованныхрисков и их допустимых значений, величина минимального различия,которое предполагается обнаружить в тестах на проверку различия илимаксимально допустимого различия в тестах на проверку подобия;

-любое предусмотренное разделение (сегментация) совокупностипотребителей на основе характеристик, известных до получения данныхоценивания или на основании полученных ответов;

-метод изучения и получения итогов по вопросам, допускающимнеограниченное число ответов;

-любые рекомендации, которые сторона-инициатор желает, чтобылаборатория разработала на основе результатов испытания;

-данные, предусмотренные для тестов и предоставления отчета.

Если какие-либо изуказанных выше элементов неизвестны на момент внесения предложенияоб испытании, это предложение включает для каждого рассматриваемогоэлемента следующее заявление: "Данный элемент будет установленстороной-инициатором посредством... [задание этапа испытания]".

Примечание - Еслиспецификация уже существует, предложение о проведении испытаниядает на нее ссылку, не повторяя технические пункты, описанные врабочем порядке в этой спецификации.

4.2Параметры целевой совокупности


Чтобы установить целевуюсовокупность, необходимо ответить на следующие вопросы. Эти вопросыдолжны быть рассмотрены для каждого испытания, котороепредполагается осуществить, потому что целевая группа потребителей,участвующая е одном испытании, может отличаться от группы длядругого испытания, даже при испытании одного и того жепродукта.

-Представлен ли уже подлежащий испытаниям продукт на рынке? Если да,то можно ли отличить реальных потребителей от потенциальных?

-Являются ли представляющие интерес потребители реальноиспользующими представленный продукт потенциальными потребителями,которые еще не использовали этот продукт, или группа будетсмешанной?

-Будут ли результаты, полученные от установленных подгрупп,изучаться и сравниваться?

-Будут ли результаты всей выборки потребителей проанализированы снамерением идентификации подгрупп?

-Представляют ли интерес расхождения между результатами отдельныхпредставляющих интерес потребителей?

4.3Дополнительные параметры


После задания параметровцелевой совокупности, необходимо установить следующие аспекты:

-место проведения испытания (см. раздел 7);

-ожидаемая прецизионность измерения (см. 6.1);

-метод испытания (см. раздел 9);

-план представления продукта для выбранных методов испытания (см.10.2);

-спецификации для проверяемой гипотезы (см. 6.1).

Для проверяемой гипотезызатем должны быть установлены следующие аспекты:

-состав выборки потребителей (см. раздел 5);

-объем выборки потребителей (см. раздел 6).

5Выборка потребителей

5.1Общие положения


Целью гедоническогоиспытания является определение приемлемости продуктов и/илиопределение предпочтений по отношению к двум или более продуктамустановленной совокупностью потребителей.

Состав выборкипотребителей является решающим для любого гедонического испытания,поскольку рассматривают, сможет или нет результат ответить наинтересующие вопросы стороны-инициатора.

Потребители должны бытьдобровольцами, что означает запрет на получение вознаграждения илиоплаты за участие в испытаниях.

Важно получить спонтаннуюреакцию.

Подготовленныепотребители должны быть исключены из таких испытаний, поскольку онибудут систематически отличаться от целевой совокупностипотребителей.

Обычно не рекомендуетсянабирать потребителей из персонала компании, производящейиспытуемый продукт. Если используют группу внутренних потребителей,то среди факторов, наиболее неблагоприятно сказывающихся нарезультатах, будет:

-риск узнавания испытуемых продуктов,

-тенденция вынести суждение в пользу узнанных продуктов, и

-хорошая осведомленность в отношении испытуемых продуктов.

Эти факторы несутсерьезный риск нарушения репрезентативности результатов для целевойсовокупности потребителей.

Все критерии, которымследуют при выборе потребителей (например, можно или нет набиратьих из штата компании-изготовителя или ее конкурентов или изконкретного социально-экономического сектора), должны бытьсогласованы с клиентом, заказавшим проведение испытания, независимоот используемого метода набора.

5.2Набор потребителей

5.2.1 Общиеположения

ПРЕДУПРЕЖДЕНИЕ -Необходимо соблюдать:

-конфиденциальность и соответствующие законы при создании иоформлении файлов с персональными данными.

-законодательство в отношении возрастных ограничений.


Потребителей можнонабирать либо на основе конкретной задачи (там, где потребителейнабирают заново непосредственно под конкретное испытание) или изгруппы ожидания (перечень потенциальных потребителей с известнымихарактеристиками). Набор под конкретную задачу часто считаютсредством набора потребителей, которые активно не участвовали вподобных испытаниях, но эта идея может стать ошибочной, когдапроисходит значительное увеличение мест, где организуютгедонические испытания квазистационарным образом.

5.2.2 Набор подконкретную задачу

Набор под конкретнуюзадачу можно проводить в общественном месте, в торговой точке, потелефону, по обычной или электронной почте или по объявлению вместной газете или на радиостанции, или в социальных сетях, илииными путями через Интернет. В большинстве случаев необходимодостичь предварительного соглашения с корпорацией или организацией,несущей ответственность за участок, на котором ведется набор.

Способ набора и времяподхода к потребителю (в частности, когда контакт происходит вобщественном месте или по телефону и при распространении информациичерез средства массовой информации) может в значительной степениповлиять на состав выборки потребителей.

5.2.3 Набор из группыожидания

Для эффективности наборатакже можно укомплектовать группу ожидания, участников которойвнести в файл описания потребителей. Перед каждым испытанием ипосле установления целевой совокупности, можно сделатьпредварительный выбор на основе критериев, записанных в этомфайле.

Описание потребителейможет включать следующие данные о потребителе:

-идентификационные данные рассматриваемого лица, контактныеданные;

-возраст, пол;

-семейное положение, состав семьи;

-социальное положение, профессия, доход;

-возможные проблемы со здоровьем (например, аллергия, диабет,проблемы со зрением, и т.д.) в отношении испытываемыхпродуктов;

-другая информация, связанная с испытываемыми продуктами (например,привычки в еде и питье, религиозные запреты, образ жизни, бытовоеоборудование);

-информация о доступности потребителя для участия в испытаниях;

-информация о случаях предыдущего участия в испытанияхпотребителем.

Описание каждогопотребителя необходимо регулярно актуализировать.

Описанная база данныхпозволит эффективно работать в диалоге между стороной-инициатором ипоставщиком услуг в такой мере, в какой это позволит последнемуобеспечить удовлетворение основных пожеланий стороны-инициатора вотношении целевых потребителей.

5.2.4 Частотапривлечения потребителей

По сравнению с наборомпод конкретную задачу существует большой риск "профессионализациипотребителя", при наборе из существующей совокупностипотребителей.

Важно избежать эффектаобучения отдельного потребителя в отношении испытуемой группыпродуктов, поэтому нельзя привлекать одних и тех же потребителейслишком часто. В качестве руководства рекомендуется проводитьотдельные испытания одного и того же продукта не менее чем стрехмесячным интервалом.

Лаборатория должнасохранять записи частоты участия каждого потребителя в испытанияхкаждого продукта и каждого семейства продуктов. История участияпотребителей должна быть включена в отчет об испытании, возможнонаряду с информацией о семействе продуктов по запросустороны-инициатора.

5.3Составление выборки потребителей

5.3.1 Выборпотребителей с помощью анкеты

Когда потребителейнабирают с помощью анкеты, относящейся к критериям, установленнымдля состава выборки потребителей, потребитель не должен иметьвозможность идентифицировать, какие критерии в анкете являютсярешающими в выборе для участия в испытаниях.

Примеры возможныхкритериев:

-предыдущее участие в испытаниях рассматриваемой группыпродуктов;

-частота использования рассматриваемого продукта;

-обычно используемый бренд, описание продукта, место приобретения ит.д.;

-привычки в использовании или потреблении рассматриваемогопродукта.

Могут подойти другиекритерии, такие как возраст, пол, социальный слой, группа занятостиили географическое местоположение. Из соображений практичностиследует установить классы для каждого из этих критериев. Длякаждого класса следует установить процент, которым этот класс будетпредставлен в выборке потребителей.

Для каждого потребителя,выбранного для участия в испытании, анкета должна быть заполненаполностью.

Можно проверить требуемыедетали набора.

Пример анкеты для набораучастников приведен в приложении А.

Анкету или информацию изэтой анкеты необходимо хранить, чтобы обеспечить прослеживаемостьпараметров набора участников испытания.

5.3.2Репрезентативность выборки потребителей

Репрезентативность вотношении целевой совокупности является главным свойством,требуемым от выборки. Определение такой совокупности обычновытекает из взаимодействия между стороной-инициатором испытания,которая предлагает целевую совокупность, и лабораторией, котораяоценивает осуществимость этого предложения.

Для выбора потребителей,которые будут представительными для целевой совокупности,необходимо использовать следующие критерии:

-частота использования или потребления продукта (этот критерийзачастую считается основным в отношении его предполагаемого влиянияна различающую способность испытания);

-возраст, пол, социально-экономический статус, занятие,географическое местоположение;

-бренд продукта, обычно используемого или потребляемого;

-место приобретения этого продукта.

5.4Сегментация выборки


Существует два путивозможной сегментации выборки (потребителей):

a) Сегментация наначальной стадии, чтобы получить ответы на вопросы:

1) Отвечают женщины имужчины одинаково или по-разному?

2) Одинаковы или нетответы разных возрастных групп?

3) Зависят ли ответы отпривычек потребления?

Вэтом случае каждую подгруппу анализируют по отдельности исравнивают результаты.

b) Сегментация может бытьвыведена на основе собранных данных, если имеется подтверждение(например, мультимодальность) наличия различных подгрупп.

Вприложении В приведено руководство в отношении того, как обращатьсяс данными сегментации.

6Объем выборки потребителей

6.1Решение об измерении


Численная прецизионностьлюбых средних значений или оценок, полученных по результатам,увеличивается с увеличением численности выборки. В то же времяповышенная прецизионность измерения сама по себе не обеспечиваетрелевантность и достоверность полученных заключений. Большоезначение имеет также правильный выбор потребителей и методов.

Приложение D содержитнекоторые особенности влияния объема выборки потребителей напрецизионность измерения.

Прецизионность такжезависит от вариантности ответов потребителей в отношении одногопродукта. Чем больше разброс, тем больше должен быть размервыборки, чтобы получить заданную прецизионность. Знание данногопараметра вытекает из опыта как лаборатории, так истороны-инициатора.

Прецизионностьрезультатов зависит также от метода испытания. Например, при прочихравных условиях различие между двумя продуктами устанавливаетсяболее прецизионно, если каждый потребитель оценивает оба продукта,а не в случае оценки продуктов разными потребителями.

Требующаясяпрецизионность зависит от цепи испытания. При прочих равныхусловиях на прецизионность влияет:

-наименьшее различие между двумя средними оценками удовольствия,которое считается достаточно большим, чтобы использоваться, когдацелью испытания является демонстрация различия (чем различиеменьше, тем больше надо брать размер выборки);

-наибольшее различие между двумя средними оценками удовольствия,которое считается достаточно малым, чтобы им пренебречь, когдацелью испытания является демонстрация равноценности (чемравноценность меньше, тем больше надо брать размер выборки);

-риск (альфа), выбираемыйстороной-инициатором на принятие ошибочного заключения о наличииразличия (чем меньше риск , тем больше надо брать размер выборки);

-мощность Р, которую сторона-инициатор желает для критерия(, где представляет собой риск ошибочногозаключения, что различие отсутствует); чем больше желательнаямощность, тем больше надо брать размер выборки);

-направленность предполагаемого статистического критерия. Еслисторона-инициатор заинтересована только в повторном подтверждении,что продукт В не уступает продукту А, направленныйкритерий подходит и мощность этого критерия больше, чем, еслизаключения, что В уступает А или что Впревосходит А, представляют одинаковый интерес.

6.2Определение объема выборки


Определение объемавыборки является критическим этапом в разработке испытания итребует помощи специалиста в области статистики. В приложении Еданы формулы (сопровождаемые примерами), которые можно использоватьдля расчетов в тестах на проверку различия, либо на проверкуподобия на основе рейтингов. Приложение F дает то же самое дляиспытаний, основанных на предпочтениях.

Во всех случаях недопускается объем выборки потребителей, соответствующий настоящемустандарту, меньше 60.

Там, где лаборатория неимеет данных, требующихся для методов, описанных в приложении Е илиприложении F, настоящий стандарт фиксирует минимальный размервыборки - 100.

Там, где лабораторияиспользует методы, описанные в приложении Е или приложении F,размер выборки задается результатом расчета, который:

-может быть снижен до 100, когда рассчитанное количествопотребителей более 100, но лаборатория и/или сторона-инициатор неимеет средств для опроса большего количества потребителей. Если этопроисходит, лаборатория должна рассчитать оцененную мощностькритерия для количества потребителей, равного 100, и получитьсогласие стороны-инициатора на принятие более низкой мощности,и

-должен быть увеличен до 60, если рассчитанное количество меньше60.

Значения 100 и 60предполагают, что сторона-инициатор не надеется на заключения,сегментированные согласно характеристикам потребителей, таким каквозраст и пол. Там, где решение о разделении принято до испытания,минимальное число потребителей на сегмент составляет 60.

6.3Работа с подгруппами

6.3.1 Общиеположения

Подгруппы выборкипотребителей можно сформировать до сбора данных испытания илииспользуя эти данные. Для любых вариантов, перечисленных ниже,необходимо получить рекомендации у статистиков на стадиипланирования испытания.

6.3.2 Отдельныеиспытания с использованием заранее сформированных групппотребителей

Сторона-инициатор можетпожелать изучить отдельные подгруппы, сформированные с учетомхарактеристик потребителей (таких как возраст и пол), которыеизвестны до начала испытаний. Один вариант заключается внезависимом анализе полученных результатов. В этом случае каждаяподгруппа должна состоять как минимум из 60 испытателей.

6.3.3 Унифицированноеиспытание с использованием заранее сформированных групппотребителей

Процедура 6.3.2 менееэффективна, чем уравнивающие презентации для всей выборкипотребителей с последующим комплексным анализом всех результатов сучетом количества членов в подгруппах. Такая же степень доверияобычно достигается с меньшим, чем 60, количеством потребителей вкаждой подгруппе. Такой стиль анализа в высшей степени эффективен,когда все подгруппы одинаковы или очень схожи по размеру.

6.3.4 Сегментацияпотребителей

Количество членов вподгруппе может быть результатом, выведенным по результатамиспытаний на большой выборке потребителей. Подгруппы тогдаклассифицируют по оценке всех имеющихся данных (результатыизмерений и/или социально-демографические данные). Такаясегментация служит для описания выборки потребителей и можетиспользоваться для разработки новых гипотез. Число сформированныхгрупп, их характеристики и их размеры зависят от количества ихарактера полученных результатов.

6.4Количество образцов продуктов и план эксперимента


Количество образцов иплан эксперимента влияют на размер выборки потребителей. Если дляпрезентации продукта используется полный план, то количествопотребителей, необходимое для испытания, будет равно числуполученных отзывов на продукт. Если используется неполный план,количество потребителей должно быть больше.

6.5Надежность набора участников


Реально полученное числоотзывов обычно меньше числа набранных для испытания потребителей,поскольку некоторые потребители в выборке могут отсутствовать, анекоторые участники неправильно использовать анкету. Чтобыкомпенсировать это, следует включить резерв при расчететребующегося количества потребителей.

7 Зонапроведения испытания


Настоящий стандарткасается гедонических испытаний, проводимых в контролируемой зонесогласно 3.6. Это отличается от гедонических испытаний, проводимых,например, в торговой точке или на дому у потребителей, что выходитза рамки области применения настоящего стандарта. Описано трипримера соответствующих зон испытания.

а) Стационарнаялаборатория органолептической оценки, специально оборудованная всоответствии с ISO 8589 для проведения органолептических испытаний.Она имеет приемную для встречи участников, помещение для подготовкипродуктов и помещение, оснащенное боксами для испытаний,температурным контролем и системой вентиляции для периодическогообновления воздуха. Такая зона обеспечивает наилучшую подготовкупродуктов, представление продуктов и условия протоколированияответов.

b) Передвижнаялаборатория органолептической оценки, установленная на транспортномсредстве, которое специально переоборудовано для проведенияорганолептических испытаний. Обычно такая лаборатория имеет меньшеплощадей, чем стационарная. Зоны для приема испытателей иподготовки продуктов очень ограничены.

с) Комната или комнаты,оснащаемые на время в соответствии с "конкретной задачей" дляоценивания продуктов, которые требуют минимум подготовки. Эту зонуразбивают на две отдельные части, одну для проведения испытаний,другую для подготовки и кодирования продуктов. Планировка зоныиспытания позволяет потребителям работать в физической изоляциидруг от друга. Условия испытания (температура, комнатное освещение,вентиляция, хранение и подготовка образцов) можно отслеживать. Вотличие от стационарных и передвижных лабораторий в данном примереподготовку продуктов и систему презентации каждый раз определяютзаново, адаптируя помещение под конкретную задачу.

8Продукты

8.1Анонимное представление продуктов


Подлежащие испытаниюпродукты представляют испытателям после того, как их максимальнолишают индивидуальности и единственным средством идентификацииостается произвольный код (например, трехзначное случайное число),присвоенный лабораторией. Все ссылки на бренд или знак качествадолжны быть удалены или закрыты, за исключением двух случаев:

а) когда удаление илимаскировка невозможны;

b) когда целью являетсяопределение влияния бренда или знака качества.

Примечание - В настоящемстандарте под знаком качества подразумевают любой знак, которыйпотребитель может воспринять как влияние на оценку. Например, типупаковки может представлять собой знак качества.

8.2Подготовка и представление продуктов

8.2.1 Общиеположения

Подлежащие оценкепродукты должны быть подготовлены согласно методам, рекомендованнымизготовителями, или, если такие методы неизвестны, то согласнометоду, официально оформленному по предварительным испытаниям.Допуская надлежащим образом обоснованные ожидания, условияподготовки должны приближаться к обычным условиям использования ипотребления.

То же самое правилоприменяется к представлению продуктов (температура, сопутствующиепродукты, посуда и способ подачи).

ПРЕДУПРЕЖДЕНИЕ - Любойпродукт меняется от партии к партии и вследствие хранения. Такаяизменчивость может представлять интерес для стороны-инициатора и внекоторых случаях может стать основной задачей испытания. Во всехдругих случаях изменчивость следует минимизировать, используяпродукты из одной и той же партии, которые хранились в одинаковыхусловиях и в течение одинакового времени.

8.2.2 Количествопредставляемых продуктов

Количество продукта,представленного испытателю, должно соответствовать обычнопотребляемой порции продукта, установленной стороной-инициатором.Испытателя необходимо информировать о минимальном количествеобразца для испытания и, при необходимости, о максимальномколичестве образца для испытания или потребления. Необходимоследить за тем, чтобы порция образца не была слишком маленькой(риск получить только мимолетное исчезающее начальное впечатление)или слишком большой (риск добиться пресыщения или отвращения).

Представленное количествоможет потребовать уменьшения по сравнению с обычно потребляемымколичеством, в тех случаях, когда участники пробуют несколькопродуктов одного и того же семейства. В то же время,представленного количества всегда должно быть достаточно, чтобыизбежать проведения оценки на слишком малом количестве,спровоцировав, таким образом, получение мимолетного исчезающегоначального впечатления.

Порция готовой рыбы,предоставленная каждому участнику, должна пропорционально включатьвсе составляющие испытуемого продукта.

8.2.3 Формапредставленных продуктов

Иногда существует дваварианта представления продукта, продукт в состояниинепосредственно после закупки и продукт в форме, готовой купотреблению.

Пример 1 - Примерывключают хлеб (целиком или нарезанный), сосиску (целиком илинарезанную), сыр (целиком или нарезанный), пиццу (целиком илипорциями), растворимый кофе (в чашке до или после добавленияводы).

Лаборатория исторона-инициатор могут считать, что обе формы имеют одну и ту жецель: наилучшим образом оценить удовольствие, вызываемое продуктом.Нет необходимости знать, провоцируется или нет эффект ореола тойили иной формой. Если да, то две формы представляют одновременно(целиком/кусочками) или последовательно (растворимый кофе).Потребитель дает отдельную оценку обеим формам представления,причем потребители не знают, что один и тот же продукт представленв двух формах. Такой подход соответствует нормальному поведениюпотребителя, которому в повседневной жизни не требуется разделятьсвои восприятия.

Пример 2 - Словаинструкции и вопроса могут звучать так: Вам дают сосиску под кодом148. Вам следует осмотреть ее, понюхать, съесть несколько кусочкови затем сообщить свою оценку с помощью указанной нижешкалы.

Если лаборатория исторона-инициатор согласны, что обе формы вносят вклад вудовольствие, получаемое от продукта, они не нуждаются в обработкекак разные продукты. Наоборот обе эти формы можно представитьвместе или по очереди и получить один рейтинг.

Примечание - Поднастоящий стандарт не подпадает случай, когда лаборатория исторона-инициатор считают необходимый узнать эффект ожидания,создаваемый визуальной информацией. Такая ситуация попадает в рамкиобласти применения специальных планов испытания, включающихконкретные концепции и методы анализа.

9Методы

9.1Две группы гедонических испытаний


Две основные группыгедонических испытаний устанавливают разные задачи для потребителя(испытателя):

a) проверкаприемлемости, используемая для измерения глубины удовлетворения(удовольствия) при потреблении. В настоящем стандарте единственнымописанным типом проверки приемлемости является рейтинговый метод(метод шкал);

b) методыпредпочтения, используемые для измерения степени получаемогоудовольствия от разных продуктов (например, "Какой образец Вамнравится больше?" или "Пожалуйста, расположите представленныеобразцы в порядке от менее понравившегося до болеепонравившегося"). Информация, полученная методом оценкимоментального предпочтения, имеет относительный характер. Онаничего не говорит о приемлемости продуктов, поскольку можно отдатьпредпочтение одному продукту перед другим, хотя оба онинеприемлемы. Методы предпочтения подразделяются:

-на методы парного сравнения, когда сравнивают дваобразца;

-методы ранжирования, когда работают с несколькимиобразцами.

9.2Рейтинговый метод (метод шкал)

9.2.1 Общиеположения

Рейтинговые методыразличаются:

-по шкале: шкала может быть структурированной, не структурированной,числовой, семантической или графической в соответствии с ISO4121,

-методом представления продуктов.

Когда число продуктов дваили более, можно использовать три метода представленияпродуктов:

a) строгоемонадическое представление (отдельная оценка), когдакаждый испытатель оценивает один продукт;

b) последовательноемонадическое представление (неполный или полный план),когда несколько продуктов оцениваются испытателем за одну илинесколько сессий. Испытатель получает один продукт за один раз, приэтом информации об уже оцененных продуктах или полученных приоценке ответах ему не дается: необходимо обеспечить невозможностьдля испытателя вернуться к оценке ранее испытанного продукта;

с) сравнительноепредставление (неполный или полный план), когда несколькопродуктов оцениваются испытателем одновременно, и испытателямпозволяется пересмотреть оценки, которые они дали другимпродуктам.

Наиболее общей формойпредставления является последовательная монадическая. Она менеезатратная, чем первая, но требует полностью освоить способраспределения продуктов по испытателям (см. приложение С).Сравнительное представление применяют редко, поскольку имееттенденцию к преувеличению различий между продуктами, а такжезатрудняет сравнение между результатами испытания, когда условияиспытания не строго идентичны.

9.2.2 Планыпредставления продуктов

Образцы следуетпредставлять испытателям в соответствии с планом представления (см.10.2).

9.3Метод парного сравнения образцов

9.3.1 Общиеположения

Методы парного сравненияобразцов должны осуществляться в соответствии с ISO 5495.

Принцип парного сравненияобразцов заключается в сравнении продуктов, представленных парами.Испытатель оценивает образцы в установленном порядке и указываеткакой из двух образцов предпочтительнее.

Парное сравнение образцовс указанием предпочтения в отношении одного из двух продуктов можнопроводить в два разных дня, а именно с принудительным выбором(вариант А ниже) или с допустимым ответом "предпочтения нет"(вариант В ниже).

a) Вариант А:Испытатели отвечают на вопрос, предполагающий только одинответ:

"Попробуйте двапредставленных Вам продукта, начиная с продукта слева, и затемотметьте крестиком код продукта, который для Васпредпочтительнее".

Продукт ххх

Продуктууу


Здесь испытателямпредстоит решить, какому продукту отдать предпочтение.

b) Вариант В:Испытатели отвечают на вопрос, предполагающий только одинответ.

"Попробуйте двапредставленных Вам продукта, начиная с продукта слева, и затемотметьте крестиком код продукта, который для Вас предпочтительное.Если продукты Вам нравятся в равной степени, поставьте крестик вклетку "предпочтения нет".

Продукт ххх

Предпочтениянет

Продуктууу


Для сравнения одной парыобразцов вариант А имеет преимущество большего потенциала дляпроверки различия, чем вариант В.

Ванкетах не должно содержаться вопросов, способных повлиять нарешение испытателей в пользу того или иного продукта или оценкупродуктов в отношении конкретных качественных характеристик.Например, если испытателей просят высказать замечания в отношениифлейвора продуктов, то испытателям следует сконцентрироватьсяименно на этом аспекте при оценке приемлемости.

Разрешается, в то жевремя, задать вопрос, допускающий неограниченное количествоответов, в конце испытания, давая испытателям возможностьпрокомментировать, какие продукты понравились и какие непонравились.

9.3.2 Планыпредставления образцов

Порядок представленияобразцов А и В должен уравновешиваться парами АВ и ВА одинаковочасто, предлагая их испытателям случайным образом.

9.4Метод ранжирования

9.4.1 Общиеположения

Методы ранжированияпроводят в соответствии с ISO 8587.

Принцип методаранжирования заключается в представлении нескольких образцоводновременно и просьбе отсортировать их в соответствующемпорядке.

Метод рангового порядкадовольно требователен к испытателю, и его сложность увеличивается счислом образцов для сравнения, поскольку испытатель долженпопробовать продукты несколько раз, чтобы отсортировать ирасположить их в соответствующем порядке.

Допускается задаватьпорядок испытания образцов (обычно слева направо) только дляпервоначальной оценки каждого образца испытателем. После этогоиспытателю позволяется пробовать образцы в любом порядке. Болеетого, нельзя задавать метод принятия решения испытателем вотношении порядка распределения.

Метод рангового порядкаможет быть выполнен либо с принудительным выбором, либо, позволяяиспытателю классифицировать два или более продуктов как равные. Вто же время анализ второго из этих вариантов не подпадает подданный стандарт.

9.4.2Анкетирование

Испытатели получаютзадание следующего типа:

"Необходимо попробоватьчетыре продукта, один за другим, начиная с продукта, расположенногов крайней левой позиции, и заканчивая продуктом, расположенным вкрайней правой позиции. Затем можно пробовать любой из продуктовеще раз, сколько требуется, чтобы составить о нем свое мнение.Затем, внесите коды продуктов по порядку от наименее понравившегосядо наиболее понравившегося"


Понравилсяменьше всех

Понравилсябольше всех

9.5Дополнительные вопросы

9.5.1 Общиеположения

Вдополнение к любому из описанных методов стороне-инициатору можетпонадобиться дополнительная информация, помогающая понять общуюоценку продуктов или характеристик испытателей. Например, набираяпотребителей из базы данных, лаборатории может потребоватьсяпроверка, что все испытатели выбраны действительно из целевойсовокупности. Для этого можно задать вопрос о конкретной привычкепотребления.

9.5.2 Вопросы опотребителях

Выбор вопросов и этапа,на котором их задавать, требует пристального вниманиялаборатории.

Если вопрос задаетсяпосле сессии, необходимо остерегаться, что на ответы могут повлиятьуже проведенные слепые испытания. Например, после испытания сначалатоматного соуса, а потом риса, испытатели могут скорее склониться кзаявлению, что в действительности они пробовали рис с соусом.

Сдругой стороны, вопросы, задаваемые до сессии, могут спровоцироватьиспытателей рассматривать продукты особым образом или уделитьособое внимание некоторым аспектам.

9.5.3 Вопросы опродуктах

Для этой цели можноиспользовать вопросы, предусматривающие один или неограниченноечисло ответов. Эти вопросы должны задаваться после всех вопросов,касающихся общей оценки и на листе (или экране), отличающемся отдругих, касающихся общей оценки, чтобы снизить риск, что испытателиответят таким образом, что их ответы окажутся единообразными.

Количество таких вопросовследует максимально сократить.

Примечания

1Дополнительные вопросы не предназначены ставить под сомнениерезультаты основной оценки. Если существует какое-либонесоответствие между общей оценкой и сообщением о намерениипотреблять (продукт), предполагается найти причину этого, возможнопосредством дополнительного испытания.

2Дополнительные вопросы часто дают мало сведений. Руководительлаборатории органолептической оценки должен информироватьсторону-инициатора о существовании методов (например, составлениекарт предпочтений или декомбинационный анализ), разработанныхспециально для комбинирования гедонических данных и данныхорганолептического профиля и для определения, почему испытателямнравится или не нравится продукт.

9.6Инструкции для испытателей


Инструкции могут бытьданы в письменной или устной форме. Их значение для соответствияполученных результатов нельзя недооценивать. Особое внимание должноуделяться инструкциям, они должны составить предмет конкретногораздела в отчете об испытании. Инструкции должны фокусироваться наследующем:

a) минимальные имаксимальные величины, которые каждый испытатель должен оценить довыставления оценки. Эти величины зависят от типа продукта, числапродуктов, оцененных в ходе сессии, и пожеланий стороны-инициатора.Лаборатория должна не только давать инструкции в отношенииминимальных и максимальных величин, но также должна определятьрабочий протокол, чтобы обеспечить выполнение этих инструкций;

b) что необходимо сделатьпосле заполнения опросного листа. При проведении последовательноймонадической оценки лаборатория должна использовать систему,которая не допускает, чтобы испытатели ссылались на ответы ранееоцененного продукта;

c) продолжительностьперерывов и любая деятельность во время этих перерывов (очисткарецепторов с помощью хлеба, яблока или воды, выход из помещения,где проводилась оценка, чтение журналов и т.д.);

d) формат и смыслзадаваемых вопросов.

Примечание - Формулировкавопросов не бывает нейтральной. Например, чтобы предложитьиспытателям возможность пояснения своей общей оценки продуктавнешним видом, запахом, вкусом, ароматом или причинами, связаннымис текстурой, ведет к повышению рациональности ответов, чем наличиепростого раздела: Замечания.


Лицо, проводящееиспытание, обычно дает испытателям в начале сессии информацию околичестве продуктов, количестве, которое необходимо попробовать ивопросах, на которые необходимо ответить. Он/она могут такжепредставить другую информацию, чтобы выполнить оценку менееобезличенную или чтобы выполнить другие задачи испытания. Посколькутакая информация может вызвать ожидания у испытателей, способ еевыражения должен тщательно рассматриваться и включаться дословно вотчет испытания. Там, где испытание включает несколько сессий, вкаждой сессии формулировки должны быть строго одинаковыми.

10Организация испытательных сессий

10.1Общие положения


Испытательные сессииорганизуют с целью достижения оптимального баланса среди рядазадач, требования которых в некоторой степени противоречат другдругу. Они включают обеспечение:

-чтобы сравнение продуктов было действительным, полученным отэквивалентных испытателей;

-чтобы сравнение продуктов было действительным, и необъективность засчет положения и за счет последовательности была минимальной;

-чтобы условия испытаний были максимально репрезентативными длянормального потребления;

-чтобы испытатели не были перегружены, что ведет к более случайнымответам.

Чтобы объединить этиразные задачи, существует три способа, которыми испытателей можносвязать с продуктами:

а) полный план:каждый испытатель оценивает все продукты:

b) неполный план:каждый испытатель оценивает подгруппу продуктов;

с) отдельнаяоценка: каждый испытатель оценивает только один продукт.

10.2Планы

10.2.1 Полныйплан

Оценивание всех продуктовгарантирует их оценку одними и теми же испытателями (поэтому нетпроблем эквивалентности), но несет огромный риск перегрузкииспытателей.

Существует такжеопасность эффектов порядка и переноса, в которых положение впоследовательности представления продукта влияет на среднее и илиизменчивость его оценки.

Порядок представленияпродуктов каждому испытателю играет значительную роль. Один способзаключается в использовании строго случайного порядка, распределяяобразцы независимо для каждого испытателя. Альтернативно, можнопринять систематический план представления, чтобы скомпенсироватьэффекты порядка и переноса. В то же время, если эффекты переносапредставляют проблему, тогда применение периодов отмывания илидругих методов снижения вероятности эффектов переноса обычнонаиболее важны.

10.2.2 Неполныйплан

Эффекты порядка и мерыпротив них аналогичны полным планам. Здесь опасность перегрузкииспытателей представляет меньшую опасность, но недостаткамиявляются возможные эффекты контекста и дополнительная сложность впланировании и анализе эксперимента. Особые проекты существуют длясбалансированных неполных планов (см. [9]).

10.2.3 Отдельнаяоценка

Чтобы устранить эффектыпорядка, переноса и контекста полностью можно набрать отдельнуювыборку потребителей на каждый продукт. Этот подход ведет кнаиболее простым методикам и наиболее простому анализу; в то жевремя, необходимо составлять выборки очень внимательно, чтобыобеспечить их эквивалентность и репрезентативность для целевойсовокупности.

Более того, посколькуэтот план делает невозможным учет в анализе индивидуальныхразличий, прецизионность оценок ниже, чем в других планах.Равноценно, при прочих равных условиях, выборки потребителей должныбыть больше, чтобы достичь той же степени доверия и прецизионностив результатах.

10.3Количество продуктов, оцениваемых за одну сессию

10.3.1 Общиеположения

Количество продуктов,которое можно оценить эффективно за одну сессию, зависит отследующего:

-характера представленных продуктов. Не все продукты обеспечиваютчувство сытости; некоторые продукты (агрессивные) могут изменитьчувствительные рецепторы; другие (такие, которые содержат спирт)могут повлиять на корковую интеграцию; некоторые продуктыпредставляют собой один элемент, в состав других (например, готовыеблюда) входят различные элементы;

-продолжительности сессии. Длительную лабораторную сессию можноподразделить на сеансы; но потребители, набранные без определенияна должность, обычно имеют очень мало времени в распоряжении;

-количества каждого потребленного продукта;

-чувств, задействованных для оценивания продукта (по внешнему видуили тактильным ощущениям можно оценить больше продуктов, чем повкусу);

-числа задаваемых вопросов, особенно, если какие-либо из них требуютпредставления продуктов заново.

Следовательно, настоящийстандарт не устанавливает конкретные пределы. Он требует только,чтобы лаборатория была способна обосновать свой выбор передстороной-инициатором.

10.3.2 Слишком многопродуктов для одной сессии

Там, где количествопродукции слишком велико, для всех позиций, которые предполагаетсяоценить в отдельной сессии, возможны два подхода:

а) организовать несколькосессий, при этом каждый испытатель примет участие во всех сессиях(полный план);

b) организовать однусессию, причем каждый испытатель получит только некоторые продукты(неполный план или отдельная оценка).

10.3.3 Несколькосессий

Если есть возможностьорганизовать несколько сессий, все испытатели могут оценить всепродукты в процессе всего испытания. В идеале, все продуктыпредставляют на каждой сессии, но не все испытатели в конкретнойсессии получают одинаковые продукты.

Если ограничения,связанные с подготовкой этих продуктов, или количество имеющихсяпродуктов сделают такой вариант невозможным, продукты распределяютслучайным образом по сессиям. Все испытатели получают за сессиюодинаковый набор продуктов, но в различном порядке. Такой выборобычно требует более сложного статистического анализа.

При возможности в началекаждой сессии следует представлять идентичный продукт (известныйкак "продукт для разминки") всем испытателям, так чтобы на каждойсессии все испытатели имели одинаковый "отправной пункт".

Водин и тот же день не допускается проведение двух сессий с участиемодних и тех же испытателей.

10.3.4 Отдельнаясессия

Сбалансированныйнеполноблочный план (В/В) позволяет при каждой сессиииспользовать меньшее число наименований, чем общее числонаименований, и сравнивать каждую пару образцов продуктов с равнойпрецизионностью. При возможности следует также исключить илискомпенсировать влияние порядка и переноса в испытании в целом.Такой выбор обычно требует большего числа испытателей и болеесложного анализа (см. [9]). На стадии планирования следуетпредусмотреть консультации специалистов в области статистики, еслитакой вариант рассматривается.

Метод применениясбалансированного неполноблочного плана должен выполняться всоответствии с ISO 29842.

10.4Характер продуктов, оцениваемых за одну сессию


Водной и той же сессии можно оценивать продукты из разных семейств,если выполняются следующие условия:

-сочетание продуктов соответствует установившейся практике в областипищевых продуктов;

-целевой потребитель для всех семейств один и тот же.

Потребителей, про которыхзаранее известно, что они не принадлежат к целевой совокупности вотношении рассматриваемого продукта, обычно не выбирают для оценкиэтого продукта.

Лаборатория должнаобеспечить конфиденциальность оценок, независимо от лиц,присутствующих на оценке. Сторона-инициатор при желании можетприсутствовать на сессии, но ей не сообщают имен других заказчиков,участвующих в сессии.

10.5Продолжительность сессии


Рекомендуетсяорганизовывать сессию во время, соответствующее обычномупотреблению продуктов, так чтобы потребители (испытатели)находились в условиях, близких к привычному в реальной жизни.

10.6Повторение оценки продукта в одном испытании


Если оценивание продуктанеобходимо повторить в том же самом испытании, считается, что числопродуктов увеличилось на единицу. Тогда план испытания будетвключать вместо продукта А продукты А1 и А2, ккоторым относятся как к двум разным продуктам, как при определениипорядка представления, так и для анализа результатов.

10.7Предварительное испытание


Перед основным испытаниемможно провести предварительное испытание только с небольшой группойиспытателей, чтобы:

-опробовать анкеты для проверки, например, насколько соответствующиеотличительные характеристики продукта понятны и воспринимаютсяиспытателями и насколько пригодны оценочные шкалы,

-опробовать приготовления к управлению испытанием,

-обеспечить соответствие продолжительности испытания, количествавопросов и объема выборки.

Испытатели напредварительные испытания должны выбираться из той же совокупности,что и на основное испытание, но не должны входить в выборкуиспытателей для основного испытания.

11Анализ результатов

11.1Общие положения


Каждый анализ данныхдолжен начинаться проверкой внутренней согласованности данных ирасчетами элементарной описательной статистики. Должен быть какминимум один параметр дисперсии (стандартное отклонение, диапазонизменчивости, и т.д.) для каждого параметра положения (среднее,медиана и т.д.), указанного в отчете.

Очень полезнопользоваться графическими методами. Для каждой выборки продуктовследует составить гистограмму поставленных оценок. Она покажет,является ли распределение одновершинным или нет и велики лирасхождения между выборками.

Чтобы получить визуальноепредставление о согласованности и противоречиях между испытателями,можно использовать Метод главных компонент [Principal ComponentsAnalysis (РСА)] или Восходящую иерархическую классификацию[Ascending Hierarchical Classification (АНС)].

Может потребоватьсядополнительная статистика вывода, чтобы ответить на вопросы, такиекак: "Ощущают ли испытатели заметное различие между продуктами,которые они оценивают?"

Можно использоватьпараметрические и не параметрические методы, причемнепараметрические методы особенно подходят в случае отсутствиянормальных распределений.

11.2Анализ выводов


Анализ выводовэкстраполирует результаты, полученные от выборки испытателей ксовокупности, из которой они набраны. Метод, который необходимоиспользовать, будет зависеть от цели испытания и от количестваиспытываемых продуктов. Если несколько из испытуемых продуктовимеют особый статус, являясь, например, контрольными образцами, этотоже повлияет на анализ.

Применение планапредставления продуктов с целью компенсации систематическихпогрешностей не устраняет систематические погрешности, нообеспечивает только, чтобы ни одному из продуктов при представлениине были несправедливо предоставлены более благоприятные или болееневыгодные условия. В то же время анализ выводов можетвоспользоваться систематическим планом, чтобы улучшить метод оценкии допуска систематических погрешностей и, таким образом, повыситьдоверие к основным выводам. Однако такой анализ, в общем, неявляется простым и прямым (см. [4] и [5]).

Стандартные компьютерныепакеты предоставляют все анализы, которые могут потребоваться, новыбор и применение соответствующего анализа требует консультаций соспециалистами в области статистики.

11.3Рейтинги (см. 9.2)


Для рейтинговых методовподойдет дисперсионный анализ (ANOVA).

Вприложении G описано несколько различных методов анализаданных.

11.4Парные сравнения (см. 9.3)


Если допускается ответиспытателей "предпочтений нет" в парном сравнении (вариант В),одним способом анализа данных является сообщение ряда ответов"предпочтений нет" и выполнение теста на значимость, которыйиспользует только предпочтения, которые были выражены. Для выборкиуменьшенного размера можно использовать такие же методы, как вслучае принудительного выбора. Эти методы приведены в ISO 5495.

11.5Ранжирование (см. 9.4)


Можно использоватьразличные анализы, касающиеся различных аспектов данных, которыеописаны в ISO 8587 (см. также приложение Н).

Можно использоватьпараметрические и непараметрические методы, при этомнепараметрические методы практичнее в тех случаях, когданормальность ответов не внушает доверия. Можно пользоватьсяметодами, приведенными в таблице 1.


Таблица 1 - Методы анализа данных

Ситуация

Метод

Непараметрический

Параметрический

Двапродукта

Продукты были оценены разнымигруппами испытателей

U-тест Манна-Уитни(Mann-Whitney's U-test) также известный как критерийУилкоксона-Манна-Уитни (Wilcoxon-Mann-Whitney test)

t-тест для независимыхвыборок

Каждый из продуктов был оцененвсеми испытателями

Знаковый (ранговый) критерийУилкоксона Wilcoxon signed-rank test

t-тест для парных выборок

Более двухпродуктов

Продукты были оценены разнымигруппами испытателей

Критерий Краскела-Уоллиса(Kruskal-Wallis test)

Дисперсионный анализ(ANOVA)

Каждый испытатель оценил неменее двух из этих продуктов, а в идеале, все продукты

Критерий Фридмана (Friedmann)(ANOVA по рантам), при необходимости в варианте для неполныхблоков

Дисперсионный анализ (ANOVA) сэффектом испытателя и эффектом продукта

12Отчет об испытании

12.1Общие положения


На первой странице отчетаможно разместить краткий обзор результатов и наиболее важныевыводы.

Отчет необходимосоставить так, чтобы он был понятен без ссылки на план испытания.Кроме того, рекомендуется, чтобы каждая таблица и диаграммарезультатов были пронумерованы и имели заголовок и емкое пояснение,чтобы можно было разобраться в нем самостоятельно.

Рекомендации, основанныена испытании и запрашиваемые стороной-инициатором, можно привести вразделе, названном "рекомендации" или в отдельном документе.

Вдополнение к результатам отчет может включать следующуюинформацию:

-название испытания и ссылки;

-даты проведения испытания;

-дата составления отчета;

-идентификация стороны-инициатора;

-полная идентификация лаборатории и ответственного за испытание лица(наряду с идентификацией субподрядчиков, если использовались);

-цель испытания (подведение итогов в соответствии с планомиспытания);

-процедуры получения доступа к необработанным данным длястороны-инициатора;

-единая идентификация отчета и каждой страницы, включая общее числостраниц;

-ссылка на настоящий стандарт.

12.2Продукты


Информация о продукциидолжна содержать следующее:

-описание продуктов, наряду с указанием полного или частичногосостава, если известно от испытательных лабораторий. (Описаниеможет сопровождаться фотографией каждого продукта);

-вся информация, предоставленная стороной-инициатором в отношенииобразцов, представленных на испытание;

-дата производства образцов, дата "годен до" или "использовать до",номер партии изготовителя или серийный номер;

-дата получения в лаборатории; температура, продолжительность иусловия хранения (особенно в случае свежих или замороженныхпродуктов);

-метод отбора проб, если отбор проб осуществлялся поставщиком услуг.(Если выбирают контрольные или референтные образцы, метод долженбыть описан очень точно);

-метод подготовки продуктов для оценки;

-температура продуктов при представлении испытателям;

-количество, предоставленное каждому испытателю, и инструкции,касающиеся минимального и максимального количества для испытания,включая протокол всех отклонений от инструкций;

-сопутствующие материалы или уничтожение;

-все другие продукты, оцененные во время сессии, и порядок ихпредставления на сессию.

12.3Метод испытания


Описание метода испытаниядолжно включать следующее:

-метод испытания со ссылкой на соответствующий стандарт или, вслучае нестандартизованных методов, с полным описанием;

-задаваемые вопросы и использованные шкалы ответов;

-метод сбора данных;

-рабочие процедуры для испытания;

-количество сессий и сеансов;

-даты, время и продолжительность сессий;

-условия окружающей среды, например, помещение, температура илиосвещение;

-использованная столовая посуда;

-инструкции и информация, предоставленные испытателям, и способпредставления: на бумаге, на экране или в устной форме.

12.4Испытатели (потребители)

12.4.1 Общиеположения

Информация об испытателяхдолжна включать следующее:

-описание целевой совокупности потребителей;

-описание выборки потребителей, включая объем и количество в каждойиз категорий, установленных стороной-инициатором;

-заявление о том, производился набор испытателей специально дляпоставленной задачи или из совокупности потребителей.

12.4.2 Набор подпоставленную задачу

Информация о наборедолжна включать следующее:

-место или метод набора;

-выполняемые процедуры;

-метод отбора подходящих потребителей.

12.4.3 Набор изимеющейся совокупности

Если набор выполняется изсовокупности потребителей, отчет должен включать следующее:

-описание частоты участия в испытаниях данной выборкойпотребителей;

-таблица с указанием всех семейств продуктов, которые былипредварительно оценены членами этой совокупности;

-таблица с указанием частоты участия в предварительных испытаниях,включающих оцениваемый продукт или семейство продуктов, к которомурассматриваемый продукт принадлежит.

Вся информация,требующаяся в данном подразделе, относится к предшествующим 12 мес.Если частота участия равна нулю для всех потребителей, этоединственный факт, который требуется внести в отчет.

12.5Результаты


Результаты испытанийдолжны включать следующее:

-указание о предоставлении необработанных данных и описание ихпредоставления. Краткое описание необработанных данных с помощьютаблиц и графиков;

-численные сводки о результатах, включая прецизионность и все оценкиили средние значения;

-методы, используемые для анализа, и интерпретации результатов;

-статистические выводы, сделанные на основе результатов;

-заключения по результатам со ссылкой на цели испытания.

12.6Приложения к отчету


Следующая дополнительнаяинформация может быть приложена в форме приложений к отчету:

образец анкеты или формадля внесения ответов, использованная в испытании;

образец анкеты,использованной для набора потребителей;

стенограммы ответов налюбые открытые вопросы (допускающие неограниченное количествоответов).

Приложение А (справочное). Пример анкеты для набора участников

Приложение А
(справочное)

N

Проектконкретного интервью XY 04/05

Фильтр

Код

1

Здравствуйте.Сегодня мы проводим анализ и просим Вас ответить на нескольковопросов. Принимали Вы когда-нибудь участие в опросе с цельюизучения рынка?

Да

1

2

Нет

2

3

2

Когда Выпоследний раз принимали участие в испытании?

3

Информациядля интервьюера: ЕСЛИ ЭТО БЫЛО МЕНЕЕ ПОЛУГОДАНАЗАД КОНЕЦ; В ДРУГОМВАРИАНТЕ ПРОДОЛЖАЮТ С ВОПРОСА 3

3

Работали Вы,Ваши друзья или родственники в одной из следующих отраслейпромышленности?

Информация для интервьюера: ПРЕДОСТАВИТЬ ПЕРЕЧЕНЬ"ОТРАСЛЕЙ"

Отрасль 1

1

4

Отрасль 2

2

4