Помощничек
Главная | Обратная связь


Археология
Архитектура
Астрономия
Аудит
Биология
Ботаника
Бухгалтерский учёт
Войное дело
Генетика
География
Геология
Дизайн
Искусство
История
Кино
Кулинария
Культура
Литература
Математика
Медицина
Металлургия
Мифология
Музыка
Психология
Религия
Спорт
Строительство
Техника
Транспорт
Туризм
Усадьба
Физика
Фотография
Химия
Экология
Электричество
Электроника
Энергетика

Тема: Экспертный опрос в социологическом исследовании

Вступление 1. Специфика экспертного опроса 2. Структура и функции экспертного опроса 3. Область применения экспертного опроса Заключение Основная литература:1. Аванесов В.С., Маслин А.А., Минасьян С.Г., Чередниченко В.В. Методические проблемы измерения и прогнозирования художественно-эстетической потребности.2. Батыгин Г.С. Опыт построения типологии социальных показателей образа жизни. Социологические исследования. – 1977. – №2.3. Гардон Л.А., Чертихина Э.С. Экспертная оценка гипотез при изучении перспектив развития образа жизни. Социологические исследования. – 1983.4. Докторов Б.З. Экспертный опрос как метод изучения общественного мнения. – 1975.

5. Сурмин Ю. Методология и методы социологических исследований. – К.: МАУП, 2000.

6. Рабочая книга социолога / Под общ. ред. и с предисл. Г.В. Осипова. Изд. 3-е. М.: Едиторал УРСС, 2003.

7. Чередниченко В.В. Применение экспертных оценок в социологических исследованиях. Социологические исследования. – 1981. №38. Ядов В.А. Социологическое исследование: методология, программа, методы. – М., 1987.

9. Ядов В.А. Стратегия социологического исследования / Описание, объяснение, понимание социальной реальности. – М.: Добросвет, 1998.

ВступлениеВ последнее время в качестве одного из методов сбора социальной информации широко применяется метод экспертных оценок. Практическое значение он нашел в ряде областей. На государственном уровне – при подготовке важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития общества и государства. В различных отраслях, ведомствах и на предприятиях в последнее время стали действовать постоянные или временные экспертные комиссии, связанные с оценкой качества продукции, выбором перспективной техники, с проведением профессиональной аттестации кадров и т.д. В данной лекции мы постараемся раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.Специфика экспертного опроса. В современной методологической литературе указывают, как правило, на существование трех основных методов сбора первичной социологической информации. К ним относят метод наблюдения, метод анализа документов и метод опроса.Из всех перечисленных социологических методов в настоящее время наиболее популярен опрос. Его специфика, как мы с вами уже рассматривали, состоит, прежде всего в том, что источником первичной социологической информации является человек (респондент) как непосредственный участник исследуемых социальных процессов и явлений. В основе опросного метода лежит совокупность предлагаемых опрашиваемым вопросов, ответы на которые и образуют первичную информацию. Обычно выделяют два больших класса опросных методов - анкетирование и интервьюирование, связанные с письменной или устной формой общения с респондентами. Существует, однако, еще одно специфическое подразделение опросов, которое далеко не всегда учитывается при проведении социологического исследования. Оно настолько важно, что его следует рассматривать особо. Речь идет об обособлении массового и экспертного опросов.Опросы этих двух видов, как правило, включаются в исследование для решения различных задач. Целью массового опроса является получение информации о знаниях, мнениях, ценностных ориентациях и установках респондентов, отражающих их отношение к определенным событиям, явлениям действительности. Цель экспертного опроса заключается в получении информации о самих событиях и явлениях действительности, отраженных в знаниях, мнениях и оценках респондентов. Подобная информация может исходить только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования. Опросы компетентных лиц именуются экспертными, а результаты опроса - экспертными оценками.Наиболее наглядно проявляется отличие экспертного опроса от массового в прогнозировании.Так, например, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В программе, прежде всего, формулируется подлежащее прогнозу явление и предусматриваются в виде гипотез возможные варианты его исследования. В соответствии со степенью разработанности гипотез, знания направлений прогноза в инструментарий исследования включаются те или иные виды вопросов: · Если исследователь располагает информацией лишь о возможных вариантах заключения по прогнозируемому явлению и затрудняется однозначно сформулировать причины прогноза, то предпочтительней в анкете эксперта использовать открытые вопросы с полной свободой выбора формы ответа экспертом. · Если исследователь располагает приемлемыми предположениями о причинах прогноза по исследуемому явлению, то он сам может сформулировать прогностические гипотезы. Такие гипотезы в виде утверждений составляют основу формализации анкеты эксперта.Основной инструментарий экспертных опросов - анкета или бланк-интервью, разработанные по специальной программе. При составлении инструментария экспертных опросов некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение. Экспертный опрос предполагает работу с такой специфической аудиторией, как эксперты. Например, при составлении анкеты эксперта или бланка интервью нет никакой нужды применять косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции эксперта как респондента. Использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт – активный участник научного исследования, и попытка скрыть от него цель исследования, превратив, таким образом в пассивный источник информации, чревата потерей его доверия к организаторам исследования. Следовательно, ориентация опроса на экспертный или массовый должна гарантироваться: во-первых, формулировкой вопросов; во-вторых, инструкцией интервьюеру;в-третьих, контролироваться при кодировке вопросов и вариантов ответов на вопросы. Таким образом, в зависимости от того, какая ориентация опроса признана основной, зависит и включение получаемой информации в схему обработки и анализа. В противном случае в рамках одного опроса можно получить разнохарактерную информацию, не приводимую к одному основанию. Ориентация на массовый или экспертный опрос существенно влияет на надежность полученной информации, в особенности если она носит оценочный характер. Структура и функции экспертного опроса.В теории социологии считается, что если социолог имеет дело с массовыми опросами, а не с опросами экспертов, то, как правило, необоснованные оценки при фактической осведомленности о данном предмете столь же «надежны», как и обоснованны. В этом случае, проверка компетентности опрашиваемого сводится к тому, чтобы уяснить, известны ли респонденту оцениваемые события. Такая ситуация возникает обычно при опросе общественного мнения. Оно может быть любым: справедливым и объективным, несправедливым и ошибочным с точки зрения непредвзятого и серьезного анализа проблемы. Однако знание о мнении и оценках общественности, какими бы ни были эти мнения и оценки, - это объективная и достоверная информация: · во-первых, если опрашиваются люди, знакомые с тем, о чем их спрашивают, · во-вторых, если носители информации постоянно сталкиваются с данными событиями и фактами в своей повседневной жизни.Иначе обстоит дело, если проводится экспертный опрос, где опрашиваемые - специалисты, и их компетентность не должна вызывать сомнений у исследователя. В этом случае важна не только объективно обусловленная возможность респондента судить по данному предмету, но и реальная способность высказать обоснованное мнение. Поэтому для экспертных опросов тщательным образом отбирают только тех, кто вполне заслуживает статуса компетентного лица в данной области. Например, экспертный опрос в сфере организации досуга может охватить ответственных работников отделов культуры народных советов, клубных работников, актив общественных организаций, а экспертизу по проблемам организации труда следует, конечно, осуществлять с помощью специалистов совершенно иного профиля. Основные функции экспертного опроса в социологии связаны с: · оцениванием социального качества общественных систем и их элементов; · вариантов социально значимых решений; · достоверности данных (в том числе полученных в ходе массового опроса);· социальных последствий реализации проектов и рекомендаций;· прогнозированием общественных процессов;· аттестацией коллектива и его членов и т.д.Однако социологические функции экспертного опроса не сводятся лишь к решению перечисленных задач. Считается, что потенциальные возможности экспертов можно использовать практически на всех этапах социологического исследования. Законченное социологическое исследование включает в себя, как известно, четыре основных этапа: · разработку программы исследования; · полевой этап; · этап сбора информации; · этап обработки и анализа результатов. Каждый из этих этапов в свою очередь распадается на более мелкие элементы. Так, в программе должны быть представлены методологический и процедурный разделы со своими элементами.При подготовке методологического раздела программы, как правило, применяются очные методы опроса экспертов потому, что формулировка и обоснование проблемы, определение целей и задач, предмета и объекта исследования требуют как можно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов-экспертов. Например, рекомендуется на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез. Поскольку при подготовке методологического раздела программы помощь специалистов состоит, прежде всего, в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.Процедурный раздел программы - наиболее сложная и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо: · подобрать эмпирические соответствия понятиям, на основе которых строится концептуальная схема объекта; · провести их операциональную интерпретацию; · сформулировать систему рабочих гипотез и наметить процедуры их проверки; · воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории; · если это возможно, то построить шкалы для измерения эмпирических величин показателей; · провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя и его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции. 1. При эмпирической операционализации понятий основная задача состоит в достижении согласованного мнения по поводу явлений реальной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как возможно установить степень общественной активности респондента? Наиболее эффективным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями («отнесенной оценки»). Например, в исследовании социальных потребностей молодежи этот метод может использоваться для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов по данной проблеме позволяет установить эмпирические понятия, по которым можно судить, проявляются ли у респондентов изучаемые потребности. Полученное операциональное определение эстетической потребности, может явиться в дальнейшем основой для разработки измерительной шкалы.2. Выдвижение рабочих гипотез- многоступенчатый процесс логического вывода: от теоретических положений концептуальной модели к эмпирически проверяемым суждениям. И этот процесс может быть интенсифицирован коллективной работой экспертов. Наибольший эффект достигается применением методов обмена мнениями и стимулированного наблюдения.3. Разработка методики сбора информации, предназначенной для проверки гипотез,включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов могут применяться для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.Построение с помощью экспертных оценок шкалы - одна из двух возможных процедур измерения активности фона наряду с математико-статистической обработкой данных.При рассмотрении роли экспертного метода в разработке методики сбора информации необходимо подчеркнуть также тот факт, что шкалы высшего для социологического измерения типа - интервальные - строятся исключительно на основе экспертных оценок в технике парных сравнений (шкала Терстоуна), равных интервалов и последовательных категорий. Работа с экспертами широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы.Различные процедуры с использованием экспертных оценок все чаще применяются при разработке методике ГОЛ (групповой оценки личности). В качестве примера можно привести исследование, проведенное социологической лабораторией Киевского университета, при составлении банка шкал для измерения творческой активности был использован один из вариантов экспертного опроса, разработанный в рамках подхода к изучению частоты поступков.На первом этапе процедура состояла в том, что группе экспертов (21 человек) требовалось указать личностные свойства и поступки своих знакомых и друзей, которых, по их мнению, можно назвать творчески активными личностями. Эти черты и поступки должны были служить примером проявления творческой активности или отражать ее наличие у данного человека. На втором этапе группе экспертов (31 человек) предлагалось оценить по полученному списку качеств известных им творчески активных людей, используя следующую шкалу: 5 - качество, присущее полностью; 4 - присуще отчасти; 3 - выражено очень слабо; 2 - отсутствует полностью. Кроме того, эксперты могли указать на неприменимость качества для оценки конкретного человека или на отсутствие достаточных знаний о его проявлении. Полученные ретроспективные оценки усреднялись, что давало возможность вычленить те качества личности, по которым наблюдалась высокая согласованность мнений экспертов.На третьем этапе исследования экспертам было предложено из списка качеств отобрать такой необходимый и достаточный их под-набор, который, по их мнению, наилучшим образом характеризует творческую активность личности. Чаще всего (более чем в 50% случаев) назывались следующие качества: · наличие собственного взгляда на вещи; · разносторонность интересов; · критическое отношение к себе; · упорство и целеустремленность; · способность оставить след в духовном мире другого человека; · постоянная готовность дойти до самой сути события; · постоянное переосмысление уже известного; · целостность личности; · постоянное самообразование; · способность пожертвовать отдыхом ради работы и др.На четвертом этапе после того, как методические документы были подготовлены, они должны пройти стадию логической проверки и практического апробирования - то есть пилотаж. Перед социологами встала задача: · определить, насколько методика соответствует целям исследования; · позволяет ли она проверить выдвинутые рабочие гипотезы; · направлена ли она именно на тот аспект предмета исследования, которого касаются гипотезы. (Например, измеряет ли шкала потребностей в общественно-политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьеристских целей и т.п.) Проверка готовой методики на надежность, устойчивость и обоснованность выполняется параллельно двумя способами: во-первых, с помощью логического анализа; во-вторых, с помощью пробного использования ее на микровыборке - пилотаже. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу подготовленных методик (свободное интервью, реже – «мозговая атака» и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов.В процессе пилотажа методик применение экспертных методов ограничено, поскольку здесь подготовленные и логически проверенные документы проходят практическую апробацию. Однако и тут возможно привлечение экспертов: во-первых, для определения численности и состава пилотажных групп; во-вторых, для обсуждения, итогов пилотажа и внесения исправлений и дополнений в документы. Однако наиболее эффективен здесь обмен мнениями. В упомянутом исследовании по изучению и прогнозированию социальных потребностей молодежи экспертный метод применялся для проверки на обоснованность подготовленного опросника. В соответствии с требованиями метода «известной группы» по установленной на одной из сессий «мозговых атак» выборке были определены две группы респондентов - с высоким и низким уровнем изучаемой художественно-эстетической потребности.4. Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике социологических исследований.5. Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей: · отбора единиц наблюдения; · сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь открываются широкие возможности применения экспертных методов. Очень часто оказывается: ту информацию, которая собирается в ходе массового анкетного опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Например, при изучении социальной активности в различных ее формах (трудовой, общественно-политической, познавательной, творческой и т.д.), а также дисциплинированности и ответственности, экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.Область применения экспертных опросов Экспертный опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований. Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения.Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения, могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам. Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме, постольку статусом эксперта здесь могут быть (при известных ограничениях) наделены: во-первых,специалисты, занимающиеся исследование различных аспектов этой проблемы (проблемы общественного мнения); во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества (законодательных, исполнительных, юридических); в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления суждений профессионального, специализированного сознания и сознания массового. Поскольку первые выступают в качестве эталона рационалистического, научного отношения к проблеме, постольку степень близости ответов населения к реакциям экспертов служит индикатором компетентности, развитости общественного мнения.Например, экспертные оценки были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей ряда театров, входящих в систему Министерства культуры. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.Поскольку социально-культурные цели театра достигаются при ограничениях, заданных финансовым планом, постольку существует два вида его деятельности: · художественно-творческая; · производственно-экономическая. Первой (художественно-творческой) руководит главный режиссер, главный художник, режиссеры-постановщики, помощники главного режиссера по литературной части и по труппе. Второй (производственно-экономической) - директор, его заместители, заведующий художественно-постановочной частью. Первая группа именовалась художественными, а вторая - административными руководителями.В восемнадцати театрах было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. Группа «художественных» руководителей была представлена 48, а группа «административных» - 37 респондентами.Эксперты - участники опроса - высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы создания театральных объединений и др.На третьем этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение на данном этапе имеет определение оптимальной стратегии обработки данных. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективны в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями. На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях «обмен мнениями». Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод «обмена мнениями» («отнесенной оценки»). Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического исследования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, · что в этой модели соответствует эмпирической действительности, что - нет, · в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: «мозговая атака» и «обмен мнениями».Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально прогностические задачи. Роль экспертов в прогнозировании трудно переоценить. Причем на этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются «стимулирование наблюдения», формализованный опрос, шкалированные оценки, «метод Дельфи».Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. В котором нужно определить: · выполнены ли поставленные перед исследованием задачи и насколько полно; · какие из них решены, а какие нет;· рассмотреть причины, по которым некоторые задачи остались нерешенными;· показать, какой вклад исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения;· сформулировать практические рекомендации по управлению изучавшимися социальными процессами.На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии.Следовательно, экспертный опрос наряду с массовым представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются: · задач, для решения которых он используется;· функций выполняемых в социологическом исследовании;· технических и методических приемов подготовки инструментария и проведения опроса;· кодировки вопросов;· включения получаемой информации в схему обработки и анализа;· постановки проблемы достоверности и репрезентативности и т.п.Функции экспертного метода в социологическом исследовании не сводятся лишь к получению первичной социологической информации. Как показывает теоретический анализ и практические результаты, эксперты могут использоваться практически на каждом этапе организации и проведения социологического исследования. ЗаключениеЭкспертный опрос (очный и заочный, одноразовый и итерактивный) имеет ряд принципиальных отличий от традиционно применяемого в социологии опроса массового. Эти два подразделения опросного метода при включении в исследование служат для решения различных задач, что должно находить отражение в содержании программы, инструментарии (формулировке обращения, вопросов, инструкций, кодировке ответов), способе отбора респондентов, определении надежности полученной информации, методе ее количественной обработки и анализа. Несоблюдение правил включения двух различных модификаций опроса в структуру исследования может привести к получению разнохарактерной информации, неприводимой к одному основанию.



©2015 studenchik.ru Все права принадлежат авторам размещенных материалов.