ГЛАВА 2. ПРОБЛЕМА ПОВЫШЕНИЯ КАЧЕСТВА НАУЧНОЙ ЭКСПЕРТИЗЫ

Критерии качества научной экспертизы квалификационных исследований определяют эталон современного научного знания. Качество проведения научной экспертизы имеет настолько большое значение, что если не обращать на это внимания, то, как показывает практика, бесполезно вообще предъявлять требования к повышению методологической подготовки молодых исследователей и результативности проведения научных исследований. В последние годы об этом стали говорить многие ученые: «Стремительный рост числа защит заставляет задуматься над поиском таких критериев, которые могли бы позволить объективно оценивать качество проводимых исследований» [106, С. 34].

В связи с вышесказанным мы нашли в документах Высшей аттестационной комиссии Министерства образования Российской Федерации следующее требование: «Считать важнейшей задачей диссертационных советов, экспертных советов и Департамента государственной аттестации научных и научно-педагогических работников в 2002 г. дальнейшее повышение требовательности к экспертизе диссертаций, в первую очередь, по отраслям гуманитарных и общественных наук» [94, С. 17]. Из этого следует, что необходимо различать требования, предъявляемые к качеству диссертационных исследований и требования, предъявляемые к качеству их научной экспертизы.

Под экспертизой качества диссертационных исследований понимается выявление соответствия специально подготовленной рукописи диссертации и автореферата, опубликованной монографии или научного доклада требованиям, сформулированным в Положении о порядке присуждения ученых степеней (Утверждено постановлением Правительства РФ от 30.01.2002 г. №74).

Всякая экспертиза неизбежно порождает две основные задачи: оценка качества экспертного заключения; повышение качества этого заключения. Задача повышения качества неизбежно упирается в вопрос о достаточности имеющихся средств для организации полноценной экспертизы. В педагогике, например, всегда будет открытой проблема полноты экспертного анализа постольку, поскольку экспертиза в любой гуманитарной науке сталкивается с трудностью формализации, необходимой для ее решения. Исследователи [36, С. 3] отмечают, что анализ слабо структурированных проблем протекает в разговорном языке в качественных суждениях, а окончательный вариант решения принимается с опорой в большой степени на мнения экспертов, чем на объективные данные.

Эксперт – это знаток своего дела, узкий специалист, его решение в каждом конкретном случае имеет гораздо больший вес, нежели мнение толпы непосвященных. Эксперт – это в первую очередь аналитик. К уровню профессиональной подготовки эксперта предъявляются большие требования: он должен знать современные научные концепции, а также быть компетентным в области истории и философии науки; он, как специалист высокой квалификации, должен уметь оценивать степень новизны и эффективности авторских материалов молодого исследователя.

Следует заметить, что пока существуют эксперты, обязательно будет существовать проблема основания для их подбора, определения степени их компетентности и моральной зрелости, ибо основные проблемы подбора экспертов связаны, во-первых, с недостаточной их компетентностью и, во-вторых, с безнравственной позицией специалистов. И то, и другое ведет к снижению планки требовательности.

Основной функцией каждого эксперта является подготовка объективного заключения, под чем понимается выражение оценочного суждения, сформулированного либо в количественной, либо в качественной форме. Объективность экспертизы, экспертной оценки является одним из основных методологических требований, но в гуманитарной сфере знаний субъективное мнение эксперта – почти непреодолимый фактор.

А какими должны быть экспертные оценки? Вопрос отнюдь не праздный. Качественная экспертиза ценности диссертационного исследования предполагает определение научного вклада, в основном научной новизны, полученной в результате проведенного исследования, однако основной парадокс научной экспертизы можно сформулировать следующим образом: как оценить научную новизну того, что неизвестно, а если анализируемый результат уже был известен и раньше, то в чем его новизна? Именно поэтому в процессе рассмотрения нетрадиционных, пионерских работ оценки экспертов диаметрально расходятся: от восторженных отзывов до абсолютного неприятия.

Оценка – высказывание, в зависимости от контекста устанавливающее абсолютную или сравнительную ценность какого-то объекта. Оценка включает следующие структурные компоненты: субъект оценки – лицо, приписывающее ценность некоторому объекту; предмет оценки – объект которому приписывается ценность, или объекты, ценности которых сопоставляются; характер оценки – абсолютная и сравнительная; основание оценки – то, с точки зрения чего происходит оценивание. Без любой из перечисленных частей оценки не существует, хотя не каждая из них может быть выражена в оценочном высказывании в явном виде.

Во втором разделе уже указывалось, что оценочное высказывание можно противопоставить описательному (дескриптивному) высказыванию, потому что оценка выражает ценностное отношение утверждения к объекту, а описание – истинностное отношение. В истинном отношении отправной точкой между утверждением и объектом является последний; в ценностном отношении исходным является утверждение, представляющее образец, стандарт, соответствие объекта представленному эталону характеризуется в оценочных понятиях. Позитивно ценным является объект, отвечающий предъявляемым к нему требованиям.

Оценка не может быть ни истинной, ни ложной, так как не является описанием, а истина, как известно, характеризует отношение между описательным высказыванием и действительностью. Оценки могут быть охарактеризованы, как целесообразные, эффективные, разумные, обоснованные и т.п., но не как истинные или ложные.

Между истиной и оценкой всегда есть различие. Слово «истинный» применяется только применительно к высказываниям, а слово «хороший» многофункционально. Например: «Результаты проведенного научного исследования, полученные впервые и подтвержденные практикой, характеризуются научной новизной» – это высказывание может быть либо истинным, либо ложным. А теперь сравним ряд других высказываний: «Хорошо, что наша молодежь идет в науку!»– эта оценка говорит о соответствии ситуации какому-то явно не указанному представлению; «Хороший специалист – компетентный» – в этом высказывании отмечается один из важнейших признаков «настоящего» специалиста; «Эта диссертация хорошая» – оценка, основывающаяся на образцовом представлении о диссертациях.

Экспертные оценки могут быть обоснованные (эффективные) и интуитивные (наивные). Научная экспертиза диссертационных исследований по социогуманитарным дисциплинам подчас принимает вид интуитивного гадания. Примерно об этом же пишет «Учительская газета»: «Владимир Петрович Зинченко, когда он возглавлял лет семь назад Экспертный совет ВАКа, выдвинул такую шутливую формулу: человек должен быть хотя бы внешне похож на профессора» [24, С. 19]. Полонский В.М. отмечает, что «для определения новизны результатов завершенных работ обычно используется экспертный метод, однако при возрастающем числе работ и широте их тематики ни один эксперт не может быть в курсе всех достижений науки даже в своей области, поэтому экспертные оценки противоречивы и не всегда соответствуют действительности» [81, С. 20]. Эту же позицию выражает Климов Е.А., также в свое время возглавлявший экспертный совет по педагогике и психологии: «Следует признать, что у экспертного совета по педагогике и психологии ВАК Минобразования России возникают специфические трудности при оценке диссертаций. Одна из них состоит в том, что эксперты могут невольно навязывать свои привычные ожидания, представления по поводу очередной оцениваемой диссертации» [35, С. 23]. Мимо этой особенности не смог пройти Загузов Н.И., на протяжении ряда лет работавший в аппарате отдела гуманитарных наук ВАК: «Как правило, в своей работе эксперты опираются на свой опыт, интуицию и знания проблем, которыми они занимаются, а также на коллективные знания всего экспертного совета» [28, С. 92]. Наконец, каждый читатель сам может вспомнить различные примеры, когда диссертант благополучно проходил предварительные этапы экспертизы, при хвалебных отзывах всех оппонентов блестяще защищался на диссертационном совете, но получал «черные шары» в ВАКе. Все это наглядно демонстрирует, что проблема обоснования оценки влечет за собой проблему низкого качества научной экспертизы диссертационных исследований по отраслям социогуманитарных наук.

Обоснование оценок – приведение доводов в поддержку высказываемых оценок с намерением убедить аудиторию в их приемлемости. Например, в качестве аргумента в поддержку оценки «Хорошо, когда ученый критичен» можно сослаться на утверждение «Наука, продвигаемая некритично мыслящими учеными, обязательно завязнет в противоречиях».

Способы обоснования, или аргументации делятся на универсальные и контекстуальные. Универсальные характеризуются тем, что применимы ко всякой аудитории, они могут быть эмпирическими, ссылающимися на данные опыта, и теоретическими, опирающимися главным образом на рассуждения. Эмпирическое обоснование оценок строго говоря невозможно ссылками на непосредственный опыт. Оценки можно обосновывать квазиэмпирическими способами, а именно: индуктивными рассуждениями, в их числе неполная индукция, аналогия, ссылка на образец, целевое обоснование (подтверждение), истолкование акта понимания как индуктивного свидетельства в пользу его посылок и др.

Самым простым и самым ненадежным способом индуктивного обоснования оценок является неполная (популярная) индукция. Ее общая схема:

S1 должно быть P.

S2 должно быть P.

Sn должно быть P.

S1, S2, …, Sn – все являются S.

Все S должны быть Р.

Здесь первые n посылок являются оценками, последняя посылка представляет собой описательное утверждение; заключение является оценкой. Например:

Эйнштейн был компетентным и творческим.

Менделеев был компетентным и творческим.

Дьюи был компетентным и творческим.

Эйнштейн, Менделеев и Дьюи были учеными.

Каждый ученый должен быть компетентным и творческим.

Популярным способом индуктивной аргументации в поддержку оценок является аналогия, которая делается по следующей схеме:

Предмет А имеет признаки a, b, c и является позитивно (негативно, нейтрально) ценным.

Предмет В имеет признаки a, b, c.

Предмет В также является, вероятно, позитивно (негативно, нейтрально) ценным.

В этом рассуждении на основании сходства двух предметов, из которых один имеет определенную ценность, делается вывод о том, что и второй предмет обладает такой же ценностью. Например: «Диссертация А – методологической направленности, написана хорошим языком, имеющая логичную структуру, заслуживает похвалы; диссертация B также посвящена проблемам методологии, написана хорошим языком и имеет логичную структуру; значит, диссертация B, по-видимому, заслуживает похвалы».

Часто аналогия с оценочной посылкой предстает в форме: «Предмет А имеет свойства a, b, c и должен быть d; предмет В обладает свойствами a, b, c; значит предмет В, вероятно, должен быть d». Например: «Качественно проведенное диссертационное исследование по педагогике соответствует современным методологическим требованиям теоретической и практической значимости, актуальности и должно обладать научной новизной. Качественно проведенное дипломное исследование по педагогике соответствует современным методологическим требованиям теоретической и практической значимости, актуальности и, вероятно, должно обладать научной новизной».

Часто при обосновании оценок прибегают к приему апелляция к образцу, т.е. ссылаются на то, как поступают отдельные лица или группа лиц, которым надлежит следовать.

Одним из важнейших способов обоснования оценок является целевое обоснование оценок, которое также называют мотивационным, или телеологическим.

Способы теоретического обоснования оценок включают дедуктивное обоснование, методологическое обоснование и др. Теоретическая аргументация оценочных утверждений во многом параллельна теоретическому обоснованию описательных утверждений.

Методологическая аргументация в обосновании оценок заключается в ссылке на то, что оценка получена с помощью метода, уже неоднократно продемонстрировавшего свою надежность.

Особую роль в обосновании оценок и оценочных утверждений играют контекстуальные способы обоснования, включающие аргументы обращенные к интуиции, традиции, здравому смыслу, вкусу и др.

Новое научное знание, представляемое в диссертации, должно быть обоснованным. Эксперт должен оценить обоснованность при помощи эмпирических, логических и экстралогических критериев.

В качестве эмпирических критериев научности выделяются фальсифицируемость и верифицируемость. Процедура фальсификации предполагает принципиальную опровергаемость гипотезы, то есть только та теория считается научной, которая является принципиально фальсифицируемой, иначе говоря, любая теория, предполагающая вечную истинность и неопровержимость, будет считаться вне науки, то есть она может существовать так или иначе, допустим, в рамках религии или искусства, но только не в науке. Процедура верификации предполагает эмпирическое подтверждение гипотезы, об этом же пишет Чудинов Э.М.: «Научная истина связана не просто с теорией, но с такой теорией, которая в принципе допускает эмпирическую проверку. Принципиальная проверяемость отличает научную истину от спекулятивных построений» [110, С. 61]. Именно с целью эмпирической обоснованности теории в диссертационных исследованиях по социогуманитарным наукам проводится эксперимент. Однако эксперимент не всегда может считаться достаточным основанием для того, чтобы социогуманитарная теория могла быть признана истинной. Во-первых, может оказаться, что методика эксперимента мало продумана в том смысле, что не учтено влияние посторонних факторов, которые не отдифференцированы от исследуемого явления. Во-вторых, могут быть ошибочными и измерения экспериментального эффекта. В-третьих, результаты эксперимента могут быть неправильно интерпретированными. Каждый перечисленный фактор в отдельности может привести к тому, что эксперимент лишится доказательной силы по отношению к истинной теории.

К логическим критериям научности относятся непротиворечивость, полнота, объективность и истинность научного знания, а также причинно-следственная связность, рациональность, воспроизводимость, интерсубъективность и т.п.

К экстралогическим критериям в науке ученые [30, С. 68] относят простоту, красоту, эвристичность, конструктивность, нетривиальность, информативность, концептуальную и когерентную обоснованность, оптимальность, прагматичность и т.п., то есть такие приемы опосредованного сопоставления научно-теоретических продуктов с действительностью, которые отражают гармонию между теоретическими построениями и законами природы.

В обязанности любого эксперта входит проведение работы над выявлением смысловых погрешностей текста путем сличения автореферата с диссертацией. В процессе реферирования текста информация может быть либо избыточной, либо недостаточной, что является одинаково неприемлемым. Избыточность является свойством информации, она связана, с одной стороны, с новизной и старением, с другой стороны, с уровнем подготовленности потребителя к восприятию, с эрудицией реципиента. Некоторая доля избыточной информации сознательно вводится с целью облегчения восприятия нового через известное, такая избыточность необходима и оправдана. Известная информация служит фундаментом для развития новой идеи, обоснования и доказательства новых истин, но как только избыточность становится чрезмерной, сообщение теряет информативность, текст становится тривиальным.

Эксперт, ознакомившись с авторефератом и диссертацией, должен сделать следующее: проанализировать формулировки основных категорий методологического аппарата, согласиться или не согласиться по каждому заявленному пункту в отдельности (предмет и объект, цель и задачи, гипотеза, новизна защищаемых положений и др.); сравнить материал, нет ли в нём внутренних противоречий; сопоставить рецензируемый материал, нет ли внешних противоречий с общепризнанными законами, с существующими методологическими требованиями, предъявляемыми к диссертационным исследованиям; сделать вывод о соответствии Положению о порядке присуждения ученых степеней.

В процессе защиты диссертации экспертной оценке подвергается, с одной стороны, письменный текст, а с другой стороны, устное выступление, ответы на вопросы. В том случае, когда обнаруживается отсутствие корреляции качества текста с устными ответами соискателя, только тогда защиту можно считать проваленной.

Можно указать разные критерии оценки устных ответов, однако необходимо отметить, что они в принципе соответствуют тем, по которым оценивается устный ответ школьника, в их числе Симонов В.П. [99, С. 35] выделяет следующие: отсутствие фактических ошибок в содержании ответа; полнота и глубина ответа; понимание материала; логика изложения материала; рациональность использованных приемов и способов решения поставленной задачи; своевременность и эффективность использования наглядных пособий и технических средств; использование дополнительного материала; рациональное использование времени.

Следует подчеркнуть, что качество экспертного заключения зависит в наибольшей степени от сбора и обработки информации. Слабо структурированные проблемы, присущие научным исследованиям в сфере социогуманитарного знания, характеризуются возникновением такой ситуации, когда природа рассматриваемой проблемы для эксперта неизвестна; неизвестны зависимости между объектами, рассматриваемые при анализе проблемы; эксперты плохо представляют себе, в каком направлении следовало бы двигаться. Возможен второй вариант, когда экспертам в общем и целом ясно решение проблемы, но неизвестен механизм реализации требуемых действий. В обоих случаях качество экспертного заключения только выиграет, если общая оценка проведенного исследования будет сделана после предварительного обсуждения экспертами со своим подопечным и его научным руководителем.

Если эксперт дал согласие официально оппонировать диссертацию, то он должен найти общий язык с молодым исследователем, прийти к общему пониманию научных проблем. В качестве официального оппонента он должен увидеть научные закономерности, определить слабые стороны и предложить оптимальные модели организации материала, причем в нескольких вариантах. Только когда молодой исследователь и его научный руководитель согласились с формулировками сделанных замечаний и пожеланий, тогда и только тогда оценка может считаться окончательной, и только после этого можно подписывать текст официального отзыва. Официальный оппонент всегда должен помнить, что несет двойную моральную ответственность: за качество оппонируемой диссертации и добросовестность собственного экспертного заключения по этой диссертации.

В связи с вышеизложенным аппарат ВАК [3; 24] неоднократно выражал недовольство тем, что диссертационные советы принимают отзывы официальных оппонентов, не соответствующие п. 24 действующего Положения о порядке присуждения ученых степеней, отзывы описательного характера, в которых отсутствует убедительная оценка научной новизны результатов исследования, не дается конкретного анализа качества диссертаций и отсутствуют аргументированные выводы о решении актуальной научной проблемы или задачи.

Каждому человеку свойственно ошибаться, следовательно, в процессе любой экспертизы могут быть допущены ошибки. Наиболее типичные экспертные ошибки можно подразделить на психологические и логические.

К числу психологических ошибок в процессе экспертизы относятся ошибки «великодушия», «центральной тенденции», «ореола» и др.

Ошибка «великодушия», или «снисходительности», проявляется в завышении оценки. Мол, человек много лет работал, что-то написал, хотя Америки не открыл и пороха не изобрел, но в целом ученую степень присудить можно. Следует отметить, что эта ошибка ведет к постепенному снижению требовательности. Снижение требовательности со временем приводит к увеличению общего количества остепененных специалистов вместе с потерей качества методологической подготовки. В результате на наших глазах возникает проблема функциональной неграмотности уже среди лиц, обладающих учеными степенями и научными званиями: ученых много, а работать некому.

Ошибка «центральной тенденции» заключается в стремлении избегать крайних оценок. Эксперт старается отметить что-то положительное, а что-то не очень, но ничего не восхваляет сверх меры и ничего не отрицает из принципиальных соображений. Любая работа находит понимание и поддержку. По сути эта ошибка является вариантом ошибки «великодушия».

Ошибка «ореола» связана с предвзятым отношением со стороны экспертов, что проявляется в тенденции положительно оценивать диссертации тех соискателей, к которым имеется личное благоприятное расположение, соответственно отрицательно оценивать результаты исследований тех, к кому отношение неприятельское. Как следствие, это приводит к такой ситуации, когда положительная оценка находится в зависимости только от улыбчивости соискателя, его организаторских, коммуникативных и других способностей расположить к себе всех экспертов на этапе предварительной работы.

Логические ошибки заключаются в нарушении законов и принципов правильного мышления, правил умозаключений, доказательства, опровержения и др. Логические ошибки называются уловками в том случае, если применяются экспертами осознанно, что дает основание ввести в научный оборот понятие недобросовестной критики. Причина сознательного использования логических уловок, то есть недобросовестной критики заключается в безнравственной позиции экспертов.

Недобросовестная критика в процессе научной экспертизы проявляется чаще всего в использовании логической уловки «подмены тезиса», «недостаточного основания», «деструктивной критики» и «логической неряшливости».

Логическая уловка «подмены тезиса» известна уже давно, суть ее заключается в том, чтобы приписать пропоненту ложное утверждение, которое потом можно с блеском раскритиковать. Диссертанту в таком случае можно посоветовать, чтобы он обратил внимание аудитории на то, что защищаемые им положения кое в чем пересекаются, но в целом не соответствуют тому, что было подвергнуто критике уважаемым оппонентом.

Логическая уловка «недостаточного основания» наблюдается тогда, когда эксперт мотивирует отрицательное заключение косвенными аргументами, дескать, по этой теме была защищена уже сотня работ, ваша – сто первая, что здесь нового? Или, недавно была защищена аналогичная диссертация, в чем ваша научная новизна? Разновидностью этой уловки является верхоглядство, общая отрицательная оценка, проявляющаяся в бездоказательных репликах: «Чушь!», «Ерунда!», «Демагогия!» и др. вместо подробного анализа текста. При этом диссертант находится в затруднительном положении, так как в его состоянии невозможно предъявить претензии к качеству научной экспертизы, ему остается только еще раз повторить защищаемые положения специально для тех, кто не понял.

Уловка «деструктивной критики» проявляется в том, что вместо анализа внутренних и внешних противоречий, имеющихся практически в любой диссертации, эксперт вдруг вступает в научную полемику с диссертантом, как равный с равным, стремясь разрушить основное содержание его научной концепции. Эксперт словно забывает, что его задачей является выявление соответствия квалификационной работы требованиям Положения о порядке присуждения учёных степеней, а не поиск истины, и тем более не утверждение собственных научных идей по данному поводу. Разновидностью «деструктивной критики» является анализ диссертации, написанной с позиций одной научной школы (например, гуманистической педагогики), с теоретических позиций другой (например, бихевиоризма). В любом случае соискателю следует обратить внимание аудитории, во-первых, на квалификационный характер собственного диссертационного исследования, которое в дальнейшем будет продолжено с учетом выявленных недочетов, во-вторых, что его исследование опирается на определенные методологические основания, и он с благодарностью использует любые критические предложения, соответствующие оным.

Недобросовестная критика может проявляться не только как демонстрация собственной компетентности, но и как выставление напоказ неряшливости своего мышления. Второе происходит в том случае, когда эксперт выдает такое эмоциональное заключение, в котором круто замешаны оценка результатов исследования, анализ текста диссертации, теплые воспоминания из собственного босоного детства, критика текущей государственной политики в области социальной сферы и т.д. Так как диссертанту в этой путанице невозможно выявить причинно-следственные связи и отношения, ему следует использовать возникшую ситуацию с тем, чтобы еще раз акцентировать внимание на достоинствах своей работы.

Из всего вышесказанного следует, что необходимо разграничивать требования, предъявляемые к повышению качества диссертационных исследований и требования, предъявляемые к повышению качества научной экспертизы этих исследований. Повышение качества научной экспертизы является одной из актуальных методологических проблем.