9.5. Критерии оценки качества исследований и методы их определения[1]
АКТУАЛЬНОСТЬ ИССЛЕДОВАНИЯ - критерий оценки качества научных исследований, характеризующий степень расхождения между спросом на научные идеи и практические рекомендации (для удовлетворения той или иной потребности) и предложениями, которые может дать наука и практика в настоящее время. Критерий актуальности указывает на необходимость и своевременность изучения и решения проблемы для дальнейшего развития теории и практики обучения и воспитания, характеризует противоречия, возникающие между общественными потребностями и наличными средствами их удовлетворения. Критерий актуальности динамичен, зависит от времени, конкретных условий и специфических обстоятельств. Тема, актуальная сегодня, завтра может потерять остроту; вопрос, важный для работы в сельской школе, в условиях города будет иметь второстепенное значение; проблемы, волнующие начинающего учителя, не всегда существенны для опытного, квалифицированного педагога. Актуальные исследования тесно связаны с уровнем развития народного образования, экономикой страны, ее научным потенциалом, задачами, которые ставятся и решаются в данный исторический момент. См. КРИТЕРИИ ОЦЕНКИ АКТУАЛЬНОСТИ ИССЛЕДОВАНИЙ.
КАЧЕСТВО НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ - сущность потребительной стоимости продукта науки, оно характеризует комплекс важных с точки зрения разных категорий пользователей показателей, определяющих его общественно полезные свойства. Качество педагогических исследований детерминируется новизной, актуальностью, теоретической и практической значимостью в ней информации для всех заинтересованных лиц с учетом их квалификации и условий работы. Выполненные педагогические исследовании обладают лишь потенциальной потребительной стоимостью. Превращение потенциальной потребительной стоимости в действительную происходит в процессе использования научного продукта в результате внедрения его в практику.
КРИТЕРИИ ОЦЕНКИ АКТУАЛЬНОСТИ ИССЛЕДОВАНИЙ - перечень признаков, на основе которых оценивается актуальность планируемых или полученных результатов научно-педагогических исследований.
Фундаментальные исследования
Высокоактуальные исследования
Существует остро выраженная потребность в разработке проблемы.
Решение проблемы может положительно повлиять на многие стороны практики. Тема в науке не разработана или разработана очень слабо. Имеются лишь отдельные публикации по этому вопросу. Разработка теории вопроса может существенно изменить наши представления по принципиальным вопросам педагогики, открыть новые направления прикладных исследований.
Актуальные исследования
Практическая потребность в решении проблемы достаточно выражена. Решение проблемы положительно скажется на разных сторонах практики. Тема в науке разработана слабо. Имеется много противоречивых подходов. Разработка темы может дополнить наши представления по ряду теоретических вопросов. Открываются перспективы для прикладных исследований.
Малоактуальные исследования
Практическая потребность в разработке темы незначительная. В общем проблема изучена удовлетворительно, хотя отдельные вопросы не решены. Тема достаточно разработана, опубликовано большое число работ, раскрывающих данный вопрос, проблему.
Разработка темы может конкретизировать некоторые теоретические вопросы, представляющие интерес для небольшого круга лиц.
Неактуальные исследования
В настоящее время в исследовании подобного рода нет необходимости. Для практики эта проблема незначима. Имеется множество прикладных работ, удовлетворительно решающих эту проблему. Изучение темы, проблемы ничего не изменит в теории. Полученные данные будут дублировать существующие представления без каких-либо их уточнений и дополнений.
Прикладные исследования и разработки
Для определения актуальности прикладных исследований и разработок главное значение имеет практическая потребность в них и степень неудовлетворенности существующим в практике положением: обеспечен ли учебно-воспитательный процесс соответствующими учебниками, пособиями, методиками? Насколько хорошо они решают поставленные задачи? Предлагается следующая градация работ.
Высокоактуальная разработка
Потребность в разработке очень велика. Нет учебников, методических пособий по данной теме или области воспитательной работы. В данной методике нуждаются учителя, учащиеся и другие лица.
Актуальная разработка
Потребность в разработке велика. Существующие учебники, программы, пособия неудовлетворительно решают проблему, не обеспечивают требуемый уровень обученности, воспитанности учащихся. В данной разработке нуждаются учителя, учащиеся.
Малоактуальная разработка
Потребность в разработке невелика. На практике эта проблема решена удовлетворительно. Отдельные частные вопросы нуждаются в совершенствовании.
Неактуальная разработка
Вопрос решен положительно. Существующие учебники, программы, пособия обеспечивают необходимый уровень обученности или воспитанности. Разработка новых методик в настоящее время нерациональна.
КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ИССЛЕДОВАНИЙ — общенаучные, типовые и конкретно-научные критерии, с помощью которых оцениваются результаты различных типов педагогических исследований.
Общенаучные критерии содержат требования к качеству результатов завершенных работ вне зависимости от области науки и конкретной проблематики: это прежде всего новизна, теоретическая и практическая значимость, актуальность. Эти требования сформулированы в нормативных документах.
Типовые критерии строятся с учетом специфики фундаментальных, прикладных исследований и разработок, отражают наиболее характерные особенности различного типа педагогических исследований. Типовые критерии продолжают общенаучные критерии применительно к разным типам исследований.
Конкретно-научные критерии, в свою очередь, отражают типовые требования к качеству научных исследований в зависимости от направления педагогической науки и конкретной проблематики в области образования.
Алгоритм преобразования общенаучных требований в конкретно-научные включает определение области применения критерия, выделение результатов, характерных для данной области, формулировку общенаучных требований в терминах анализируемой области, отражающих ее специфику. Так, новизна — общенаучный критерий. Он отражает новые знания, которые получены в результате исследования, однако в зависимости от типа исследования он существенно меняется. В фундаментальных исследованиях это будут новые научные концепции, закономерности; в прикладных — методические принципы; в разработках — конкретные предписания, правила, алгоритмы. Критерий новизны по-разному трансформируется в разных областях педагогики. В методологии это новые направления развития педагогической науки, ее тенденции; в дидактике — методы и формы обучения; в экономике народного образования — методы планирования и т.д. Аналогичным образом трансформируются и другие критерии. Критерии оценки качества должны удовлетворять требованиям: адекватности, семантической однозначности, конструктивности, необходимости и достаточности.
КРИТЕРИИ ОЦЕНКИ НОВИЗНЫ ИССЛЕДОВАНИЙ — перечень признаков, на основе которых оценивается новизна результатов научно-педагогических исследований. Ниже перечислены основные признаки, характеризующие новизну научно-педагогических исследований. См. УРОВНИ НОВИЗНЫ.
Первый ранг. Результаты исследования повторяют известные в науке и практике теоретические и практические положения и рекомендации без каких-либо уточнений и дополнений (нет новизны).
Второй ранг. Результаты исследования уточняют и конкретизируют существующие в науке и практике положения, касающиеся содержания, принципов и методов обучения, воспитания, организации различных видов деятельности и т.д. (уровень конкретизации).
Третий ранг. Результаты исследования дополняют, вносят новые элементы в известные теоретические и практические положения, касающиеся содержания, принципов и методов обучения, воспитания, организации различных видов деятельности и т.д. (уровень дополнения).
Четвертый ранг. Результаты исследования вносят принципиально новые знания, касающиеся содержания, принципов и методов обучения, воспитания, организации различных видов деятельности и т.д. (уровень преобразования).
КРИТЕРИИ ОЦЕНКИ ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ ИССЛЕДОВАНИЙ - перечень признаков, на основе которых оценивается практическая значимость результатов научно-педагогических исследований. Ниже перечислены основные признаки и показатели, характеризующие практическую значимость результатов исследования для дидактики, теории воспитания, частных методик.
Число пользователей, заинтересованных в результатах исследований:
Отдельные лица (учителя, учащиеся, научные сотрудники), интересующиеся данной проблемой.
Отдельные группы (учителя, учащиеся, научные сотрудники, руководители и организаторы народного образования и т.д.).
Вся группа лиц данной категории вне зависимости от стажа и условий работы.
Многие практические работники разных групп и сфер.
Уровень значимости результатов исследований:
Важна для решения частных вопросов в пределах узкой области.
Важна для решения группы взаимосвязанных вопросов обучения, воспитания.
Важна для решения общеметодических вопросов.
Важна для решения общепедагогических вопросов.
Масштаб внедрения результатов исследования:
Могут быть внедрены в одной или нескольких школах.
Могут быть внедрены в районе, области.
Могут быть внедрены в масштабах республики.
Могут быть внедрены в масштабах страны.
Экономическая и социальная эффективность:
Близка к существующим нормам или ниже их.
Несколько выше существующих. Заметно выше существующих. Очень высокая.
Готовность к внедрению:
Разработаны общедидактические и методические предложения.
Разработаны нормативные материалы, определяющие деятельность учителей.
Разработаны нормативные материалы и предписания для учителей.
Разработаны все необходимые нормативные материалы для учителей и других практических работников. См. ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ.
КРИТЕРИИ ОЦЕНКИ ТЕОРЕТИЧЕСКОЙ ЗНАЧИМОСТИ ИССЛЕДОВАНИЙ - перечень признаков, на основе которых оценивается теоретическая значимость результатов научно-педагогических исследований.
Теоретическая значимость очень высокая
(н - новизна; к - концептуальность и доказательность; п - перспективность). н4. Результаты исследования обосновывают принципиально новые концепции, закономерности в области дидактики; коренным образом меняют наши представления, касающиеся содержания образования, принципов и методов обучения, закономерностей учебного процесса к4. Разработана и обоснована целостная теория содержания образования, методов, принципов дидактики. На основе концепции сформулированы дидактические и методические предложения; выводы теоретически и экспериментально подтверждены п4. Открывается новое направление в разработке прикладных дидактических исследований и смежных дисциплинах.
Теоретическая значимость высокая нЗ. Результаты исследования развивают, дополняют, вносят новые элементы в содержание образования, методы и формы обучения, закономерности, принципы кЗ. Разработана и обоснована теория содержания образования, методов, принципов дидактики; выводы подтверждены пЗ. Открываются перспективы для прикладных дидактических исследований.
Теоретическая значимость удовлетворительная н2. Результаты исследования уточняют, конкретизируют отдельные положения, касающиеся содержания образования, методов, принципов, форм обучения и другие вопросы дидактики; выводы частично подтверждены к2. Выдвинуты отдельные теоретические положения, касающиеся различных сторон содержания образования, методов обучения, принципов. Выводы частично подтверждены п2. Открываются перспективы для решения частных вопросов в пределах данной области дидактики.
Теоретическая значимость неудовлетворительная н1. Результаты исследования повторяют известные теоретические концепции, идеи, гипотезы, подходы в области содержания образования, принципов, закономерностей, методов обучения без каких-либо их уточнений и дополнений к1. Научная концепция или отдельные теоретические положения не сформулированы; даны без всякого обоснования и противоречат известным фактам пl. Перспектив для дальнейших работ нет.
МЕТОДЫ ОПРЕДЕЛЕНИЯ АКТУАЛЬНОСТИ — различные процедуры, с помощью которых определяется необходимость и возможность решения проблемы в настоящее или ближайшее будущее время.
Экспертный метод включает следующие процедуры: заявки авторов работ подают с обоснованием необходимости проведения исследования. В заявке указываются название темы, ее цели и задачи, формулируются в первом приближении основные теоретические и практические выводы, которые предполагается получить. Обязательным элементом обоснования должен быть краткий анализ публикаций, в которых рассматривались бы аналогичные вопросы, ранее выполненные на эту тему исследования. Эксперты изучают заявки авторов и отбирают для дальнейшего анализа перспективные темы. При этом они учитывают степень знакомства разработчиков с имеющейся по данной теме литературой, насколько четко автор представляет конечный результат и чем этот результат будет отличаться от уже известных данных.
Для определения актуальности тематики фундаментального исследования эксперты решают, насколько данная тема разработана в науке и как велика необходимость ее проведения в настоящее время. Выделяются два фасета: степень разработанности темы в науке; степень теоретической значимости темы. Прогноз здесь менее надежен, чем для прикладных работ.
Для определения актуальности прикладных исследований и разработок в первую очередь учитываются практическая потребность в разработке темы, степень заинтересованности учителей, учащихся в нормативных материалах, наличие или отсутствие аналогичных разработок, предполагаемый социальный или экономический эффект от внедрения результатов в практику, степень решения данного вопроса в науке. В зависимости от типа исследования и области педагогики составляют базовый вариант, в котором зафиксированы признаки актуальных тем, затем путем сравнения обобщенной экспертной оценки конкретной работы с базовым вариантом определяют степень актуальности данного исследования.
МЕТОДЫ ОПРЕДЕЛЕНИЯ НОВИЗНЫ — различные процедуры, с помощью которых определяется новизна результатов исследований. Оценка новизны результатов исследования может быть дана с помощью метода антиципации, метода эталонного сравнения, информационного метода.
Метод антиципации — определение новизны результатов, которые могут быть получены в результате исследований с помощью предварительной оценки экспертов. Метод антиципации применяется для предварительной оценки новизны работы. Суть метода заключается в том, что результаты анализируемой работы формулируются в виде вопросов, которые задаются экспертам. Эксперты отвечают на заданные вопросы, как бы предвосхищая выводы исследования. В случае совпадения ответов экспертов и оцениваемых выводов результаты считаются известными.
Другой вариант: экспертам в виде вопросов задаются задачи, которые ставил перед собой исследователь. В зависимости от их ответов, как и в предыдущих случаях, определяется новизна исследования.
Информационный метод — включает поиск документа (диссертация, научный отчет, статья и т.д.), в котором с наибольшей вероятностью могут быть получены аналогичные с искомой работой выводы. Фиксируются лишь название документа и основные задачи, поставленные в работе. Методика определения новизны сводится к поиску релевантного документа, содержание которого в наибольшей степени соответствует анализируемому источнику. Это достигается с помощью рубрикатора и словаря дескрипторов.
Метод эталонного определения — включает: составление эталона; анализ и классификацию полученных результатов; сравнение базового варианта и результатов анализируемой работы. За эталон (базовый вариант) принимают известные к данному моменту времени теоретические и практические знания в области народного образования и педагогики, отобранные и описанные по определенной схеме. Составление базового варианта предполагает анализ литературы по искомой проблеме, классификацию знаний по видам и описание их с помощью соответствующих характеристик. Таким образом, мы получим перечень основных результатов (концепций, методов, идей, рекомендаций и т.д.) по искомой проблеме, которые будут выполнять роль эталона. Данный эталон относителен и действует определенное время. На этапе анализа и классификации эксперты анализируют результаты оцениваемой работы и классифицируют ее по видам знаний, содержанию и уровню новизны. На заключительном этапе проводится сравнение базового варианта (эталона) и результатов анализируемой работы. В зависимости от степени совпадения или несовпадения базового варианта и полученных результатов итоги анализируемой работы оцениваются как известные или новые. Метод эталонного сравнения особенно эффективен, если использовать современную технологию сбора информации, создавать проблемно-ориентированные базы данных по различным вопросам народного образования и педагогической науки. Наличие такой базы открывает принципиально новые возможности для объективной оценки результатов исследований, позволяет сравнивать по новизне известные (ранее выполненные) и новые научно-исследовательские работы.
МЕТОДЫ ОПРЕДЕЛЕНИЯ ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ - процедуры, с помощью которых оценивается практическая значимость научно-педагогических исследований. Практическая значимость определяется экспертным путем. В число экспертов обязательно должны входить практические работники, в адрес которых направлены рекомендации. Экспертиза работ проводится в два этапа. На первом этапе авторы исследований отвечают на вопросы анкеты, характеризующие практическую значимость результатов исследований:
Какие практические выводы, предложения и рекомендации получены в работе? Чем отличаются предложения автора от уже имеющихся на этот счет рекомендаций? Какие категории практических работников заинтересованы в использовании и внедрении полученных результатов в своей практической деятельности? Какова область применения полученных результатов? Каков возможный масштаб внедрения результатов исследования? Какова степень готовности результатов исследования к внедрению? Каковы возможные социальные и экономические последствия (социальная и экономическая эффективность) от внедрения полученных результатов в практику?
На втором этапе эксперты анализируют ответы авторов на вопросы анкеты и устанавливают их достоверность по каждому пункту. Общий вывод о практической значимости результатов прикладного научно-педагогического исследования делается на основании сравнения полученной фасетной формулы с базовым вариантом.
Практическая значимость очень высокая: А4В4В4Г4Д4.
Практическая значимость высокая: АЗВЗВЗГЗДЗ.
Практическая значимость низкая: А2В2В2Г2Д2.
Практическая значимость удовлетворительная: А1В1В1ПД1, где А — основные категории пользователей и их число; Б — уровни значимости; В — экономическая и социальная эффективность; Г масштаб и объем внедрения; Д — готовность к внедрению. Числа 1,2,3,4 характеризуют ранг исследования в порядке увеличения степени того или иного качества.
МЕТОДЫ ОПРЕДЕЛЕНИЯ ТЕОРЕТИЧЕСКОЙ ЗНАЧИМОСТИ - процедуры, с помощью которых оценивается теоретическая значимость научно-педагогических исследований. Теоретическая значимость работы определяется экспертным путем и зависит от возможных сочетаний признаков. Эксперты анализируют конкретную работу и выбирают в каждом из фасетов альтернативу, соответствующую данной работе. Например, формула нЗк4пЗ означает, что по новизне работа оценена рангом нЗ, по концептуальности и доказательности к4, а по перспективности пЗ. Предварительно для данной области эксперты составляют базовый вариант, который служит для сравнения и отражает уровень теоретической значимости данного класса работ. Ниже приведены возможные формулы, характеризующие различные варианты теоретической значимости исследований: очень высокая: н4к4п4; нЗк4п4; высокая: нЗк4пЗ; нЗкЗпЗ; н4кЗпЗ; удовлетворительная: н2к2п2; н2кЗп2; н2к2пЗ; низкая: н1к1п1; н1к2п1; н1к1п2.
Оценка теоретической значимости каждой конкретной работы состоит из двух этапов: на первом эксперты определяют формулу работы, на втором сравнивают данную формулу с базовым вариантом. Полученные таким образом индивидуальные оценки согласуются для получения обобщенного суждения. См. КРИТЕРИИ ОЦЕНКИ ТЕОРЕТИЧЕСКОЙ ЗНАЧИМОСТИ.
НОВИЗНА — критерий качества информации (результатов научных исследований). Отражает новые общественно значимые знания, факты, данные, полученные в результате исследования или практической деятельности. Критерий новизны отражает содержательную сторону результата. В зависимости от результата на первый план может быть выдвинута теоретическая новизна (концепция, принцип и т.д.) или практическая (правило, рекомендация, методика, требование, средство и т.д.), или оба вида одновременно. Новые знания в сопоставлении с уже известными в науке данными могут выполнять различные функции — уточнять, конкретизировать известное, дополнять его либо коренным образом преобразовывать. Эту сторону новизны характеризуют уровни новизны. См. УРОВНИ НОВИЗНЫ.
ОСНОВНЫЕ КОМПОНЕНТЫ, ХАРАКТЕРИЗУЮЩИЕ ТЕМУ И РЕЗУЛЬТАТ ИССЛЕДОВАНИЙ — взаимосвязанные характеристики, с помощью которых можно описать тему и результаты исследования. С нашей точки зрения любую тему и результат можно представить в виде трех взаимосвязанных компонентов: объектного, преобразующего и конкретизирующего.
Объектный компонент характеризует продукт исследования предметно-категориально, т.е. показывает, что получено в итоге работы: концепция, метод, классификация, принцип, рекомендация, алгоритм и т.п. В зависимости от области и направления науки объектный компонент может быть представлен на общенаучном, общепедагогическом или конкретно-научном уровне различными наборами типами знаний (тип, или вид, знания здесь — одно из понятий предметной категории, образующих группы значимых для педагогики понятий; отождествляется с «видом» результата исследования).
На общенаучном уровне результат описывается в наиболее обобщенной форме безотносительно указания области, к которой он относится. Это общенаучные знания: концепция, типология, алгоритм, классификация, концепция, метод, гипотеза и т.п.
На общепедагогическом уровне результат соотносится с конкретной областью педагогики, относительно которой ведется исследование. Концепция, типология, методика и т.д. могут быть в дидактике, школоведении, теории воспитания и других областях.
Конкретно-педагогический уровень дополняет, уточняет и детализирует общепедагогический уровень применительно к отдельным методикам. Конкретизация может идти по направленности, предметному содержанию образования, форме, методу, принципу организации обучения, типу учебного заведения, возрасту учащихся и т.д.
Преобразующий компонент показывает, что собственно было совершено с объектной частью: уточнение, определение, разработка и т.д. (основных понятий педагогики, изменений или показателей процесса обучения и воспитания, условий развития познавательной деятельности, методики преподавания и т.п.), т.е. характеризует полученный итог как определенный вид движения научной мысли: собирался ли исследователь разработать новый метод обучения или воспитания, уточнить или дополнить методику преподавания, определить условия повышения эффективности процесса, внедрить в практику ту или иную инновацию.
Преобразующий компонент выражается уже в задачах исследования. Он включает: уточнение, определение, разработку, реализацию, конкретизацию, формирование, освоение, внедрение и т.д. (понятий, состава, структуры, содержания дидактической системы, концепций обучения и воспитания, определенных педагогических целей, познавательной самостоятельности, значимых коммуникативных умений, целостной профессиональной деятельности, готовности учащихся к труду, профессионально-ориентированных знаний и т.п.). В ряде случаев объектный и преобразующий компонент совпадают, т.е. объектный компонент одновременно может быть и преобразующим. Например, внедрение может выступать как самостоятельный результат и одновременно быть преобразующим компонентом для других объектов (метод, концепция, инновация). Такое совпадение синонимическое, фактически это независимые категории, рассматривать которые в каждом случае нужно самостоятельно.
Конкретизирующий компонент результата уточняет различные условия, факторы и обстоятельства, в которых происходят преобразования объектной части результата педагогического исследования. Это: уточнение места и времени, в границах которых ведется исследование (например, диссертация Шевченко А.Н. «Формирование гуманистической воспитательной системы начальной школы (средствами методики коллективной организаторской деятельности)», диссертация на соискание ученой степени кандидата педагогических наук, М., 2001. Объектный компонент — гуманистическая воспитательная система начальной школы. Преобразующий компонент — формирование. Конкретизирующий компонент — средствами методики коллективной организаторской деятельности. Уточнения могут касаться не только отдельных факторов, но и различных их сочетаний: места, времени, условий, методов и средств обучения.
Каждая педагогическая дисциплина располагает своими средствами подведения итогов исследования.
В дидактике, например, ими могут быть как теоретические, так и практические рекомендации: уточнение основных понятий (обучение, учение, преподавание, метод, средство, форма и т.п.); разработка новых методов, средств и форм обучения; выявление закономерностей учебного процесса, принципов проверки и оценки знаний; разработка различных дидактических моделей; изучение специфики работы сельских и городских школ и т.д. В истории педагогики — закономерности развития педагогических идей, становления учебных заведений; анализ педагогической мысли за определенный период времени; изучение наследия выдающихся педагогов прошлого и т.д.
ОЦЕНКА КАЧЕСТВА РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ— систематический процесс сравнения полученных результатов конкретного исследования с уже известными и зафиксированными по данному вопросу представлениями о новизне, актуальности, теоретической и практической значимости, которые имеют место в науке. Необходимое условие оценки качества — установление фактического уровня результатов конкретной работы; сравнение и оценка планируемых и фактических результатов по общепринятым и согласованным, единым критериям. В основу оценки качества положен дифференцированный подход. Для оценки качества завершенных исследований мы выделяем три вида критериев: общенаучные, типовые и конкретно-научные. См. КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА РЕЗУЛЬТАТОВ НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ; РЕЗУЛЬТАТ ИССЛЕДОВАНИЯ.
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ ИССЛЕДОВАНИЯ — влияние, которое оказывают (или могут оказать) результаты исследования на учебно-воспитательный процесс, методику преподавания и обучения, организацию воспитательной работы и т.д. Признаки и показатели практической значимости зависят от области исследования. В работах по дидактике обычно указывают, с какой целью могут быть использованы полученные результаты: для разработки программ и учебников, методических рекомендаций; организации самостоятельной работы на уроках; систематизации знаний; планирования и осуществления межпредметных связей; определения общеучебных умений и т.д. В исследованиях по истории и зарубежной педагогике имеется в виду возможность использования полученных выводов при создании обобщающих трудов; в спецкурсах пединститутов; в системе повышения квалификации учителей; в лекциях для студентов по курсам сравнительной и зарубежной педагогики и т.д. Один из показателей практической значимости — масштаб возможного внедрения — в одной или нескольких школах, в области, республике или во всех школах страны. Одни темы ориентированы на удовлетворение потребностей ограниченного круга лиц, другие — на сотни тысяч. Практическая значимость исследования также зависит от степени готовности полученных результатов к внедрению. См. УРОВНИ ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ.
РЕЗУЛЬТАТ ИССЛЕДОВАНИЯ - продукт научной и (или) научно-методической деятельности, содержащий новые знания или решения в сфере образования и зафиксированный на информационном носителе. Результат исследования характеризует вклад отдельного ученого или коллектива в теорию и практику образования, позволяет сравнить эффективность традиционных и инновационных методов обучения, осознать ценность воспитательных систем и степень достижения поставленных целей. Результат должен быть представлен таким образом, чтобы он мог быть использован в научной и практической педагогической деятельности, раскрыт с содержательной и внутренне связанной с ней ценностной стороны. Только при этом условии новые знания могут быть включены в общенаучный фонд, доступны другим членам научного сообщества. Содержательную сторону результата, то, что получено в исследовании, характеризует критерий новизны, ценностную сторону — критерии теоретической и практической значимости. Важно различать потенциальную и реальную ценность результата. Теоретическая и практическая значимость отражает его реальную ценность, актуальность — потенциальную, которая может быть определена после завершения работы.
Результаты педагогических исследований (новые знания или решения) самые различные. Это разработка новых концепций обучения, воспитания, содержания образования; определение закономерностей учебно-воспитательного процесса, выявление факторов, влияющих на эффективность усвоения знаний, применение методов и средств обучения; постановка новых педагогических проблем и т.д.
Результат исследования, фиксируемый в индивидуальном сознании как догадка, должен обрести статус научного факта, чтобы быть представленным во внесубъектных формах в таких видах знания, как гипотеза, предположение в форме научных понятий, система взглядов, концепция, идея и др. Педагогическое исследование в качестве своего результата содержит именно знание, сознательно объективируемое разработчиком для его последующего использования другими людьми в практической либо теоретической деятельности.
Теоретические результаты имеют сущностный характер. Чаще всего они представляют собой знание о том, каким был, есть и будет объект, о способах его осмысления и получения знания о нем. Это — новые концепции, подходы, направления, идеи, гипотезы, закономерности, тенденции, классификации, принципы в области обучения и воспитания, развития педагогической науки и практики.
Практические результаты имеют деятельностный характер и, как правило, представляют собой знание, связанное с объектом исследования, способами использования объекта в практической деятельности людей. Это — новые методики, правила, алгоритмы, предложения, нормативные документы, программы, объяснительные записки к программам. В ряде случаев один и тот же результат может быть отнесен как к теоретическим положениям, так и к практическим рекомендациям в зависимости от его конкретного содержания.
Новый результат должен быть включен в общую систему знаний. Место полученных знаний в ряду известных определяется с помощью Рубрикатора «Народное образование. Педагогика». Рубрикатор обеспечивает однозначное определение рубрики, к которой относится тот или иной документ (результат), а также отнесение каждого документа к минимально необходимому числу рубрик, для чего установлены четкие и определенные границы между рубриками, имеющими логико-семантические связи, а также указаны полииерархические связи между рубриками с помощью ссылок и примечаний (см. Полонский В.М. Народное образование. Педагогика. Рубрикатор. — М.: Наука, 1998).
СОЦИАЛЬНАЯ ЭФФЕКТИВНОСТЬ РЕЗУЛЬТАТОВ НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ - общие позитивные изменения в результате внедрения полученных знаний в практику в уровне жизни людей, удовлетворении их потребностей, в накоплении полезной информации, в улучшении сферы быта, услугах и т.д. Для большинства научно-педагогических исследований характерен социальный эффект. Он проявляется в повышении уровня образования, культуры, профессиональной подготовки молодежи, ее всестороннем развитии, устранении негативных явлений в жизни общества, снижении второгодничества, правонарушений, рационализации умственного и физического труда, формировании полезных навыков и привычек, достижении более высокого уровня воспитанности, обученности и т.д. См. ЭКОНОМИЧЕСКАЯ ЭФФЕКТИВНОСТЬ РЕЗУЛЬТАТОВ НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ.
ТЕОРЕТИЧЕСКАЯ ЗНАЧИМОСТЬ ИССЛЕДОВАНИЯ — критерий научных исследований, отражающий влияние полученных результатов НИР на существующие концепции, идеи, методы в области обучения и воепитания, теории и истории педагогики. Он характеризует изменения в теоретических представлениях, происходящие в педагогическом сознании под влиянием полученных данных. Это комплексный показатель, синтезирующий новизну, перспективность, доказательность, концептуальность. Значимость работы может быть видна через несколько лет после ее публикации, когда наиболее отчетливо обнаружится ее вклад в развитие фундаментальных и прикладных исследований. Теоретическая значимость отражает уровень выдвигаемых концептуальных положений, их доказательность, отвечая на вопрос, содержатся ли в них отдельные разрозненные идеи или дана развернутая концепция, основные выводы которой нашли экспериментальное подтверждение? Это особенно важно для фундаментальных работ. Исследование, лишенное концепции, эклектично или описательно, в теоретическом отношении несостоятельно. В прикладных работах этот признак не обязателен. Разработчики могут пользоваться уже имеющимися схемами, развивать и дополнять уже существующие концепции (например, как это было у многих исследователей, которые развивали идеи, выдвинутые в свое время Ю.К. Бабанским, М.А. Даниловым, В.Е. Гмурманом и др. учеными). См. КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ИССЛЕДОВАНИЙ.
ТИПОЛОГИЯ ПЕДАГОГИЧЕСКИХ ПРОБЛЕМ — деление педагогической проблематики в зависимости от специфики решаемых вопросов, требований к содержанию информации, которую хотят получить различные группы пользователей для выполнения научной и практической педагогической деятельности в сфере образования. В зависимости от характера решаемых вопросов можно выделить несколько групп педагогических проблем:
Информационные проблемы имеют своей целью ответить на вопрос, как была решена или решается та или иная проблема отечественными или зарубежными авторами во времени и пространстве (в настоящем или прошлом), в отдельной стране или группе стран. Суть информационных противоречий заключается в том, что лица, заинтересованные в их решении, не имеют достаточно полной и объективной информации о том, где, когда и каким образом эта проблема была решена. На самом деле в науке эта информация уже известна и была ранее опубликована, но по разным причинам оказалась недоступной данному кругу пользователей.
Работы, в основе которых лежат информационные проблемы, более точно называть обзорами, а не исследованиями. Фактически они повторяют уже известные в науке положения, хотя и содержат выводы и оценочные знания, а не просто пересказывают ранее опубликованный материал. Они дают пользователям представления о достижениях отечественной и зарубежной науки, экономят силы и средства разработчиков на решении уже выполненных исследований, предупреждают параллелизм и дублирование в научных изысканиях. Информационные работы неоднородны, отличаются по содержанию, объему, характеру, степени детализации материала. Ценность информационных работ состоит в том, что они выполняют некоторую профилактическую функцию, указывают разработчикам то, что уже сделано в науке и практике, возможные пути исследований.
Концептуальные проблемы встречаются значительно реже. Их главная функция — выявить и объяснить взаимосвязь между различными факторами и явлениями, наметить ведущие ориентиры, сформулировать теоретические положения, которыми следует руководствоваться при решении кардинальных вопросов. К такого рода проблемам относятся, например, «Разработка концептуальных основ проектирования образовательной программы инновационной школы», выполняемая под руководством И.С. Якиманской в Институте педагогических инноваций; «Разработка дидактических средств к курсу "Основы управления школой" для подготовки директоров школ по специальности "Менеджер образования"», выполняемая под руководством В.С. Лазарева в Институте управления образованием, и др.
Для решения концептуальных проблем необходимо знать хотя бы в общих чертах исходное состояние объекта, на преобразование которого работа направлена, четко себе представить, какой результат (какое состояние объекта) должен быть получен в итоге реализации концепции, какие средства необходимы и достаточны.
Концептуальный тип проблем характерен для исследований в области дидактики и теории воспитания в тех случаях, когда требуется выявить взаимосвязь между различными целями, условиями и планируемыми результатами. При анализе опыта отдельных стран или изучении истории педагогики такого рода проблемы также разрабатываются, однако в процентном отношении к общему числу исследований в этих областях их существенно меньше. Проблемы, в основе которых лежат концептуальные противоречия, могут ставиться и решаться десятки и сотни лет, исчезать из поля зрения ученых и возникать вновь. Это так называемые «вечные проблемы», над которыми человечество бьется долгие годы: концепции свободного воспитания, развивающего обучения, непрерывного образования и т.д. При этом надо учитывать социально-экономическую ситуацию в стране, господствующие философские и религиозные представления.
К концептуальным работам относится, например, методическое пособие В.В. Краевского «Повышение квалификации педагога — что это значит сегодня», Бийск, 1996. В этой работе сформулирована концепция курса педагогики, отражающая в явном виде основные положения концепции повышения квалификации педагогов, главным образом педагогов-исследователей, занятых подготовкой учителей и научной работой в области педагогики. Убедительно изложена ведущая идея курса, выполняющая систематизирующую роль по отношению к его содержанию. Выделены и описаны формальные признаки концептуальности курса педагогики: системность и четкость изложения, иерархичность построения. Раскрыты содержательные принципы концептуальности: соответствие современным требованиям к высшей школе, отраженным в научных публикациях и законодательных документах; полнота предполагаемого содержания профессиональной подготовки студентов педвузов; направленность обучения в педвузе на развитие педагогического мышления студентов; формирование методологической культуры, позволяющей студентам перейти от содержательно-отражательного способа получения научных знаний к деятельностно-конструктивному.
Организационно-методическая проблематика — наиболее распространенный тип проблем, когда исследователи пытаются ответить на вопрос, каким способом получить тот или иной результат с помощью имеющихся сегодня дидактических и методических средств и методов. В этом случае теоретикам и практикам нужно найти средства, помогающие ликвидировать разрыв между целью и результатами обучения, воспитания с помощью известных комбинаций или новых средств.
Противоречия, связанные с организационно-методическими проблемами, часто встречаются в образовательной ситуации, когда цель и технология в общем ясны, но методы и средства их реализации требуют дополнительных исследований. Этот тип проблем доминирует в частных методиках, реже представлен в дидактике и теории воспитания и практически не встречается в работах по истории педагогики.
В качестве примера организационно-методической работы можно назвать диссертацию В.А. Сазонова «Условия эффективного применения полифункционального комплекта технических средств в учебных кабинетах профессиональных образовательных учреждений», в которой определен оптимальный минимум технических условий, необходимых для создания полифункционального комплекта таких средств, выявлены дидактические условия использования полифункционального комплекта с учетом особенностей синхронного функционирования и специфики их дидактических особенностей (носителей учебной информации).
Квалиметрическая проблематика связана с измерением эффективности и качества образования, оценкой методических и дидактических систем, исследованием различного рода личностных характеристик, вопросами оценки и проверки знаний и т.д. Такого рода проблемы разрабатывают специалисты в области Теории обучения и воспитания, в частных методиках. Главная их цель — найти качественные или количественные способы измерения различных сторон учебно-воспитательного процесса. Результатами подобного рода исследований являются ответы на вопросы, в какой степени данная методика эффективна, насколько и по каким основаниям она превосходит другие, каким образом измерить то или иное качество, уровень знаний, достижения учащихся, уровень их воспитанности, эффективность педагогических систем и организаций. Есть примеры удачных ответов на поставленные вопросы. Например, в кандидатской диссертации Д.С. Горбатова «Критериально-ориентированное тестирование как средство диагностики учебных достижений школьников» (Воронеж, 1996) разработан и применен новый тип тестов для проверки и оценки знаний учащихся по русскому языку. Проводилось сравнение результатов проверки усвоения материала с помощью новых процедур тестирования и традиционных инструментов дидактического контроля, выявлялись индивидуальные показатели успеваемости. Организационно-методическая и квалиметрическая проблематика постоянно возникает по мере появления новых средств обучения, тесно связана с уровнем развития общества, его научно-техническим оснащением.
Методологическая проблематика связана с проведением научных исследований в образовании, разработкой критериев оценки качества выполненных работ, определением объекта и проблемы исследования, актуальности, новизны, теоретической и практической значимости выполненных работ, логикой и методикой проведения исследования.
УРОВНИ НОВИЗНЫ - характеристики новизны по месту полученных знаний в ряду известных, и их преемственность.
Уровень конкретизации — полученный результат уточняет известное, конкретизирует отдельные теоретические или практические положения, касающиеся обучения и воспитания, методики преподавания, истории педагогики, школоведения и т.д.
Уровень дополнения — полученный результат расширяет известные теоретические и практические положения в обучении и воспитании. Полученное знание открывает новые грани проблемы, которые ранее не были известны. В целом новшество не меняет картину, а дополняет ее.
Например, принцип научности в дидактике был сформулирован М.Н. Скаткиным в 50-х гг. XX в. Он включал следующие условия: научная достоверность сообщаемых учащимся сведений, вскрытие сущности описываемых явлений, показ явлений в их взаимосвязи и скачкообразного характера развития, ознакомление учащихся с важнейшими материалистическими теориями, формирование у учащихся верных представлений о познаваемости мира, об абсолютной и относительной истине, ознакомление с методами научного познания.
В 80-х гг. Л.Я. Зорина на основе проведенного исследования дополнила этот принцип еще тремя новыми положениями, которые ранее не были известны: соответствие содержания образования уровню современной науки; создание у учащихся верных представлений об общих методах научного познания (частные методы входят в предметное содержание и являются частью методологических принципов); раскрытие важнейших закономерностей процессов познания (знание о теории, ее элементах, структуре и функциях). Эти требования дополняют известные положения, касающиеся принципа научности, расширяют наши представления по данному вопросу.
Уровень преобразования характеризуется принципиально новыми идеями, подходами в области обучения и воспитания, которых ранее не было в теории. Происходит принципиальная смена точек зрения, выдвигается оригинальный подход, коренным образом отличающийся от известных представлений в данной области. В свое время это были новаторские системы воспитания А.С. Макаренко, В.А. Сухомлинского, опыт проблемного обучения в школах Татарии, ростовский опыт оптимизации учебного процесса и преодоления неуспеваемости школьников. В дидактике к этому уровню можно отнести исследования, которые обосновывают целостный подход к обучению (М.А. Данилов, В.С. Ильин), исследования эффективности процесса обучения и его методов (Ю.К. Бабанский, Б.П. Есипов, И.Т. Огородников), работы по совершенствованию содержания и процесса обучения в школе (М.Н. Скаткин, В.В. Краевский, И.Я. Лернер).
На уровне преобразования различается дискуссионно-гипотетическая и общепризнанная новизна. В первом случае полученные результаты еще не вполне доказательны, встречают противодействие у части ученых. Должен пройти определенный срок, прежде чем новые идеи конкретизируются, станут общепризнанными. Возникает сомнение в справедливости данных научных идей. На этапе общепризнанной новизны такое сомнение исчезает. Некоторые выдвинутые в последние годы идеи все еще остаются дискуссионно-гипотетическими. Уровень преобразования может быть соотнесен с абсолютной новизной, когда нет аналогов данному новшеству. Если же оно внедрено, то становится радикальным нововведением, базовым по отношению ко многим производным от него. Уровни конкретизации и дополнения соотнесены с относительной новизной: частной, местной, условной.
УРОВНИ ПОСТАНОВКИ И РЕШЕНИЯ ПРОБЛЕМ — степень теоретического осмысления, семантической проработанности и возможности экспериментальной проверки проблем.
Феноменологический уровень характеризуется постановкой проблемы на уровне «здравого смысла», обыденного представления, осознанных или неосознанных практических действий в сфере воспитания. Исследователь формулирует проблему «в лоб», отмечая видимые, очевидные недостатки практики обучения и воспитания. Ответы на поставленные вопросы рождаются в процессе практической деятельности на основе наблюдений, фактически без их должного теоретического осмысления. Перенос полученных результатов за пределы данной ситуации может приводить к недоразумениям.
Концептуальный уровень — постановка и решение проблем требуют специальных исследований. Ответы на вопросы здесь не могут быть получены только путем простых наблюдений. Необходимы последовательная проработка и постановка общей проблемы до решения и формулировки конкретных задач, раскрывающих общую цель, а также понятийно-терминологическая определенность. На этом уровне создается некая концепция, отражающая взаимосвязь между явлениями. Вопросы выбираются таким образом, чтобы ответы на них раскрывали отдельные положения концепции и их взаимосвязи. Здесь необходимо теоретическое осмысление проблемы в сочетании с опытной и экспериментальной работой.
Экспериментальный уровень — постановка и решение проблемы требуют подбора задач, которые проверяются с помощью эксперимента. Одной концептуальной проработки проблемы недостаточно. В зависимости от исходной концепции методы ее проверки могут быть простыми и очень сложными, включать короткие или продолжительные по времени эксперименты. Таким образом, педагогическая проблема может быть осмыслена и решена на разных уровнях, пройти ряд этапов, «созреть», дойти до такой стадии, на которой только и возможно ее научное разрешение. Ретроспективный анализ проблем, имеющихся в нашем образовании, показывает, что все они в той или иной степени существовали в прошлом и ранее ставились и решались в трудах известных исследователей-педагогов. Но можно также согласиться с теми, кто считает, что многое делалось на уровне здравого смысла и не доводилось до экспериментального уровня. Обычно ответы на вопросы соответствовали характеру самих вопросов. Для их решения не было необходимых средств и возможностей.
УРОВНИ ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ — в зависимости от области применения мы различаем три уровня практической значимости: частнометодический, общеметодический и общедидактический.
Частнометодический уровень имеют исследования, результаты которых важны для решения частных практических вопросов, связанных с методикой преподавания, обучения или воспитания.
Общеметодический уровень практической значимости имеют исследования, результаты которых важны для решения общих вопросов методики преподавания, обучения и воспитания. Так, Е.Е. Минченкова обосновала методику отбора содержания и структурирования школьного курса химии, выявила критерии отбора содержания и способы построения учебного материала, определила содержание нормативной части программы этой дисциплины, уточнила время изучения отдельных тем и разделов курса, конкретизировала требования к усвоению учащимися учебного материала.
Общедидактический (отраслевой) уровень практической значимости имеют исследования, значение которых распространяется на многие предметы, на всю область дидактики или теорию воспитания. Примером могут служить докторские диссертации В.Г. Горецкого «Теория и практика обучения чтению учащихся начальных классов общеобразовательной школы» и Ю.В. Сенько «Формирование научного стиля мышления в процессе обучения».
УРОВНИ ТЕОРЕТИЧЕСКОЙ ЗНАЧИМОСТИ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ — в зависимости от области распространения полученных результатов и их влияния мы различаем: проблемный, дисциплинарный, общепедагогический уровни теоретической значимости.
Проблемный уровень имеют исследования, изменяющие существующие теоретические представления по ряду важнейших проблем внутри одной области педагогики. Они образуют каркас науки, опорные теоретические положения, на основе которых разрабатываются отдельные проблемы. Так, в дидактике работы Е.В. Гурьянова, М.И. Зарецкого, Е.И. Перовского по вопросам проверки и оценки знаний легли в основу решения частных проблем: методов контроля, устных и письменных его форм, типов контрольных заданий, учета знаний учащихся.
Дисциплинарный уровень имеют исследования, которые вносят вклад в развитие отдельных педагогических дисциплин: дидактику, теорию воспитания, школоведение, историю педагогики и др., раскрывают основные понятия и категории этих дисциплин, закономерности, методы и т.д.
Общепедагогический уровень имеют работы, результаты которых оказывают воздействие на все области педагогики, выходят за рамки ее отдельных дисциплин, формируют общие методологические и общетеоретические положения.
ЭВРИСТИЧЕСКИЙ ПОТЕНЦИАЛ ИССЛЕДОВАНИЯ — совокупность познавательных средств и методов, используемых разработчиком для постановки и решения избранной проблемы. Эта величина переменная. Исследование, направленное на изучение известных в науке объектов, проводимое в рамках традиционной концепции, с помощью известных в данной области методов несет в себе низкий эвристический потенциал, а вероятность получения принципиально новых результатов очень мала, ибо дело ограничивается всего лишь уточнением и объяснением известных фактов, положений, процессов и явлений, которые в принципе могут быть получены экспертным путем с помощью метода антиципации.
Изучение ранее неизвестных объектов, в основе которых лежат новые факты, закономерности, концепции, с использованием новых для данной области науки методов характеризуется высоким эвристическим потенциалом. Оно может дать принципиально новые результаты, которые нельзя получить с помощью метода экспертных оценок. Научная ценность исследования определяется его эвристическим потенциалом, теми познавательными возможностями, которые несет в себе данная работа. Координатной сеткой для оценки этого потенциала выступают новые факты, концепции, объекты и методы, используемые разработчиком. Иными словами, деятельность ученых должна быть направлена на поиск новых подходов и решений. В практической педагогике ситуация иная. Проверенный опыт, дающий положительные результаты, здесь вполне уместен, и его не следует заменять на новый только потому, что он был ранее известен.
ЭКОНОМИЧЕСКАЯ ЭФФЕКТИВНОСТЬ РЕЗУЛЬТАТОВ НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ - прибыль, которая может быть получена от внедрения результатов исследований в практику (например, экономия средств от рационального размещения сети школ, от сокращения сроков обучения, снижения второгодничества и т. д.). Так, по расчетам экономистов, увеличение наполняемости классов на 0,1 % даст экономию примерно в 50 млн рублей ежегодно. Экономическая и социальная эффективность взаимосвязаны. Квалифицированные и более образованные работники дают продукцию лучшего качества, быстрее осваивают передовую технологию, активнее участвуют в изобретательской и рационализаторской деятельности. См. СОЦИАЛЬНАЯ ЭФФЕКТИВНОСТЬ РЕЗУЛЬТАТОВ НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ.
ЭКСПЕРТ — специалист в определенной области, компетентный в решении данной задачи, проблемы. Для педагогической экспертизы в качестве кандидатов в эксперты могут привлекаться ученые, учителя, преподаватели вузов и средних специальных учебных заведений, методисты. Кандидаты в эксперты подбираются на основании анкетных и документальных характеристик, самооценки, взаимооценки, эвристической, статистической, тестовой оценки и других методов.
ЭФФЕКТИВНОСТЬ - степень соизмерения результатов с затратами. Применительно к сфере образования различают социальную и экономическую эффективность. Социальная эффективность проявляется в повышении уровня образования, культуры, профессиональной подготовки молодежи, устранении негативных явлений в жизни общества, формировании полезных навыков и привычек. Экономическая эффективность может быть получена за счет сокращения сроков обучения, повышения его качества, рационального размещения сети школ, снижения числа неуспевающих и т.д. в результате внедрения в практику новых методов обучения, передового педагогического опыта. Подсчет экономической эффективности должен быть связан с качественным анализом, без которого легко прийти к абсурдным утверждениям относительно эффективности учебно-воспитательного процесса.
[1] Полонский В.М. Словарь по образованию и педагогике / В.М. Полонский. – М.: Высш. шк., 2004. – С. 161-173.