Предварительные замечания.
Что есть понятие «измерение»?
С позиции теории измерения Орт предложил следующую рабочую дефиницию: «Измерение есть определение степени выраженности какого-либо свойства предмета. Измерение осуществляется путем установления связи между числами и предметами, которые являются носителями подлежащих измерению свойств».
Результаты измерений должны отвечать требованиям точности и надежности, зависящим от того, насколько значительно само измерение. Важнейшими критериями, позволяющими дать оценку качеству измерений являются: объективность, надежность и валидность.
п. 1.1. Понятие педагогического эксперимента
Эксперимент – общий эмпирический метод исследования, суть которого заключается в том, что явления и процессы изучаются в строго контролируемых и управляемых условиях. Основной принцип любого эксперимента – изменение только одного фактора при неизменности и контролируемости всех остальных факторов.
Анализ диссертационных исследований по педагогическим наукам позволяет констатировать, что на сегодняшний день складывается следующая картина. С одной стороны, большинство исследователей четко представляет, что использование статистических методов необходимо (хотя бы потому, что это является общепринятым требованием в науке), и существует обширная литература по теоретической и прикладной статистике.
С другой стороны, статистические методы в педагогике либо не используются вообще, либо часто используются некорректно.
Во-первых, необходимо признать, что существующая литература в большинстве своем ориентирована на людей, имеющих математическое или техническое образование, и практически недоступна гуманитариям.
Во-первых, необходимо признать, что существующая литература в большинстве своем ориентирована на людей, имеющих математическое или техническое образование, и практически недоступна гуманитариям.
Во-вторых, класс типовых (наиболее распространенных, массовых) задач (случаев) анализа данных, возникающих в педагогических исследованиях, достаточно узок, и для эффективного решения этих задач вовсе не требуется знакомства со всем богатейшим арсеналом статистических методов.
Все это приводит к тому, что педагоги-исследователи боятся использовать статистические методы, а если и используют, то на уровне «шаманских заклинаний», особо не понимая, что и как надо делать, что они делают и какие результаты получают.
Целью эксперимента, в том числе в педагогическом исследовании по педагогическим наукам, является эмпирическое подтверждение или опровержение гипотезы исследования и/или справедливости теоретических результатов.
Рассмотрим следующую модель педагогического эксперимента. Пусть имеется некоторый педагогический объект, изменение состояния которого исследуется в ходе эксперимента. В качестве объекта может выступать отдельный индивид, группа, коллектив и т.д., например, множество учащихся, обучаемых по новой (предлагаемой в диссертации) методике. Состояние объекта измеряется теми или иными показателями (характеристиками) по критериям, отражающим его существенные характеристики.
Примерами критериев являются: успеваемость, уровень знаний и т.д.,
Примерами характеристик – время выполнения заданий, число сделанных, учащимися ошибок, число правильно решенных задач
Эксперимент заключается в целенаправленном воздействии на объект, призванном изменить его определенным образом. Собственно, это воздействие – его состав, структура, свойства и т.д. – и есть результат теоретического (теоретической части) исследования. Примерами воздействия являются новые содержание и формы, методы, средства обучения и т.д.
Следовательно, при проведении педагогического эксперимента необходимо обосновать, что состояние объекта изменилось, причем в требуемую сторону. Но этого оказывается недостаточно. Ведь нужно обосновать, что изменения произошли именно в результате произведенного воздействия.
Действительно, на утверждение о том, что успеваемость повысилась в результате использования новой методики, можно всегда возразить, – а, может быть, она сама повысилась бы, без каких-либо нововведений, или в результате каких-либо других воздействий? Аналогично, на утверждение о том, что успеваемость учащихся, прошедших обучение по новой методике, выше успеваемости тех, кто обучался по традиционной методике, можно возразить,– а, может быть, успеваемость первых до начала применения новой методики была выше, и, если бы новая методика не применялась, то она в результате оказалась бы выше наблюдаемой?
Таким образом, для того, чтобы выделить в явном виде результат целенаправленного воздействия на исследуемый объект, необходимо взять аналогичный объект и посмотреть, что происходит с ним в отсутствии воздействий.
Традиционно эти два объекта в экспериментальных исследованиях называют соответственно
Экспериментальной группой (например, обучаемой по предложенной методике)
Контрольной группой (например, обучаемой по традиционной методике).
Спрашивается, а где же место математических методов?
Роль их заключается в том, чтобы корректно и достоверно обосновать совпадение или различие состояний контрольной и экспериментальной группы. Однако, прежде чем описывать эти методы, давайте рассмотрим, что понимается под «состоянием объекта» и как это состояние измерять. Проблемами измерений занимается теория измерений, поэтому приведем минимально необходимые сведения из этой теории.
п. 1.2. Шкалы
Информация, имеющаяся о начальных и конечных состояниях экспериментальной и контрольной группы, определяется проведенными измерениями. Любое измерение производится в той или иной шкале, и выбранная шкала определяет тип получающихся данных и множество операций, которые можно с этими данными осуществлять.
Шкала (условно говоря, шкала – это множество возможных значений оценок по критериям) – числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного множества, как правило – множества чисел.
Шкала отношений – самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Для шкал отношений существует естественное начало отсчета (нуль), но нет естественной единицы измерений (педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания (в секундах, минутах, часах и т.п.), количество ошибок или число правильно решенных задач.)
Шкала интервалов применяется достаточно редко и характеризуется тем, что для нее не существует ни естественного начала отсчета, ни естественной единицы измерения. Примером шкалы интервалов является шкала температур по Цельсию.
Порядковая шкала (шкала рангов) – шкала, относительно значений которой уже нельзя говорить ни о том, во сколько раз измеряемая величина больше (меньше) другой, ни на сколько она больше (меньше). Такая шкала только упорядочивает объекты, приписывая им те или иные ранги (повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) может быть отнесена к шкале порядка).
Шкала наименований (номинальная шкала), фактически, уже не связана с понятием «величина» и используется только с целью отличить один объект от другого: фамилии учеников, номера автомобилей, телефонов и т.п.
Наиболее распространенная мера педагогических оценок –шкала оценки знаний и умений учащихся в баллах.
Наиболее распространенная мера педагогических оценок –шкала оценки знаний и умений учащихся в баллах.
Выделив какие-либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, исследователь приписывает этим уровням соответствующие значения баллов: «1», «2», «3» и т.д., или «0», «10», «100», что принципиально безразлично. Но использование порядковой шкалы как критерия оценки для педагогических исследований нежелательно, хотя и не исключено.
Утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправомочным, некорректным. Тем более при использовании балльных оценок некорректны (даже абсурдны) утверждения типа: «эффективность экспериментальной методики в 2,6 раза выше контрольной».
Замечание:
В общем же случае можно выделить следующие характеристики, измеряемые в шкале отношений [18]:
— временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.);
— скоростные (производительность труда, скорость реакции, движения и т.д. – величины, обратные времени);
— точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.);
— информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия и т.д.).
Приведем некоторые типичные (то есть, наиболее часто встречающиеся в диссертационных исследованиях по педагогике, характеристики: уровень (степень) знаний, усвоения, обучаемости, компетентности, подготовки, адаптируемости, отношения, сформированности, удовлетворенности, профессионализма, самостоятельности, становления, развития и т.д.; качество обучения; эффективность деятельности (учебной, преподавательской, воспитательной, управленческой).