Журнал: "Эксперимент и инновации в школе" № 1/2010
Раздел: Теория инновационной и экспериментальной деятельности, стр. 2-9

Новиков Александр Михайлович,
действительный член
Российской Академии образования
академик,
доктор педагогических наук,
профессор

Общие эмпирические методы исследования

Как грамотно использовать в педагогическом исследовании эмпирические методы?

Обследование. Обследование – это изучение исследуемого объекта с той или иной мерой глубины и детализации в зависимости от поставленных исследователем задач. Синонимом слова «обследование» является «осмотр», что говорит о том, что обследование – это, в основном, первоначальное изучение объекта, проводимое для ознакомления с его состоянием, функциями, структурой и т.д. Обследования, по отношению к учебному заведению, могут быть внешними и внутренними.

Внешние: обследование социокультурной и экономической ситуации в регионе, обследование рынка образовательных услуг и рынка труда, обследование состояния занятости населения и т.д. Внутренние: обследования внутри учебного заведения – обследование состояния учебно-воспитательного процесса, обследования контингента учащихся и т.д.

Обследование проводится посредством частных методов эмпирического исследования: наблюдения, изучения и анализа документации, устного и письменного опроса, привлечения экспертов и т.д. Для проведения обследования внутри учебного заведения целесообразно использовать по лучившие широкое распространение в методической работе разнообразные диагностические методики, опубликованные в многочисленных методических рекомендациях. Кроме того, для проведения внутренних обследований зачастую бывает целесообразно пригласить стороннюю организацию или группу независимых экспертов, которые смогут нарисовать более объективную картину состояния дел в учебном заведении.

Любое обследование проводится по заранее разработанной подробной программе, в которой детально планируется содержание работы, ее методический инструментарий (составление анкет, комплектов тестов, вопросников, перечня подлежащих изучению документов и т.д.), а также критерии оценки подлежащих изучению явлений и процессов. Затем следуют этапы: сбора информации, обобщения материалов, подведения итогов и оформления отчетных материалов. Причем, на каждом этапе может возникнуть необходимость корректировки программы обследования, когда исследователь или группа исследователей, проводящих его, убеждаются, что собранных данных не хватает для получения искомых результатов, или собранные данные не отражают картину изучаемого объема и т.д.

По степени глубины, детализации и систематизации обследования подразделяют на:

• пилотажные (разведывательные) обследования, проводимые для предварительной, относительно поверхностной ориентировки в изучаемом объекте;
• специализированные (частичные) обследования, проводимые для изучения отдельных аспектов, сторон изучаемого объекта;
• модульные (комплексные) обследования – для изучения целых блоков, комплексов вопросов, программируемых исследователем на основании достаточно подробного предварительного изучения объекта, его структуры, функций и т.д.;
• системные обследования – проводимые уже как полноценные самостоятельные исследования на основе вычленения и формулирования их предмета, цели, гипотезы и т.д., и предполагающие целостное рассмотрения объекта, его системообразующих факторов.

{mosregread}На каком уровне проводить обследование в каждом конкретном случае решает сам исследователь или исследовательский коллектив в зависимости от поставленных целей и задач научной работы.

Мониторинг – постоянный надзор, регулярное отслеживание состояния объекта, значений отдельных его параметров с целью изучения динамики происходящих процессов, прогнозирования тех или иных событий, а также предотвращения нежелательных явлений. Мониторинг можно подразделить на внешний и внутренний. Для образовательных учреждений объектами внешнего мониторинга могут быть параметры (показатели) рынка образовательных услуг, рынка труда в регионе, динамика развития отраслей экономики в нем, платежеспособности населения и различных его категорий для прогнозирования возможностей развития платных образовательных услуг, трудоустройство выпускников и дальнейший их образовательный и профессиональный рост и т.д. Объектом внутреннего мониторинга нередко выступает, регулярное изучение отношения учащихся, студентов и своему учебному заведению, к условиям учебы и отдыха, к преподавателям, к образовательным программам и т.д. Такое изучение проводится, к примеру, регулярным, не реже одного раза в семестр, анкетированием учащихся. При проведении мониторинга используются и другие частные эмпирические методы: изучения документации (в том числе имеющейся статистики, ведомственных отчетов и т.д.), экспертные оценки и т.п.

Изучение и обобщение педагогического опыта. При проведении педагогических исследований изучение и обобщение педагогического опыта применяется с различными целями: для определения существующего уровня детальности учебных заведений, функционирования педагогического процесса, выявления недостатков и узких мест в педагогической практике, изучению эффективности применения научно методических рекомендаций, выявления новых образовательных услуг и образовательных программ, содержания, форм и методов обучения и воспитания, рождающихся в творческом поиске передовых руководителей, методистов, учителей, преподавателей, мастеров, воспитателей и целых педагогических коллективов. Объектом изучения могут быть: массовый опыт – для выявления основных тенденций развития образования; отрицательный опыт – для выявления типичных недостатков и узких мест; передовой опыт, в процессе которого выявляются, обобщаются, становятся достоянием науки и практики новые педагогические находки.

Изучение и обобщение передового опыта является одним из основных источников развития педагогической науки, поскольку этот метод позволяет выявлять актуальные научные проблемы, создает основу для изучения закономерностей педагогического процесса.

Выделяют две разновидности передового педагогического опыта: 1) педагогическое мастерство, которое заключается в умелом, рациональном, комплексном использовании педагогом рекомендаций науки; 2) педагогическое новаторство, т.е. опыт, содержащей собственные творческие находки: новые образовательные услуги, новое содержание, формы и методы, приемы и средства обучения и т.д.

В учебном заведении изучение и обобщение передового педагогического опыта может быть направлено на: 1) собственный опыт – в деятельности отдельных педагогов. В любом учебном заведении всегда может найти что-то интересное, оригинальное, заслуживающее внимание. 2) заимствованный опыт. Прежде, чем приступить к исследованию собственных проблем, проведению собственных исследований, руководителям учебного заведения, педагогическому коллективу всегда необходимо «осмотреться вокруг» – что делается в других учебных заведениях области, края, республики, или в других регионах – многие вопросы можно решить, многие инновации внедрить, используя опыт, накопленный другими.

Критерии передового опыта:

1. Новизна. Может проявляться в разной степени: от внесения новых положений в науку до эффективного применения уже известных положений и рационализации отдельных сторон педагогического процесса.
2. Высокая результативность. Передовой опыт должен давать хорошие результаты: высокое качество подготовки, существенные показатели в уровне воспитанности учащихся, студентов.
3. Соответствие современным достижениям науки. Достижение высоких результатов не всегда свидетельствует о соответствии опыта требованиям науки.
4. Стабильность – сохранение эффективностиопыта при изменении условий, достижение высокихрезультатов на протяжении достаточно длительноговремени.
5. Возможность использования опыта другими педагогами и учебными заведениями. Передовой опыт могут сделать своим достоянием другие педагоги. Он не может быть связан только с личностными особенностями его автора.
6. Оптимальность опыта – достижение высоких результатов при относительно экономной затрате времени, сил педагогов и учащихся, студентов, а также не в ущерб решению других образовательных задач.

Изучение и обобщение педагогического опыта осуществляется такими частными эмпирическими методами исследования как наблюдение, опросы, изучение литературы и документов и др.

Внедрение передового педагогического опыта осуществляется как посредством устных форм коммуникаций – педагогическое наставничество, авторские школы передового педагогического опыта, педагогические практикумы, конференции, педагогические чтения, так и через литературные формы научных коммуникаций – статьи, бюллетени, сборники материалов, методические рекомендации и т.д.

Недостатком обследования, мониторинга, изучения и обобщения педагогического опыта как общих методов исследования является относительно пассивная роль исследователя – он может изучать, отслеживать и обобщать только то, что сложилось в образовательной практике, в экономике и т.д., активно влияя на происходящие процессы только за счет эффективного внедрения выявленных кем - то созданных инноваций. Но при этом исследователь не может строить и реализовывать на практике собственные замыслы в образовательных инновациях. Этого недостатка лишены два других метода: опытная работа и эксперимент.

Опытная работа. Опытная работа – это метод внесения преднамеренных изменений, инноваций в образовательный процесс в расчете на получение более высоких его результатов с последующей их проверкой и оценкой. Так, например, к опытной работе можно отнести проверку на практике новых учебных планов и программ, учебников, новых образовательных услуг, новых перечней специальностей и т.д. Их нередко называют экспериментальными, но это неверно. Эксперимент – это нечто иное, о чем будет сказано ниже. В данном случае речь идет об опытных программах, опытных учебниках и т.п.

Опытная педагогическая работа становится методом педагогического исследования при следующих условиях:

1. когда она поставлена на основе добытых наукой данных в соответствии с теоретически обоснованной гипотезой;
2. когда она преобразует действительность, создает новые педагогические явления;
3. когда она сопровождается глубоким анализом, из нее извлекают выводы и создаются теоретические обобщения.

Изучая процесс опытной работы и систематически анализируя результаты, исследователь педагог должен применять, по-возможности, объективные, точно измеряемые критерии. Необоснованно завышенная оценка результатов опытной работы может привести к пропаганде примитивных и убогих инноваций, недооценка результатов опытной работы будет тормозить развитие как педагоги ческой практики, так и педагогической теории.

Чтобы правильно оценить результаты работы, нельзя довольствоваться лишь тем, что достигнуто повышение эффективности образовательного процесса. Важно уяснить, как, какими методами и приемами это достигнуто: простое описание явлений без объяснения их взаимосвязей и причин возникновения нельзя считать научным обобщением.

В опытной педагогической работе применяются все частные методы эмпирического исследования: наблюдение, анализ документов, экспертная оценка и т.д.

Опытная педагогическая работа занимает как бы промежуточное место между изучением и обобщением передового опыта и экспериментом.

Она является средством активного вмешательства исследователя в образовательную практику. Однако опытная работа дает только результаты эффективности или неэффективности тех или иных инноваций в общем, суммарном виде. Какие из факторов внедряемых инноваций дают больший эффект, какие меньший, как они влияют друг на друга – ответить на эти вопросы опытная работа не может.

Для более глубокого изучения сущности того или иного педагогического явления, изменений, происходящих в нем, и причин этих изменений, в процессе исследований прибегают к варьированию условий протекания явлений и процессов и факторов, влияющих на них. Этим целям служит эксперимент.

Эксперимент – общий эмпирический метод исследования, суть которого заключается в том, что явления и процессы изучаются в строго контролируемых и управляемых условиях. Основной принцип любого эксперимента – изменение в каждой исследовательской процедуре только одного какого - либо фактора при неизменности и контролируемости остальных. Если надо проверить влияние другого фактора, проводится следующая исследовательская процедура, где изменяется этот последний фактор, а все другие контролируемые факторы остаются неизменными, и т.д.

В ходе эксперимента исследователь сознательно изменяет ход какого-нибудь явлением путем введения в него нового фактора. Новый фактор, вводимый или изменяемый экспериментатором, называется экспериментальным фактором, или независимым переменным. Факторы, изменившиеся под влиянием независимого переменного, называется зависимыми переменными.

Если, например, исследователь испытывает новый метод обучения и проверяет, как он влияет на успешность овладения учащимися знаниями, умениями, развитие каких либо качеств их личности, то независимым переменным является метод, а зависимыми переменными – знания, умения, качества личности учащихся.

Если эксперимент происходит в условиях обучения целого класса, учебной группы без нарушения естественного хода учебно-воспитательного процесса, его называют естественным экспериментом.

При лабораторном эксперименте учащийся, студент (или небольшая их группа) изолируются от остального коллектива учебной группы, чтобы обеспечить более детальное и внимательное изучение каких либо аспектов и точный учет результатов эксперимента. Лабораторные эксперименты проводятся, как правило, во внеучебное время.

В основном различают четыре вида эксперимента:

1) констатирующий – определение исходных данных для дальнейшего исследования (например, начальный уровень знаний и умений учащихся по какому-то разделу программы). Данные этого вида эксперимента используются для организации следующих видов эксперимента;

2) обучающий, при котором обучение проводится с введением нового фактора (новый материал, новые средства, приемы, формы обучения) и определяется эффективность их применения;

3) контролирующий, с помощью которого через какой- то промежуток времени после обучающего эксперимента определяется уровень знаний и умений учащихся, развития какого либо качества личности по материалам обучающего эксперимента;

4) сравнительный, при котором в одной учебной группе работа ведется по одному материалу (методу), в другой группе – по другому материалу (методу).

Наиболее распространенной формой педагогического эксперимента является сравнительный эксперимент, т.е. форма экспериментальных и контрольных групп, при котором в одних группах в учебно-воспитательный процесс вводится новый фактор (экспериментальный фактор), а в других группах этот фактор не вводится. При этом важно, чтобы, за вычетом вводимых исследователем факторов, остальные условия, влияющие на результаты учебной работы, были для тех и других групп одинаковыми.

При сравнительном эксперименте необходимо:

• уравнять условия учебно-воспитательной работы (кроме экспериментального фактора) в экспериментальных и контрольных группах;
• определить при помощи насколько возможно объективных способов оценки начальный уровень обученности, развития учащихся в тех и других группах;
• провести учебно-воспитательную работу в экспериментальных группах с введением экспериментального фактора, а в контрольных группах без него;
• снова определить уровень обученности, развития учащихся после окончания эксперимента;
• определить уровень сохранения у учащихся достигнутых результатов через достаточно длительный промежуток времени (3 – 6 месяцев) – контролирующая процедура.

При проведении любого педагогического (образовательного) эксперимента для получения объективных и достоверных данных существенную роль играет планирование эксперимента. Планом эксперимента определяется характер отдельных фаз эксперимента и порядок их проведения.

При планировании педагогического эксперимента исследователь должен определить: количество экспериментируемых (учащихся, студентов, классов, групп); способы отбора экспериментируемых; этапы проведения эксперимента. Чем более четко спланирован эксперимент, тем более объективные результаты он делает.

План эксперимента должен включать:

• цель и задачи эксперимента;
• место и время проведения эксперимента и его объем;
• характеристику участвующих в эксперименте учащихся, студентов;
• описание материалов, используемых для эксперимента;
• описание методики проведения эксперимента и применение частных методов исследования;
• методику наблюдения, тестирования и т.п. в ходе эксперимента;
• описание методики обработки результатов эксперимента.

Необходимо отметить, что исследователь должен составить план эксперимента таким образом, чтобы всякий другой достаточно подготовленный человек мог бы по нему успешно провести эксперимент.

Количество экспериментируемых (объем выборки), степень достоверности получаемых результатов можно определить с помощью правил математической статистики.

Необходимо обратить внимание читателя на то обстоятельство, что при проведении любой опытно экспериментальной работы обязательным, хотя и неписанным требованием к исследователю является требование тщательного, аккуратного и подробного ведения ее документации: протоколов наблюдений, комплектов опросных листов и анкет, магнито и видеозаписей, осциллограмм при использовании самопишущих приборов и т.п. На всех этих и других носителях эмпирической информации обязательно записывается дата, фамилия экспериментатора, условия проведения исследовательской процедуры. Переписывание в «чистовики» протоколов и других документов, перемонтаж - магнито и видеозаписей, других экспериментальных материалов не допускается. Вся документация хранится у исследователя постоянно, как правило, на протяжении всей жизни.

Это требование, являющееся традицией научной работы, обусловлено двумя обстоятельствами. Во -первых, наличие эмпирической документации позволяет проконтролировать ход и результаты опытно экспериментальной работы, например, научным руководителем или же самим исследователем, когда бывает необходимо сопоставить эмпирические данные, полученные в разных условиях, в разное время и т.д. Кроме того, материалы опытно экспериментальной работы могут быть запрошены у исследователя при защите диссертации или на стадии ее экспертизы.

Во-вторых, нередко случается, что впоследствии, спустя даже много лет, исследователя самого или его научных последователей – учеников могут заинтересовать новые, совершенно иные аспекты ранее изучавшихся явлений, процессов. Наличие сохраненной в упорядоченном виде эмпирической документации позволит в этом случае использовать прежние данные для новых целей, не повторяя той же опытно экспериментальной работы.

Критерии оценки результатов

Самый сложный и острый вопрос для любого эмпирического педагогического исследования – по каким критериям производится оценка педагогических явлений, процессов. Критерии эффективности – важнейшая проблема вообще для любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем.

Поэтому, приступая к опытно экспериментальной части исследования, необходимо самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы и т.д. необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент опрашиваемых или обучаемых, сколько классов, групп необходимо будет включить в опытно экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.

Критерии должны удовлетворять, в частности, следующим признакам:

1. Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.
2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, личностных качеств, а часто даже не знаем – какие способности и качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающихся проблемами воспитания молодежи.
3. Критерии должны быть нейтральными по отношению к исследуемым явлениям. Так, если в ходе эксперимента в одних группах, допустим, изучается какая то новая тема, а в других – нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.

Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, например, в связи с введением аттестации педагогических работников некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи – это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из критериев, поскольку, помимо профессиональной математической подготовки, подготовки по физике учитель должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания.

Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций.

В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких то качеств личности учащихся, студентов можно лишь в процессе каких либо определенных действий, совершаемых этими учащимися, студентами, когда они активно могут проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий» как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше – эстрадная или классическая?» (изучалось воспитание эстетического вкуса студентов) – вряд ли может о чем-то говорить. Ведь студен ты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» – ответы учащихся на вопрос – «понравились ли занятия по основам информатики и вычислительной техники?» Ведь, во-первых, учащиеся могут «подыграть» спрашивающему, а во вторых, наверное, не всегда учение может и должно нравиться – также как горькое, но необходимое лекарство для больного.

Еще один типичный случай – изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками – уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Эта оценка чисто умозрительная. Здесь, наверное, можно было бы попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школах, других образовательных учреждениях, которая предполагала бы какие то их практические действия в этом направлении.

Или же «критерий» – ответ на вопрос, нередко обращаемый к преподавателям – участникам опытно экспериментальной работы: «Надо ли применять такие занятия?» Положительный ответ на него позволяет, возможно, судить о готовности тех или иных научно методических разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным критерием эффективности результатов научного исследования.

Наиболее часто встречаются случаи, когда в качестве критерия выделяются определенные уровни сформированности каких либо качеств личности учащихся, например, моральной ответственности, эстетической культуры, гуманистических отношений и т.п., или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что, выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, – экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объективности критерия и достоверности результатов здесь речь идти не может.

Другое дело, если вводятся уровни качественно, принципиально отличные один от другого по какому то определенному основанию классификации. Например, для оценки овладения учащимися знаниями нередко используются четыре уровня, предложенные В.П. Беспалько (См. Беспалько В.П. Основы теории педагогических систем. – Воронеж. – 1977. – 304 с.): первый уровень – знания знакомство – узнавание объектов, процессов, свойств при повторном восприятии ранее усвоенной информации; второй уровень – знания копии – предполагает репродуктивное воспроизведение и применение полученной информации; третий уровень – предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; четвертый уровень – знания трансформации – предполагает возможность творческого применения полученной информации посредством самостоятельного конструирования собственной деятельности.

При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню.

Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, дополняют друг друга. Исследователь, как правило, не ограничивается только качественными критериями и стремится использовать в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины.

О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим образом: величина есть мера множества, относительно элементов которого имеют смысл утверждения – больше, меньше, равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что учащийся Иванов равен учащейся Петровой (не путать с равноправием!) смысла не имеет, т.к. каждый человек – неповторимая личность. Но, например, утверждение, что рост, вес учащегося Иванова больше (меньше, равен) росту Петровой имеет уже вполне определенный смысл: рост и вес здесь выступают величинами.

Величина задается той или иной шкалой измерений, оценки. Шкала измерения – это числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда. Шкала измерений делится на четыре основных класса:

– шкала отношений – самая мощная шкала. Она позволяет оценивать, во сколько раз измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравнение: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины – время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания, количество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о том, что учащийся Иванов правильно решил, к примеру, в два раза больше задач, чем учащийся Петров, но утверждение, что знания учащегося Иванова в два раза больше знаний учащегося Петрова будет неправомерным.

В отдельных случаях, в том числе в исследованиях по профессиональному образованию применяются оценки и в мерах физических величин – величина допускаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), величина электрической активности мышц в милливольтах и т.п. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами.

– шкала интервалов – довольно редко применяющаяся и менее мощная. Примером ее является шкала температур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим образом: за ноль была принята точка замерзания воды, за 100 градусов – точка ее кипения, и, соответственно, интервал температур между замерзанием и кипением воды поделен на 100 равных частей – градусов. Здесь уже утверждение, что температура в 30 градусов С в три раза больше, чем 10 градусов С будет неверным. Справедливо говорить лишь об интервалах температур – температура в 30 градусов С на 20 градусов С больше, чем температура в 10 градусов С. В педагогических исследованиях, в частности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два значения: да – нет, лучше – хуже, и т.д. В такой шкале имеется только один интервал деления 0 – 1 или плюс минус и т.д., поэтому ее можно рассматривать как предельный случай интервальной равномерной шкалы – просто «равномерность» не с чем сравнивать.

– шкала порядка или шкала рангов еще более слабая шкала – шкала, относительно значений которой уже нельзя говорить о том, ни во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Так, например, построена шкала твердости минералов Мооса: взят набор 10 эталонных минералов для определения относительной твердости методом царапания. За 1 принят тальк, за 2 – гипс, за 3 – кальцит и так далее до 10 – алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый минерал, допустим, царапает кварц (7), но не царапает топаз (8) – соответственно его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, психологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, поскольку оценка знаний, умений в баллах обладает определенной субъективностью. Если в шкале Мооса тому или иному минералу может быть однозначно приписано строго определенное значение твердости, то оценка знаний одного и того же учащегося у разных преподавателей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных учебных заведениях, в разных регионах – в зависимости от уровня предъявляемых требований, и, соответственно, возможностей педагогов, учебного заведения, контингента учащихся и т.п. В учебных заведениях некоторых стран применяется и другая оценка успеваемости учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе, выпуске. Это тоже шкала порядка.

– шкала наименований. Она фактически уже не связана с понятием «величина» и используется только с целью отличить один объект от другого: номера автомобилей, телефонов, применение цифр или букв алфавита для перечисления пунктов в законах, положениях и т.п.

Теперь, когда мы совершили небольшой экскурс в систему измерений, рассмотрим вопрос о применении шкал измерений в педагогических исследованиях.

Наиболее распространенная мера педагогических оценок – шкала оценки знаний и умений учащихся в баллах. Школьные оценки (отметки) – удобный аппарат для практики обучения, который выполняет не только оценивающие, но и определенные воспитательные функции – стимулирования одних учащихся, определенного «наказания» других и т.д.

В педагогических исследованиях используются также и другие шкалы балльных оценок. Например, выделив какие либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, исследователь приписывает этим уровням соответствующие значения баллов: «1», «2», «3» и т.д., или «0», «1», «2»..., что принципиально безразлично.

Но использование балльной шкалы оценок как критерия оценки для педагогических исследований нежелательно, хотя и не исключено. И дело здесь не только в известной необъективности отметок, о чем уже говорилось, но и в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерности интервалов между соседними значения ми оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на «5» настолько же отличаются от знаний, оцененных на «4», как знания, оцененные на «4», отличаются от знаний, оцененных на «3». С тем же успехом можно было бы приписывать баллам значения не «1», «2», «3», «4», «5», а, допустим «1», «10», «100», «1000», «10000». И поэтому совершенно неправомерно использование так широко применяемой в исследованиях величины среднего балла (по классу, группе учащихся и т.д.), поскольку учреждение предполагает сложение значений величин, а операция суммы на таком множестве (шкале) не может быть корректно (грамотно) определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия.

Поэтому, например, утверждение о том, что оценка учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправильным, некорректным.

Сказанное будет относиться и любым другим критериям оценки, использующим шкалу порядка. В принципе, шкалу балльных оценок так же, как другие шкалы порядка можно использовать в педагогических исследованиях, если исследователь убежден в объективности выставляемых оценок. Но в этом случае необходимо использовать специальные непараметрические критерии различия, например, критерий знаков (о статистических критериях достоверности различий мы поговорим ниже). Но эти критерии слабые и для установления достоверных различий необходимо получение значительно больших массивов данных.

По этим соображениям целесообразно использовать такие способы оценки, которые позволяют применить шкалу отношений или шкалу интервалов, а не шкалу порядка. Так, например, использовать тесты – серии коротко и точно сформулированных вопросов, заданий, на которые учащийся должен дать короткие и однозначные ответы, в правильности (или неправильности) которых нельзя сомневаться. Точно так же могут быть построены письменные контрольные работы, результаты обработки анкет (процент учащихся, давших положительные ответы на тот или иной вопрос) и т.д.{/mosregread}

О применении статистических методов обработки результатов исследования. В большинстве педагогических исследований, как правило, применение методов математической статистики бывает вызвано необходимостью установления достоверности различий между результатами обучения, каких то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п. Причем, нередко начинающие исследователи используют какие-либо статистические критерии достоверности различий, не ориентируясь, какой критерий можно и нужно использовать в том или ином случае. В оправдание этому следует сказать, что в большинстве пособий по математической статистике соответствующие разделы написаны настолько нечетко и сложно, что разобраться в них непрофессиональному статистику довольно таки трудно. Поэтому мы здесь приведем следующий «рецепт» с учетом данной выше информации о шкалах измерений:

1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференциации (разности) двух средних показателей (среднее значение по одной и по другой группе) применяются t – критерий Стьюдента или F – критерий Фишера. При этом, если количество данных в каждой группе велико (сотни) – можно быть практически уверенным (по крайней мере для педагогических исследований), что эти данные будут распределены по нормальному закону (распределение Гаусса). Если выборки малы (десятки) – необходимо убедиться в том, что распределение близко к нормальному. В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t или F критерии.

2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а какому либо иному закону распределения, или в тех случаях, когда нет уверенности о распределении данных по нормальному закону, применяется менее чувствительный метод Хи-квадрат.

3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметрические критерии: критерий знаков, критерий Уилкоксона Мана Уитни, критерий Колмогорова и др. Но по сравнению с F, t критериями, критерием Xи-квадрат эти критерии малочувствительны, для определения достоверности различий по ним необходимы большие объемы выборок. Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике. Там же также достаточно просто сформулированы правила, формулы вычисления среднего, моды, медианы и дисперсии распределения, о чем говорилось выше.

Обычно в педагогических исследованиях принимается достаточным 95% уровень достоверности различий.

Однако, если исследование проводится в рамках только одного учебного заведения, получить такой высокий уровень достоверности различий весьма проблематично из за относительно небольшого контингента учащихся, студентов. Но учитывая, что полученные результаты будут использоваться, как правило, только в данном учебном заведении, так сказать для «внутреннего пользования», можно принять другой, более низкий уровень достоверности различий – 68% (также стандартная в математической статистике величина, как и 95%). Это будет означать, что полученные результаты в контрольных и экспериментальных группах различаются с вероятностью несколько большей, чем 2/3.