Эксперт по инновационной деятельности в образовании Печать

Потребности в экспертах, в условиях реализации стратегических направлений развития российского образования, резко возросли. Поиск специалистов для проведения экспертизы из числа работников образования даже на уровне высшего управленческого звена не в состоянии решить возникающие проблемы. Научные работники, обладающие необходимыми знаниями и способные осуществить экспертные функции, как правило, сосредоточены в крупных городах, имеющих научные школы, но даже на уровне этих городов потребности в экспертах не полностью удовлетворены.

Какими качествами должен обладать эксперт по инновационной деятельности в образовании?

Инновационная деятельность, охватывающая все элементы системы образования: содержание, технологию, организацию, управление, экономику, требует научно-обоснованного введения ее в реальную практику. Оценку инновационным изменениям и заключение об их актуальности, обоснованности, реалистичности и необходимости для практики образования должны осуществлять специалисты, владеющие теорией и технологиями осуществления экспертной деятельности.

Экспертиза в традиционном ее понимании тесно связана с идеей специализации и с высоким статусом специалиста в современном обществе. Экспертиза – это не просто формирование, отбор и обработка мнений экспертов. Она определяется, в первую очередь, работой экспертов по обеспечению аргументации мнений, их мотивированности и предпочтительности с учетом выдвинутых оснований. Решение таких вопросов предполагает уже не просто эффективную методику и технику экспертизы, но и разработку способов отбора экспертов для экспертирования инновационной деятельности в образовании.

Традиционно эксперт – специалист, привлекаемый к экспертизе, оценке какого-либо продукта или деятельности. Эксперт (от латинского «опытный») – специалист в какой-либо области, производящий экспертизу1.

{mosregread}Например, Ю.В.Сидельников называет экспертом человека, являющегося специалистом и имеющего практический опыт, который:

  • имеет объективные и полные сведения об особенностях и свойствах внешнего объекта и дает рекомендации относительно предпочтительных вариантов управляющих решений, касающихся данного объекта;
  • обладает правами и обязанностями и несет ответственность за свое экспертное заключение, определенными нормативными документами;
  • включен в процесс принятия решений, выполняя специальную ролевую функцию, и поставлен перед задачей их научного обоснования;
  • высказывает суждения по вопросу из области его специальных знаний и практического опыта, поставленному перед ним некоторым лицом, независимо от внешних влияний и собственной выгоды2.

Таким образом, эксперт – это, прежде всего, специалист, обладающий необходимыми знаниями и опытом в области его профессиональной деятельности, который включен в процесс принятия решений. Он высказывает суждения по поставленному перед ним вопросу, обладает правами, обязанностями и принимает на себя ответственность за сделанные им экспертные заключения3.

Оценивая, эксперт опирается на свое мнение о качестве исследуемого объекта или явления, при этом предполагается, что его ответ – гарантия правильной оценки4.

Специфические особенности инновационной деятельности, разнообразие способов и методов экспертного оценивания, отсутствие единого подхода к классификации экспертизы накладывают определенный отпечаток на совокупность требований, которым должны отвечать эксперты.

Одним из наиболее важных этапов в экспертизе инновационной педагогической деятельности является выбор экспертов. Поэтому особое внимание уделяется вопросам о качествах, которые должны быть присущи эксперту, как специалисту по инновационной деятельности и способах отбора экспертов для проведения экспертизы.

В настоящее время не существует общепринятого мнения относительно того, кто должен привлекаться к экспертизе инновационной деятельности, по каким показателям производить отбор экспертов при формировании экспертных групп и как качественно измерять соответствие (пригодность) каждого кандидата в эксперты для выполнения экспертной работы.

Рассмотрим качества, необходимые эксперту по инновационной деятельности в образовании, и возможные способы отбора экспертов для проведения экспертиз в соответствии с типологией экспертиз, предлагаемой нами в рамках инновационной деятельности в образовании.

Исходя из типологии экспертизы, выделены четыре классификационных направления, которые задают стратегическую линию в отборе качеств, необходимых эксперту, и процедуре организации и проведения экспертизы инновационной деятельности. К этим направлениям относятся:

  1. Функциональное направление, которое определяет целевую направленность и основные задачи, решаемые экспертами.
  2. Мировоззренческое направление, которое определяет форму и уровень отражения существующей реальности.
  3. Организационное направление, которое определяет уровень организации экспертизы (международный, всероссийский, региональный и т.п.), формы деятельности экспертов, формы организации экспертизы, формы контакта в процессе проведения экспертизы, формы представления материала.
  4. Субъектно-объектное направление, которое определяет место эксперта в ходе процедуры экспертизы относительно субъектов и объектов экспертизы.

Основополагающими при определении качеств экспертов по инновационной деятельности в образовании являются мировоззренческое и функциональное направления, в которых раскрывается целевая направленность и основные задачи, выполняемые экспертами, а также уровень мировоззренческого отражения экспертируемого объекта.

Организационное и субъектно-объектные направления, задающие уровень организации экспертизы, формы деятельности экспертов, формы организации экспертизы, формы контакта в процессе проведения экспертизы, формы представления материала и место эксперта в ходе процедуры экспертизы относительно субъектов и объектов экспертизы, являются решающими при определении процедуры организации и проведения экспертизы.

В соответствии с целевой направленностью и основными задачами, выполняемыми экспертами, были выделены четыре классификации экспертизы инновационной деятельности, которые применяются в зависимости от целевых установок и стадии (цикла), на которой находится инновация в момент проведения экспертизы:

  • нормоконтролирующая,
  • квалифицирующая (интерпретирующая),
  • дегустационная,
  • понимающая.

Качества, необходимые эксперту по инновационной деятельности в образовании, раскрываются через основные функции и задачи, которые приходится решать в ходе экспертизы данного вида деятельности.

Специфика работы эксперта по инновационной деятельности заключается в оценке продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки. Эксперт, проводящий нормоконтролирующую или/и квалифицирующую (интерпретирующую) экспертизу, осуществляет идентификацию инновации существующей практике, интерпретирует ее в социокультурном и образовательном контексте, определяет последствия от реализации и выделяет перспективы развития. Основными функциями, выполняемыми экспертом, будут диагностические и оценочные, в нормоконтролирующей экспертизе добавляется контролирующая функция, а в квалифицирующей – частично прогнозируюшая.

Не всегда инновационная деятельность поддается упорядочиванию, систематизации, типологизации и т.п. В педагогической практике возникают ситуации, когда инновацию с помощью эксперта следует смоделировать, достроить и определить, существует ли возможность ее вписывания (введения) в реальную практику, какие при этом могут возникнуть риски, к каким последствиям инновация может привести.

Экспертиза инновационной деятельности, осуществляемая исходя из суждений и вкуса эксперта (дегустационная экспертиза), строится на авторитете и опыте эксперта, на его ощущениях. Эксперт использует категории: «интересно» или «значимо», «оригинально» или «в данном случае необходимо». Именно отсутствие эталона или его неэксплицированность ведут к возникновению экспертной деятельности по типу «дегустации». Эксперт, осуществляющий дегустационную экспертизу инновационной деятельности, решает в ходе ее проведения наряду с оценочными, контрольными исследовательские и прогнозные задачи.

В ходе проведения понимающей экспертизы основной задачей экспертиза становится не квалификация или оценка инновационной деятельности, а ее оформление и выращивание до уровня внедрения (транслируемости, распространения). При этом решающее значение приобретает не экспертная интерпретация, а помощь автору в самовыражении, становлении своего собственного уникального опыта. Эксперт, осуществляющий понимающую экспертизу инновационной деятельности, решает в ходе ее проведения исследовательские, оценочные, прогнозные и в очень большой степени формирующие (конструкторские) задачи.

Исходя из проведенного анализа задач, выполняемых экспертом в ходе нормоконтролирующей, квалифицирующей, дегустационной и понимающей экспертиз, приходим к выводу, что для качественного выполнения вышеперечисленных функций (диагностических, исследовательских, оценочных, контрольных, прогнозных, формирующих, конструкторских), эксперт должен быть компетентным специалистом. При этом, компетентность эксперта должна распространяться как на объект оценки качества (профессиональная компетентность), так и на методологию оценки (квалиметрическая компетентность).

А.И. Суббето поднимает проблему оценочной этики и считает, что оценочная деятельность является такой формой профессионализма, которая в условиях «субъект-субъектных» отношений предъявляет требования профессионализма не только в области квалиметрии, но и требования профпригодности по своим внутренним, личностным, социотипным, психотипным, биотипным свойствам. Принцип «не навреди» должен входить в «оценочный этический кодекс», если речь идет об оценках качества применительно к человеку»5.

Профессиональная компетентность эксперта, как специалиста в определенной сфере, предполагает знание теории исследования экспертируемой проблемы (объекта). В соответствии с предложенной нами классификацией, профессиональная компетентность отражает мировоззренческий уровень рефлексии, она касается предметной профессиональной деятельности эксперта (в образовании – это обучение, воспитание, технологии, дидактика, управление и т.д.). Компетентность как степень квалификации эксперта в определенной области знаний определяется на основе плодотворности деятельности специалиста, уровня и широты знакомства с достижениями мировой науки, понимании современных проблем и перспектив развития.

Квалиметрическая компетентность обеспечивает четкое понимание специалистом экспертных методов оценки, умение пользоваться различными типами оценивающих шкал, различая при этом достаточно большое число их градаций6. Квалиметрическая компетентность предполагает профессиональное знание специалистом принципов организации и проведения экспертиз, методов получения, анализа и обработки экспертной информации, анализа результатов экспертизы. Отсутствие профессионального владения технологиями экспертного оценивания чревато получением неадекватных оценок, а в итоге – принятием нереализуемых, неэффективных решений.

Как правило, в литературе называются лишь отдельные качества, необходимые эксперту без всякого их обоснования. Чаще всего называют такие качества, как компетентность, беспристрастность, объективность7, иногда лишь компетентность и беспристрастность, еще реже – лишь компетентность. В работе П.Г. Евланова, В.А.Кутузова представлены характеристики, позволяющие дать качественную оценку эксперту, к ним относятся: компетентность, креативность, отношение к экспертизе, конформизм, нонконформизм, мотивированность, объективность, аналитичность и широта мышления, конструктивность мышления, коллективизм, самокритичность и др.8

По мнению Э.П. Райхмана и Г.Г. Азгальдова, качество эксперта определяется четырьмя группами свойств9, к которым относятся: компетентность, заинтересованность в результатах экспертизы, деловитость и объективность (беспристрастность).

С.Л. Братченко выделяет пять групп качеств «идеального» эксперта. К первой группе относятся личные качества, которые включают личную зрелость, порядочность и нравственную зрелость, критичность и эвристичность, готовность к открытиям и работе в новых для себя ситуациях, толерантность, способность к децентрации, видение ситуации с разных точек зрения, наблюдательность и восприимчивость, интуицию, чутье на гуманитарные проблемы, корректность, тактичность, деликатность, независимость, принципиальность, способность не поддаваться давлению других людей.

Ко второй группе автор отнес коммуникативную компетентность, которая включает уважение и внимательность к собеседнику, «беспристрастную заинтересованность», способность устанавливать контакт, способность слушать и слышать, эмпатию, искусство помощи собеседнику в высказывании своего мнения, способность адекватно выражать собственную позицию, коммуникативную гибкость и конструктивность, готовность разрешать межличностные проблемы.

Третья группа рассматривается как методологическая и методическая грамотность, к ней относятся знание методологии экспертирования, понимание специфики гуманитарной парадигмы, владение основными методами гуманитарного познания, готовность к их адекватному применению, способность подбирать, модифицировать и развивать методы исследования с учетом конкретных задач и условий экспертизы, способность проводить экспертное исследование.

В четвертую группу выделена профессиональная подготовка, в этом разделе исследователь считает необходимым наличие у эксперта гуманитарного образования, знание актуальной педагогической реальности, основных современных подходов, тенденций и инноваций в сфере образования, психологической грамотности, знание основных подходов к экспертизе образования и практики их применения, знание правовых основ и законов, относящихся к проведению экспертизы в образовании.

Практический опыт отнесен к пятой группе качеств «идеального» эксперта, а именно опыт работы в сфере образования, опыт проведения реальных психолого-педагогических исследований, применение гуманитарных методов, опыт участия в экспертизах в гуманитарной сфере10. Разработанный «портрет» эксперта С.Л. Братченко предлагает использовать в качестве ориентира при подборе экспертов, что, на наш взгляд, представляет огромные сложности и не гарантирует качество экспертной группы на выходе.

Учитывая, что компетентность эксперта распространяется как на объект оценки качества, так и методологию оценки, эксперт, привлекаемый к экспертизе инновационной деятельности:

  1. Должен обладать необходимыми знаниями и опытом в сфере образования.
  2. Быть способным к анализу вновь поступившей информации.
  3. Быть способным дать оценку объекту экспертизы в пределах своей компетенции с учетом основных направлений развития образования
  4. Владеть используемыми в экспертизе технологиями.
  5. Быть способным оценить возможность их применения в конкретной ситуации и дать соответствующие рекомендации и заключения.
  6. Быть готовым отвечать за представленные им заключения.

В соответствии с необходимостью гибкого подхода к экспертизе инновационной деятельности и использования различных форм проведения экспертизы О.С. Анисимов выделяет ценностный имидж методолога (эксперта, осуществляющего системно-деятельностный подход, структуралистский подход), при этом выделяет неспецифические черты характера, к которым относит:

  • быстроту осознания различий: между достижением и целеполаганием, между реализацией и построением способа действия, между реализацией своего и чужого замысла и т.п.;
  • склонность к осознанию себя в действии и анализе, в построении способа действия; сопоставление возможного или требуемого способа существования с желаемым; предварительное построение способа необходимого действия; организованное проведение дискуссий; критериальность организации дискуссий;
  • способность к глубокому вхождению в точку зрения автора;
  • склонность к усилению точки зрения автора; отделение содержания альтернативной точки зрения от эмоциональной формы ее предложения.

И выделяет одиннадцать специфических черт11:

  1. Склонность к выявлению и применению обобщенных ориентиров в ходе построения способа действия и его анализа.
  2. Предпочтение стратегических форм ориентировки и проектирования способа действия над ситуационными и тактическими.
  3. Стремление к совмещению достоинств практического действия и его анализа: к совмещению достоинств устоявшегося и нового способов действия, к совмещению достоинств гарантированности и рискованности действия и анализа действия, к совмещению достоинств полного доверия к содержанию способа действия и осторожности в его ситуационном применении, к совмещению достоинств самоорганизации в деятельности и совместных форм слежения за осмысленностью действия, к совмещению достоинств стратегической и ситуационной адекватности действия.
  4. Быстрота прихода к пониманию и принятию потребности в средствах организации мышления.
  5. Быстрота принятия необходимости изобразительных средств организации коммуникации, мышления, рефлексии.
  6. Легкость построения изобразительных схем и адекватного процессуального их прочтения.
  7. Осторожность и отчетливость сопоставления содержания схем с рефлексивными смыслами.
  8. Быстрота перехода от ситуационных схем к понятийно-категориальным схемам.
  9. Склонность к организационно-мыслительному воздействию на других в зависимости от содержания схем и требований к их применению.
  10. Быстрота перехода от подтверждения готовых схем к их опровержению.
  11. Склонность к дозированному изменению содержания схем, к предпочтению изменений сначала в абстрактных схемах, а затем в конкретных12.

Проведенный нами социологический опрос специалистов в сфере образования позволил определить спектр качеств, которыми, по мнению респондентов, должен обладать эксперт по инновационной деятельности в образовании. В опросе участвовало 737 человек из 7 регионов Российской Федерации.{/mosregread}

Экспертом в образовании может быть:

  • человек, знающий (хорошо) проблемы в образовании и видящий перспективы развития, умеющий мыслить, просчитывать все свои шаги, сводя риски до минимума;
  • независимый специалист с высоким уровнем образования и культуры; уважаемый человек в детских, студенческих, молодежных аудиториях; коллеги из других образовательных учреждений, молодые начинающие педагоги;
  • профессионал, специалист, человек инновационного мышления;
  • любой (в зависимости от уровня экспертизы), владеющий методикой измерений по своему направлению;
  • человек компетентный в теоретических вопросах, имеющий практический опыт;
  • человек, знающий предмет экспертизы, существующие стандарты и нормы в той области, которая подвергается экспертизе, методы проведения экспертизы;
  • специалист, имеющий знания в данной области, опыт в экспертной деятельности, практический опыт в данной области;
  • высокообразованные в данной сфере субъекты с опытом практической деятельности в образовательных учреждениях, компетентные в предмете экспертизы.

Качества, которыми должен обладать эксперт:

  • высокая компетентность, доброжелательность, авторитет, аналитические способности;
  • высокий профессионализм, способный стать на позицию другого, дистанцироваться от своего опыта, открытость к общению;
  • высокий уровень профессионализма в области образования, активная гражданская позиция;
  • компетентность в области предмета экспертизы, объективность, независимость;
  • профессионализм, доброжелательность, объективность, компетентность, ответственность, порядочность;
  • честность, ответственность, рационализм, коммуникабельность, критическое мышление;
  • высокий интеллект, теоретическая подготовка, способность логически мыслить, объективность;
  • компетентность, гибкость, толерантность, коммуникабельность, креативность, объективность, аналитические способности, конструкторское мышление, деловитость, заинтересованность;
  • компетентность, дальновидность, объективность, педантичность, коммуникативность.

Встречались и следующие ответы: «Какими бы он не обладал качествами, все равно от субъективизма не уйдет, следовательно, всегда будет что-то спорное, не согласуемое с объектом экспертизы».

На наш взгляд, эксперт по инновационной деятельности в образовании должен наряду с вышеназванными качествами, а именно профессиональной и квалиметрической компетентностью, обладать и такими качествами, как:

  • креативность (способность решать творческие задачи, метод решения которых частично или полностью неизвестен),
  • эвристичность (способность видеть или создавать неочевидные проблемы),
  • интуиция (способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению),
  • иредикаторность (способность предсказывать или предчувствовать будущее состояние исследуемого
  • объекта),
  • независимость (способность противопоставлять предубеждениям и массовым мнениям свое собственное),
  • всесторонность (способность видеть проблему с различных точек зрения).

{mosregread}Все функции в экспертизе, так или иначе, связаны с познавательной деятельностью. Экспертиза – это и исследовательская, и оценочная, и прогностическая и формирующая творческая деятельность. В основе анализа, доказывает Ю.А. Конаржевский13, лежит такой вид познавательного компонента психологической структуры управленческой деятельности, как мыслительная деятельность. В экспертизе инновационной деятельности между собой конкурируют два способа мышления: критический и творческий. При проведении нормоконтролирующей и квалифицирующей (интерпретирующей) экспертизы преобладает критическое мышление, которое направлено на выявление недостатков, несоответствий, недоработок и т.п. При оценке инновационной деятельности с использованием (применением) дегустационной и понимающей экспертизы преобладает творческое мышление, которое связано с конструкторскими навыками, с обобщением информации в виде нескольких структур и даже с открытием оригинальных идей, моделей, способов и т.п. Это предполагает необходимость наличия у экспертов по инновационной деятельности иредикаторности и как критического, так и творческого мышления, без которых невозможно объективно оценивать результаты инновационной деятельности, так как ситуация, в которой осуществляется выбор того или иного вида экспертизы, связана со стадией, на которой находится инновационный процесс, т.е. инновационным циклом.

Экспертная деятельность является интеллектуальной, в основу которой положен интуитивно-логический анализ действительности. Интуитивная его часть не поддается алгоритмизации. Вряд ли было бы корректным применять понятие методы, методики или процедуры к гениальным озарениям, догадкам, возникающим в процессе творчества или к получению научных (инновационных) результатов случайным образом, во время поисков чего-либо другого. Интуицию делят на две разновидности: чувственную и интеллектуальную. В процессе экспертизы инновационной деятельности экспертам, осуществляющим дегустационную и понимающие экспертизы, когда экспертиза строится на авторитете и опыте эксперта, на его ощущении, эксперту необходимо наличие как чувственной, так и интеллектуальной интуиции. Интуиция – это способность постижения истины путем прямого ее усмотрения без обоснования с помощью доказательства14.

По мнению А.Бергсона, интуиция есть окраина или полутень интеллекта; ее вытеснили из центра из-за того, что для действия она менее полезна, чем интеллект: ее функция заключается скорее в тончайшем усмотрении сути дела, а не в самом деле. Существенная особенность интуиции состоит в том, что она не разделяет мыслимый объект на части и не рассматривает их порознь, чтобы затем перейти к синтезу, а как бы в одно мгновение схватывает целое в его сущности, да так, что рациональная логика ума не поспевает за ней, а потом «удивляется» тому, как это у нее получилось, как это она опередила его. Интуиция как бы изначально синтетическая активность духа, при этом самая тонкая, самая изящная его «особа»15.

Роль интуиции особенно велика там, где необходим выход за пределы существующих приемов познания для проникновения в доселе неведомое. Интуиция составляет качественно особый вид умозаключения, когда отдельные звенья логической цепи проносятся в сознании более или менее бессознательно, а предельно ясно осознается именно итог мысли – истина. В интуиции тесно смыкаются мышление, чувство и ощущение. Интуиции бывает достаточно для усмотрения истины, но ее недостаточно, чтобы убедить в этой истине других и самого себя. Для этого необходимо доказательство, которым в экспертизе может служить экспертная оценка и заключение специалиста, интерпретация сделанных в процессе экспертизы выводов.{/mosregread}

Для экспертизы, осуществляемой в социальных системах, к которой относится и образование, главными становятся не только профессиональная и квалиметрическая компетентность, но и человеческая, нравственная мудрость экспертов. Выработка сложных решений в ситуации неопределенности при оценке инновационной деятельности в образовании требует от эксперта эрудиции во многих областях знаний.

Моисеев А.М. и Моисеева О.М. в своих работах отмечают, что «быть настоящим экспертом – это не должность, а призвание»16. Мы приходим к выводу, что в какой-то степени эксперт – это специалист штучный.

Новкова Т.Г.,
доктор педагогических наук, профессор,
заведующая кафедрой развития
образовательных систем АПК и ППРО

Литература

  1. Алексеев Н.Г. Принципы и критерии экспертизы программ развития образования // Вопросы методологии. – 1994. – № 1–2. - С. 59–68. с. 59
  2. Анисимов О.С. Основы методологии./Учебное пособие. – М.: Российская академия менеджмента и агробизнеса, 1994, с.25
  3. Бешелев С.Д., Гурвич Ф.Г. 3. Экспертные оценки. – М.: Наука, 1973, 103
  4. Братченко С.Л 4. . С.116-119
  5. Григоров В.М Роль экспертов в выработке управленческих решений//Научное управление обществом. – М.:Мысль, 1972 - вып.6, 336
  6. Евланов П.Г., Кутузов В.А. 6. Экспертные оценки в управлении. - М.: Экономика, 1978.
  7. Квалиметрия человека и образования: методология и практика. Национальная система качества образования в России. Четвертый симпозиум. Пятый симпозиум / Под научной редакцией Н.А.Селезневой, А.И.Суббето. – М.:Исследовательский центр проблем качества подготовки специалистов, 1995.- 242 с., 133 с., 1996.-212 с., с.71
  8. Конаржевский Ю.А. Концепция проблемно-функцио нального внутришкольного управления//Управление школой: проблемы, опыт, перспективы. - Екатеринбург, 1992, С. 5
  9. Литвак Б.Г. Экспертные технологии в управлении. – М.: Издательство «Дело», 2004,с. 39,398 с.
  10. Моисеев А.М. и Моисеева О.М. Заместитель директора школы по научной работе. – М., 1996,с.46
  11. Общие методические рекомендации по оценке эстетического уровня промышленных изделий. – М.: ВНИИТЭ, 1971, 17
  12. Райхман Э.П., Азгальдов Г. Г. Экспертные методы в оценке качества товаров. – М.: Экономика, 1974, 94
  13. Рац М.В., Копылов Г.Г., Ойзерман М.Т. Строительство будущего: аналитические деятельности // Человек и природа. - 1990. - № 2. - С. 21- 55. с. 51
  14. Розин Б.Б. Теория распознавательных образов в экономических исследованиях. – М.: Экономика, 1973, 28
  15. Сидельников Ю.В. Теория и организация экспертного прогнозирования.- М.: ИМЭМО АН СССР, 1990
  16. Словарь иностранных слов, с.575
  17. Спиркин А.Г. Философия. – М.: Гардарики, 2001, с. 514, 816

 

1(Словарь иностранных слов, с.575)

2Сидельников Ю.В. Теория и организация экспертного прогнозирования.- М.: ИМЭМО АН СССР, 1990

3Литвак Б.Г. Экспертные технологии в управлении. – М.:Издательство «Дело», 2004, с. 39. 398 с.

4Алексеев Н.Г. Принципы и критерии экспертизы программ развития образования // Вопросы методологии. - 1994. - № 1 - 2. - С. 59 - 68. с. 59.

5А.И.Суббето. – М.: Исследовательский центр проблем качества подготовки специалистов, 1995.- 242 с., 133 с., 1996.-212 с., с.71

6Райхман и Г. Г. Азгальдов. Экспертные методы в оценке качества товаров. – М.: Экономика, 1974, 34

7Григоров В.М Роль экспертов в выработке управленческих решений//Научное управление обществом. – М.:Мысль, 1972 - вып.6, 336

8П.Г.Евланов, В.А.Кутузов. Экспертные оценки в управлении. - М.: Экономика, 1978.

9Райхман и Г. Г. Азгальдов. Экспертные методы в оценке качества товаров. – М.: Экономика, 1974, 94

10С.Л. Братченко, с.116-119

11О.С.Анисимов. Основы методологии.- М.: Российская академия менеджмента и агробизнеса, 1994, с.24-25, с.306

12Анисимов О.С. Основы методологии /Учебное пособие. – М.: Российская академия менеджмента и агробизнеса, 1994, с.25

13Конаржевский Ю.А. Концепция проблемно-функционального внутришкольного управления//Управление школой: проблемы, опыт, перспективы. - Екатеринбург, 1992, С. 5.

14Спиркин А.Г. Философия. – М.:Гардарики, 2001, с.514, 816 с.

15Спиркин А.Г. Философия. – М.:Гардарики, 2001, с.515

16Моисеев А.М. и Моисеева О.М. Заместитель директора школы по научной работе. – М., 1996, с.46