Квалиметрия образования и образовательных услуг
-
Введение
Описание методики
Квалиметрия образования
Квалиметрия образовательных услуг
Цели и задачи эксперимента
Результаты эксперимента
Вузы, представленные в рейтинге качества обучения
Выводы
За весь период проведения эксперимента ни одно решение, обоснованное результатами квалиметрии образования и образовательных услуг, не было опровергнуто или хотя бы поставлено под сомнение. Напротив, представители многих вузов независимо от результатов аттестации их образовательных программ выражали удовлетворение непредвзятостью, научной обоснованностью и прозрачностью аттестационной экспертизы. На основании анализа квалиметрических таблиц составлялись планы устранения недостатков, выявленных во время государственной аттестации, принимались ответственные управленческие решения. Это не означает, конечно, что эксперимент не дал пищи для размышлений и обсуждения дальнейших перспектив работы в этом направлении.
В первую очередь это касается номенклатуры показателей качества. Составленная сразу после механического объединения лицензионной, аттестационной и аккредитационной экспертизы в комплексную оценку деятельности вузов, она крайне несовершенна и малоинформативна. Между тем номенклатура и весовые коэффициенты аттестационных показателей относятся к инструментам управления качеством образования, и их обоснованность трудно переоценить.
Разделение комплексного показателя качества образования на 4 единичных, предложенное в самом начале эксперимента, полностью себя оправдало. Однако споры о весовых коэффициентах этих показателей продолжаются до сих пор. В ходе эксперимента весовые коэффициенты устанавливались методическими советами и методическими комиссиями вузов по специальностям и направлениям подготовки. Обращает на себя внимание высокая степень согласованности мнений методистов по этим вопросам, характеризовавшаяся значениями коэффициента конкордации в интервале от 0,65 до 0,85. Усредненное мнение вузовской общественности о весомости единичных показателей качества образования приведено в таблицах 3 и 4.
Усредненные весовые коэффициенты показателей качества образования
| Таблица 3 для образовательных программ гуманитарного профиля
|
Таблица 4 для образовательных программ технического профиля
|
По иному обстояло дело с весовыми коэффициентами показателей качества образовательных услуг. Члены ученых советов вузов не могли установить здесь выраженных приоритетов, их мнения расходились самым существенным образом, значения коэффициента конкордации в большинстве случаев не выходили за пределы интервала от 0,1 до 0,3. В таких условиях нельзя говорить о практической значимости результатов, полученных путем усреднения большого массива экспериментальных данных. Тем не менее, таблица 5 позволяет получить представление о характере общественного мнения.
|
Таблица 5
|
Скорее всего, работу по формированию более совершенной номенклатуры показателей качества образовательной деятельности (образовательных услуг) и назначению их весовых коэффициентов нужно продолжить. В качестве одного из вариантов можно рассмотреть номенклатуру, структуру и весовые коэффициенты показателей качества образовательной деятельности, представленные на рис.1. На совещании проректоров высших учебных заведений России, проходившем в декабре 2003 года в Москве, этот вариант был предложен для обсуждения и не встретил возражений.
Выбор трехуровневой измерительной шкалы порядка полностью себя оправдал. Измерение качества образования экспертным методом возможно только по шкале порядка. Можно было бы, конечно, остановиться на более привычном выборе реперных точек, которые обозначаются баллами:
-
5 – «отлично»;
4 – «хорошо»;
3 – «удовлетворительно»;
2 – «неудовлетворительно»
 |
|
| где | i = 2,3,4,5 – оценка из числа общепринятых;
ni – число i-х оценок. |
- весовой коэффициент j-го блока, по которому получена i-ая оценка;Но опыт показывает, что при этом все равно приходится бороться с непреодолимым стремлением педагогических работников к математическим манипуляциям с обозначениями (например, к подсчету среднего балла), что совершенно недопустимо. Кроме того, как показал эксперимент, для оперативного принятия решения
 |
При квалиметрии образовательных услуг выполняются как объективные, так и субъективные измерения. Объективные измерения состоят в сравнении с нормой. Норма обеспеченности учебной литературой составляет, например, 0,5 учебника на одного студента. Результаты таких измерений могут быть представлены на самой информативной измерительной шкале – шкале отношений. При субъективных измерениях качество чего бы то ни было (например, организации учебного процесса) сравнивается со средним (по мнению эксперта) уровнем, характерным для образовательных учреждений. Результаты таких измерений могут быть представлены только на шкале порядка – наименее информативной из всех измерительных шкал. При объединении нескольких показателей качества в один (комплексный) результат его измерения может быть представлен только на наименее информативной из всех использованных шкал. Таким образом, при измерении качества образовательных услуг пользоваться шкалой отношений нет смысла.
На шкале, показанной на рис. 2, естественным образом объединяются результаты измерений показателей качества образования и качества образовательных услуг.
Эксперимент позволил определить критериальные значения показателей качества и сформулировать правила принятия решений при аттестации образовательных учреждений. С самого начала было ясно, что государственная аттестация будет стимулировать повышение качества образования только в том случае, если к нему предъявлять опережающие требования. Это означало, что аттестация студентов должна проводиться по требованию: «качество образования должно быть выше среднего уровня». Однако такое требование оказалось завышенным. В ходе эксперимента практически сразу пришлось перейти к аттестации студентов по требованию «качество образования должно быть не ниже среднего уровня». На рисунках 3 и 4 показана зависимость результатов аттестации 376 образовательных программ в 36 вузах от критериального значения q. Графики, приведенные на рисунках, свидетельствуют о том, что изменение критериального значения q является весьма чувствительным и эффективным механизмом управления качеством образования.
 |
Критериальные значения обобщенного показателя качества образовательных услуг в ходе эксперимента тоже претерпели изменения. В результате они подобраны таким образом, чтобы стимулировать устранение отдельных недостатков, обнаруженных во время аттестационной экспертизы, в сжатые, но вполне реальные, сроки.
Как уже отмечалось, во время эксперимента Государственной инспекцией по аттестации учебных заведений России были повышены требования к качеству решений, принимаемых государственными аттестационными комиссиями. Если судить о результатах по отношению полезного эффекта к затратам, то эта мера вряд ли себя оправдала. Объемы выборок значительно возросли, увеличились трудозатраты, продолжительность и стоимость экспертизы. В то же время экспериментального подтверждения того, что ошибок первого или второго рода стало меньше, не получено. В дальнейшем есть все основания рекомендовать «компромиссные» значения условных вероятностей ошибок первого и второго рода:
-
α = 0,05;
β = 0,005.
Большой объем экспериментальных данных, полученных независимыми экспертами и имеющих официальный статус, позволил составить рейтинг качества обучения в вузах Российской Федерации, прошедших государственную аттестацию по описанной методике. Он помещен на сайде www.ipa-spb.com. По каждой специальности и каждому направлению подготовки вузы разделены на две категории. К первой категории отнесены вузы, качество образования в которых по этой специальности или направлению подготовки выше среднего уровня. В вузах второй категории качество образования находится на среднем уровне. Место, которое занимает вуз в своей группе, определяется средним значением показателя качества образования (см. табл. 1). Наряду с этим учитывается значение обобщенного показателя качества образовательных услуг (интегральный показатель качества в табл.2). Если значение последнего показателя значительно больше первого, то есть основание полагать, что качество образования в ближайшее время может повыситься. Во всяком случае, для этого есть объективные предпосылки. В противном случае прогноз гораздо менее благоприятный.
В качестве иллюстрации на рисунке 5 показан рейтинг качества обучения по специальности «Бухгалтерский учет и аудит» в вузах, прошедших до ноября 2002 года государственную аттестацию по методике количественной оценки качества образования и образовательных услуг. Полный список вузов, информация о качестве обучения в которых помещена на сайде www.ipa-spb.com, приведен в таблице 6. Счетчик посещаемости этого сайда свидетельствует о большой его популярности, особенно в период подготовки к поступлению в высшие учебные заведения.
