О комплексной оценке уровня качества бюджетных услуг


О комплексной оценке уровня качества бюджетных услуг

С.А. Кириллова
О.Г. Кантор
Ю.А. Кузнецова

Исчерпание возможностей экономического роста за счет экстенсивных факторов производства предопределяет необходимость дальнейшего развития на основе повышения эффективности их использования. При этом экономический рост рассматривается не как самоцель, а как средство повышения качества жизни населения. Важным элементом эффективного воспроизводства человеческого капитала -одного из ключевых ресурсов экономического развития - должно стать обеспечение населения бюджетными услугами, не только в адекватном социально-ориентированной экономике объеме, но и соответствующего качества. Для осуществления государством активной социальной политики по предоставлению населению социально-значимых общественных благ (услуг в сфере здравоохранения, образования, культуры и искусства и др.) важное значение имеет достоверная оценка их качества. Эта оценка, по нашему мнению, должна иметь комплексный характер, т. е. базироваться на совместном учете объективных (количественных с позиции производителя) и субъективных (качественных с позиции потребителей) характеристик.

Анализ существующего методического обеспечения показал, что несмотря на актуальность решения задачи повышения качества и доступности бюджетных услуг, продекларированной в рамках проводимых в России реформ (административной, государственного управления, региональных финансов), до сих пор не разработана единая методика их комплексной оценки. Так, в одних методиках оценивается качество ресурсного обеспечения бюджетных услуг (например, «Требования к оснащению образовательного процесса в соответствии с содержательным наполнением учебных предметов» Федерального агентства по образованию Минобрнауки России). Другие регламентируют оценку качества процесса предоставления услуг, т.е. эффективность работы субъектов-распорядителей бюджетных средств («О комплексной оценке деятельности образовательного учреждения дополнительного профессионального образования» Минобрнауки; «О порядке оценки потребности и соответствия качества фактически предоставляемых бюджетных услуг стандартам качества бюджетных услуг» Республики Хакасия; «Об оценке эффективности расходов, осуществляемых за счет средств бюджета Республики Карелия» и др.). Третьи содержат оценку результативности бюджетных услуг («О бюджетных услугах, стандартах результативности предоставления бюджетных услуг, методах их использования для планирования, исполнения и оценки эффективности деятельности субъектов бюджетного планирования» Ленинградской области; «Методические рекомендации по проведению оценки потребности и качества предоставляемых бюджетных услуг» Республики Хакасия и др.).

Вышеуказанные методики помимо достоинств (например, по формированию системы показателей оценки качества на основе принципов сбалансированной системы показателей, по выделению главных и промежуточных целевых показателей и т. д.), имеют общий недостаток - отсутствие алгоритма расчета показателя качества услуг, представляющего собой комплексную оценку всех его составляющих.

Систематизация существующих теоретических и методических подходов в этой области позволила построить их классификацию. Отличием данной классификации от существующих является использование в качестве критерия комплексной оценки составляющих (трехмерной) системы качества - качества ресурсов, качества процесса и качества результата бюджетных услуг.

Цель предпринятого исследования состоит в разработке инструментария, позволяющего наряду с объективными (количественными) характеристиками качества учитывать его субъективную компоненту. Достижение этой цели обеспечивается посредством применения трех подходов - экспертного, оценивающего качество рассматриваемых услуг с позиций субъективных представлений потребителя; формального, базирующегося на использовании стандартных методов оценки; комбинационного, объединяющего оценки, полученные в рамках двух упомянутых подходов.

Комплексность и логическая увязка характеристик бюджетных услуг в экспертном подходе достигаются путем группировки показателей по этапам предоставления услуги: от получения информации о ней до ее потребления. Оценка субъективной компоненты качества услуг, согласно предложенной модели, основана на анкетном опросе потребителей. Предложенные в анкетах вопросы определяют свойства услуг (по каждой составляющей качества) на каждом этапе их предоставления и оцениваются респондентами по пятибалльной системе с обеспечением возможности группировки вариантов ответов по составляющим качества: ресурсной, процессной и результирующей.

Схема поэтапной оценки качества услуг с последующей аддитивной сверткой полученных значений в интегральный показатель показана на рис. 1. Аналогичным образом определяется оценка качества услуг по формирующим ее составляющим: качеству ресурсов, процесса и результата.

Для учета объективной компоненты качества в рамках реализации формального подхода на основе данных статистической отчетности выполняется оценка качества составляющих бюджетных услуг. При этом качество ресурсной составляющей оценивается с помощью многофакторного корреляционно-регрессионного анализа соответствующих показателей. Качество процессной составляющей оценивается на основе расчета темпов изменения показателя, принятого за результирующий при построении регрессионной модели. Оценка качества составляющей результата основана на выборе и расчете логически наиболее подходящего статистического показателя, отражающего целевую направленность предоставления различных видов бюджетных услуг.

Модель оценки качества бюджетных услуг, реализующая комбинационный подход, обеспечивает получение комплексной оценки путем совместного учета результатов экспертного и формального подходов посредством решения многокритериальной задачи и использования аппарата теории нечетких множеств.

Апробация разработанного инструментария осуществлена на примере оценки качества услуг, предоставляемых государством в сфере высшего профессионального образования Республики Башкортостан (РБ).

В рамках реализации экспертного подхода для выявления степени обеспечения потребителей образовательными услугами предложена анкета из 30-ти вопросов, сгруппированных по этапам предоставления, а также по составляющим качества бюджетных услуг. Участниками опроса, проведенного в 2006 г., стали 180 студентов ведущих вузов республики, что обеспечило представительность выборки (0,2% общей численности студентов вузов региона).

Рис. 1. Схема расчета интегрального показателя качества бюджетных услуг на основе экспертного подхода

Показатели расчета обобщающих поэтапных и интегральных оценок субъективной компоненты качества услуг высшего образования приведены в табл. 1.

Таблица 1

Оценка субъективной компоненты качества бюджетных услуг, предоставляемых в сфере высшего профессионального образования РБ в 2006 г., доля ед.

№ этапа

Предоставление услуги

Показатель качества

вузы в целом

УГАТУ

УГНТУ

БГУ

УГАИ

1

Получение информации и выбор

         
 

поставщика услуги

0,42

0,43

0,47

0,36

0,42

2

Обращение к поставщику услуги

0,40

0,35

0,42

0,43

0,40

3

Ожидание получения услуги

0,35

0,25

0,45

0,35

0,35

4

Получение услуги

0,51

0,44

0,51

0,58

0,51

5

Интегральный показатель качества

0,42

0,37

0,46

0,43

0,42

Примечание. УГАТУ — Уфимский государственный авиационный технический университет; УГНТУ — Уфимский государственный нефтяной технический университет; БГУ — Башкирский государственный университет; Уфимская государственная академия искусств им. Загира Исмагилова.

При применении экспертного метода полученная оценка качества услуги интерпретируется с использованием значений интервалов качества, или подмножеств состояний.

Согласно указанной интерпретации интегральный показатель качества услуг высшего образования Башкортостана, приведенный в табл. 1 (0,42), соответствует среднему уровню качества. Наиболее высокое значение субъективной компоненты (0,51) зафиксировано на 4-ом этапе предоставления услуг, а самое низкое (0,35) -на третьем.

Оценка субъективной компоненты составляющих качества бюджетных услуг, предоставленных в сфере высшего профессионального образования РБ в 2006 г., позволила получить следующие результаты

Качество ресурсов - 0,25

Качество процесса - 0,52

Качество результата - 0,49

Интегральный показатель качества - 0,42

По данным проведенного в 2006 г. опроса, потребители услуг высшего образования в Башкортостане более всего не удовлетворены состоянием материально-технической базы высших учебных заведений (65% респондентов). Это связано, прежде всего, с низкой обеспеченностью учреждений техническими средствами (в частности, компьютерной техникой), что не позволяет в полной мере усвоить излагаемый на занятиях материал (80% опрошенных), а также использовать новые технологии преподавания. На тот факт, что при достаточной кадровой обеспеченности профессионализм преподавателей нельзя оценить на «отлично», указали 75% студентов высших учебных заведений. Основные факторы, которые вызывают недовольство -неспособность заинтересовать обучающихся (65%), недостаточная ясность изложения преподаваемых дисциплин (47%), загруженность студентов изучением непрофильных предметов (39%), отсутствие современных методов проведения занятий (35%).

Поэлементная оценка объективной компоненты качества бюджетных услуг с позиций формального подхода была осуществлена на основе статистических данных, характеризующих деятельность учреждений высшего образования РБ за период 2000-2006 гг.

Для оценки качества ресурсной базы высших учебных заведений РБ на основе корреляционного анализа была построена система из 12-ти (см. табл. 3) показателей, объективно характеризующих обеспеченность вузов кадрами, материальными и финансовыми ресурсами. В качестве результирующего показателя (Y), выражающего меру полезности услуг образования, способных удовлетворить установленные (или предполагаемые) потребности пользователя принят показатель «количество человек с высшим образованием в общей численности населения».

В результате вычислительных процедур была сформирована эконометрическая модель:

Y = 6,58 + 0,07x7 + 0,00032x12. (1)

О достоверности полученной модели позволяют судить значения коэффициента множественной корреляции R=0,98, коэффициента Фишера F=32,2 и стандартизованного значения остатков Dост=0,29.

По результатам моделирования можно сделать вывод о преобладающем влиянии фактора обеспеченности учебных заведений техническими средствами (персональными компьютерами) на значение результирующего показателя. Данный вывод подтверждают и материалы анкетного опроса учащихся.

Качество процесса услуг в сфере высшего образования РБ, оценивалось по соотношению численности выпущенных специалистов и поступивших абитуриентов при допущении об отсутствии значительных изменений числа студентов. Интегральный показатель качества бюджетных услуг в сфере высшего образования рассчитывался как среднее арифметическое составляющих качества.

Результаты оценки качества ресурсной базы, рассчитанные на основе сформированной модели за период 2000-2006 гг., а также оценки качества процессной и результирующей составляющих приведены в табл. 2.

Таблица 2

Оценка объективной компоненты качества бюджетных услуг вузов в РБ в 2000-2006 гг., доля ед.

Год

Составляющие качества услуг

Интегральный показатель

ресурсов

процесса

результата

2000

0,32

1,00

0,40

0,573

2003

0,61

0,51

0,74

0,620

2004

0,70

0,09

0,78

0,523

2005

0,74

0,03

0,80

0,523

2006

0,70

-0,03

0,73

0,467

Результаты расчетов указывают на повышательную динамику ресурсной и результирующей составляющих качества при четко выраженной понижательной динамике процессной составляющей предоставления услуг. Среди основных причин отмеченных тенденций, выявленных по материалам опроса обучающихся, можно выделить отсутствие современных методов изложения дисциплин, а также высокую загруженность студентов непрофильными предметами.

Расчет комплексного показателя качества бюджетных услуг высшего образования, обеспечивающего совместный учет субъективной и объективной компонент качества, осуществляется в рамках комбинационного подхода. Аддитивная свертка полученных в рамках формального и экспертного подходов оценок качества в комплексную оценку качества с учетом ранее проведенных исследований [1] выполняется путем решения многокритериальной задачи с использованием аппарата теории нечетких множеств.

На первом этапе расчета комплексной оценки качества услуг формируется система субъективных и объективных показателей {xi, i=1, 31}, структурированных по составляющим качества (ресурсов, процесса и результата) (табл. 3).

Количественные значения субъективных и объективных показателей, полученные на основе применения первых двух подходов - экспертного и формального, были преобразованы в относительные показатели, градуированные по шкале от 0 до 1. Преобразование субъективных оценок осуществлялось на основе использования методики расчета интегрального показателя качества, предложенной при реализации экспертного подхода, объективных оценок - путем использования стандартной процедуры нормирования.

Таблица 3

Исходные показатели, характеризующие ресурсную, процессную и результатирующую составляющие качества услуг, предоставляемых вузами

Наименование показателя

Обозначение

п/п

 

показателя, xt

А

1

2

 

Ресурсная составляющая

 
 

Объективные показатели

 

1

Численность студентов, обучавшихся с полным возмещением затрат на обу-

X1

 

чение, в общем количестве студентов

 

2

Численность лиц, систематически занимающихся в детско-юношеских спор-

X2

 

тивных школах, в общем количестве лиц соответствующего возраста

 

3

Численность студентов, пользующихся горячим питанием, в общем количе-

Х3

 

стве студентов

 

4

Число мест предприятий общественного питания при общежитиях, мест ед.

х4

5

Общая площадь учебно-лабораторных зданий, тыс. кв. м

Х5

6

Число учреждений, имеющих кабинеты информатики и вычислительной тех-

Хб

 

ники, ед.

 

7

Обеспеченность техническими средствами в расчете на 100 обучающихся, ед.

Х7

8

Численность студентов, нуждающихся в местах в общежитии, чел.

х8

9

Число государственных высших учебных заведений, ед.

Х9

10

Численность учреждений, имеющих все виды благоустройства, ед.

х10

11

Среднемесячная номинальная начисленная заработная плата преподавателей,

Х11

 

тыс. руб.

 

12

Численность профессорско-преподавательского состава учебных заведений, чел.

Х12

 

Субъективные показатели

 

13

Обеспеченность материально-техническими средствами для проведения заня-

Х13

14

Обеспеченность книжным фондом и новой литературой

Х14

15

Качество ресурсной базы инфраструктуры вуза

Х15

16

Качество профессорско-преподавательского состава

Х1б

 

Процессная составляющая

 
 

Объективные показатели

 

17

Соотношение числа выпущенных специалистов и пришлых студентов

Х17

 

Субъективные показатели

 

18

Затраты времени на ожидание преподавателя

Х18

19

Удовлетворенность графиком посещения занятий

Х19

20

Полнота изложения материала по изучаемой дисциплине

Х20

21

Удовлетворенность набором изучаемых дисциплин

Х21

22

Необходимость посещения дополнительных занятий

Х22

23

Использование современных методов изложения материала

Х23

24

Использование технических средств при проведении занятий

Х24

 

Результирующая составляющая

 
 

Объективные показатели

 

25

Доля выпущенных специалистов в общем количестве принятых на обучение

Х25

 

студентов

 
 

Субъективные показатели

 

26

Удовлетворенность «качеством» изложения материала и проведения занятий

Х26

 

преподавателем

 

27

Мнение о вузе в настоящее время относительно времени при поступлении

Х27

28

Характеристика полученных в вузе знаний

Х28

29

Средний балл при сдаче последней сессии

Х29

30

Состояние здоровья студента

Хзо

31

Удовлетворенность качеством образовательных услуг в целом

Х31

В процессе расчетов получены следующие относительные значения субъективных и объективных показателей качества (табл. 4).

На втором этапе в множестве комплексного качества бюджетных услуг выделяются подмножества е (j= 1,4) характеризующие различные состояния качества бюджетньгх услуг: е1 - нечеткое подмножество состояний «низкое качество»; е2 - нечеткое подмножество состояний «среднее качество»; е3 - нечеткое подмножество состояний «высокое качество»; е4 - нечеткое подмножество состояний «очень высокое качество».

Таблица 4

Относительные значения субъективных и объективных показателей качества

Показатель

Значение показателя

Показатель

Значение показателя

Показатель

Значение показателя

Xi

0,57

X12

0,35

X23

0,01

X2

0,31

X13

0,15

X24

0,40

X3

0,45

X14

0,40

X25

0,73

х4

0,40

X15

0,35

X26

0,54

X5

0,23

X16

0,39

X27

0,27

X6

0,30

X17

0,03

X28

0,33

X7

0,10

X18

0,35

X29

0,62

X8

0,42

X19

0,33

X30

0,48

х9

1,00

X20

0,43

X31

0,50

X10

1,00

X21

0,48

   

Xii

0,53

X22

0,54

   

На третьем этапе каждому показателю xi, i = 1, 31 подобраны соответствующие функции μji (xi), i = 1,31, j = 1, 4, отражающие степень принадлежности показателя xi, i = 1, 31 подмножеству ej , j = 1, 4 и принимающие значения от 0 до 1 (далее -01-классификатор).

Авторами использована функция принадлежности трапециевидной формы, четырехуровневый характер которой определяется выделением в нечетком множестве четырех подмножеств (рис. 2).

Использование трапециевидной функции принадлежности для целей комплексной оценки качества бюджетных услуг обусловлено тем, что она позволяет задавать интервалы («ядра нечеткого подмножества»), однозначно характеризующие принадлежность рассматриваемых показателей введенным нечетким подмножествам ej (j=1,4). В этих ядрах значение функции принадлежности показателя xi к одному конкретному подмножеству ej равно 1, а ко всем остальным подмножествам - 0. В нашем случае ядрами нечетких подмножеств являются интервалы (0,0; 0,1), (0,3; 0,4), (0,6; 0,7), (0,9; 1,0).

Подобные шкалы удовлетворяют условиям: во-первых, взаимной компенсации некоторых полярных свойств (чем в большей степени проявляется положительное, тем в меньшей степени проявляется отрицательное свойство, и наоборот); во-вторых, наличия нейтральной точки, интерпретируемой как точка наибольшего противоречия, в которой оба свойства присутствуют в равной степени [2].

На четвертом этапе для проекции интерпретации интегральных показателей качества бюджетных услуг на 01-классификатор находим середины введенных ядер нечетких подмножеств ej — узловые точки βj: β1=0,05, β2=0,35, β3=0,65, β4=0,95.

На пятом этапе посредством упорядочения вычисленных на основе данных анкетного опроса коэффициентов аi, формируется двухуровневая система показателей {хі, i = 1, 31 } (табл. 5). При этом первый уровень представляет собой группировку качества образовательных услуг по трем составляющим - ресурсов, процесса и результата, а второй - ранжирование показателей внутри каждой составляющей по убыванию коэффициентов аi.

Таблица 5

Значения оценок ai

Показатель

ai.

Показатель

ai.

Показатель

ai

Х1

0,002

Х12

0,10

Х23

0,06

Х2

0,005

Х13

0,035

Х24

0,07

Х3

0,08

х14

0,015

х25

0,073

х4

0,06

Х15

0,025

Х26

0,10

Х5

0,05

Х16

0,07

Х27

0,005

Х6

0,019

Х17

0,025

Х28

0,05

Х7

0,100

Х18

0,001

Х29

0,02

Х8

0,002

Х19

0,015

Х30

0,032

Х9

0,02

Х20

0,03

Х31

0,02

Х10

0,001

Х21

0,035

   

Х11

0,001

Х22

0,014

   

На шестом этапе для каждого показателя xi, i= 1, 31 вычисляются весовые коэффициенты, согласно правилу Фишберна [3]:

Fi = {2(N - n + 1)} / (N + 1)N, (2)

где Fi — весовой коэффициент Фишберна для показателя xi; N - общее количество показателей в каждой группе на втором уровне иерархии, N > 0; n - порядковый номер показателя xi в группе, n = 1,..., N.

На седьмом этапе на основе рассчитанных значений узловых точек βj, весов Фишберна Fi и значений функций принадлежности μji (xi) формируется матрица преобразования оценок составляющих качества услуги в комплексную оценку в целом.

Агрегирование полученн^іх значений в обобщающие показатели качества (Кm) представляет собой матрицу (табл. 6) с двумя системами весов: Фишберна (Fi,) и узловых точек (βj):

Таблица 6

Матрица двумерной свертки в комплексный показатель оценок составляющих качества услуг, предоставляемых в сфере высшего профессионального образования РБ

Показатель xi

Вес Фишберна,

(Fi)

Уровень качества

низкий

средний

высокий

очень высокий

1

2

3

4

5

6

Качество ресурсов*

         

Качество ресурсов инфра-

         

структуры (библиотеки, об-

         

щежития, столовые и др.)

         

вузов

         
x2 

0,15

 

1,00

   

х3

0,26

 

0,75

0,25

 

х4

0,35

 

1,00

   

х8

0,03

 

0,90

0,10

 

х14

0,04

 

1,00

   
 

0,07

 

1,00

   

Качество ресурсов вузов

         

хі

         
 

0,05

 

0,15

0,85

 

х5

0,12

0,35

0,65

   

х6

0,07

 

1,00

   

х?

0,20

1,00

     

х9

0,06

     

1,00

х10

0,01

     

1,00

х11

0,018

 

0,35

0,65

 

х12

0,26

 

1,00

   

х13

0,17

0,75

0,25

   

х16

0,10

 

1,00

   

Качество процесса

         

х1?

0,1

1,00

     

х1в

0,028

 

1,00

   

х19

0,083

 

1,00

   

х20

0,19

 

0,85

0,15

 

х21

0,22

 

0,60

0,40

 

х22

0,056

 

0,30

0,70

 

х23

0,35

1,00

     

х24

0,46

 

1,00

   

Качество результата

         

х25

0,21

   

0,85

0,15

х26

0,25

 

0,30

0,70

 

х27

0,035

0,15

0,85

   

х28

0,17

 

1,00

   

х29

0,12

   

1,00

 

х30

0,14

 

0,60

0,40

 
 

0,07

 

0,50

0,50

 

Веса в

 

0,05

0,35

0,65

0,95

* Разгруппировка показателей, характеризующих качество ресурсной базы вузов, обусловлена различной

функциональной ориентированностью ресурсов

в образовательном процессе.

Ky = (Кр + Кп + Крез)/3, (5)

где Кп, Крез - обобщающие оценки качества процесса и качества результата бюджетной услуги, соответственно (Кп = К3; Крез = К4).

Результаты расчета обобщающих показателей и комплексной оценки уровня качества услуг, предоставляемых в сфере высшего профессионального образования, приведены в табл. 7.

Таблица 7

Комплексная оценка уровня качества услуг, предоставляемых в сфере высшего профессионального образования в РБ в 2006 г.

Расчетные оценки качества в рамках трех подходов: экспертного, формального и комбинационного приведены в табл. 8.

Таблица 8

Оценка уровня качества услуг, предоставленных высшими учебными заведениями в РБ за период 2000-2006 гг., доля ед.

Составляющие качества услуг

2000 г.

2003 г.

2004 г.

2005 г.

2006 г.

2006 г.*

2006 г.**

Кр

0,32

0,61

0,70

0,74

0,70

0,25

0,65

Кп

1,00

0,51

0,09

0,03

-0,03

0,52

0,43

Крез

0,40

0,74

0,78

0,80

0,73

0,49

0,43

Услуга в целом (Ку)

0,57

0,62

0,52

0,52

0,47

0,42

0,51

* Экспертная оценка

2006 г.

           

** Комплексная оценка.

           

Апробация предложенного инструментария на примере оценки качества бюджетных услуг высшего профессионального образования РБ в 2000-2006 гг. показала снижение значений качества с 0,57 до 0,47. Использование формального подхода позволяет получить представление о динамике интегральной оценки уровня качества, но не дает возможности определить вклад формирующих интегральный показатель обобщающих показателей в силу различной шкалы их оценок.

Значение экспертной оценки качества услуг для 2006 г. ниже оценки, полученной формальным методом (0,42). Экспертный подход пригоден для сопоставления оценок качества услуг по составляющим, однако использование их в качестве основы для выработки объективных управленческих решений вряд ли возможно из-за высокой степени субъективизма.

Совместный учет в комплексном показателе качества субъективных представлений потребителей и объективных количественно выраженных характеристик качества услуги на основе комбинационного метода позволяет устранить недостатки, присущие первым двум подходам. Количественная оценка качества бюджетных услуг высшего образования Башкортостана в 2006 г., рассчитанная с использованием комбинационного метода, составила 0,51, что выше оценок, определенных формальным и экспертным методами.

Применение комбинационного подхода позволяет получить оценки качества бюджетных услуг с выявлением «узких» мест и разработать комплекс мероприятий, направленных на повышение качества бюджетных услуг региона.


Литература

1. Финансовый потенциал саморазвития региона /Под ред. Н.И. Климовой. Уфа: Гилем, 2005.

2. Недосекин А.О. Комплексная оценка риска банкротства корпорации на основе нечетких описаний //Банки и риски. 2006. № 3.

3. Фишберн П. Теория полезности для принятия решений /Пер. с англ. М: Наука, 1978.

Комментарии (0)add comment

Написать комментарий
меньше | больше

busy