Сообщество исследователей и оценки «академической успеваемости»

Л.И. Якобсон

Термин «успеваемость», вынесенное организаторами дискуссии в ее название, удачно передает значение термина «perfor-mance» применительно к исследованиям и многим другим сложно устроенным активностям. Английское слово понадобилось, чтобы обозначить обращение к тематике «performance management». Обычный перевод этого выражения «управление по результатам» побуждает думать об объективно измеримой продукции. Между тем в литературе по данной теме подчеркивается, что «performance» (исполнение ролей, функций, задач) характеризует вклад в достижение целей, немыслимых иначе как проявления интересов и намерений субъектов. То же относится к успеваемости, предполагающей отношения, как минимум, двух субъектов, один из которых оценивает действия другого исходя из собственных приоритетов.

Если оценка целенаправленно и предсказуемо влияет на того, чьи действия оцениваются, налицо ситуация управления и подотчетности (accountability). Именно ее обеспечение составляет смысл построения и использования оценок успеваемости (performance). Типично, например, следующее высказывание: «Подотчетность по отношению к законодательному органу, налогоплательщикам и стейкхолдерам программ — основная цель оценки успеваемости в государственном секторе» (Heinrich 2002, p. 25). Аналогичное по смыслу высказывание применительно к НКО, для которых словом «миссия» принято обозначать основные цели, поставленные учредителем: «Оценка успеваемости призвана обеспечивать максимально возможную взаимосвязь между миссией организации и ее активностями» (Anheier 2014, p. 309).

Проблематику оценки исследований можно поместить не только в контексты управления в государственном секторе и в негосударственных некоммерческих структурах. Привычны контексты отдачи от коммерчески организуемых исследований и взаимной оценки учеными работ друг друга. Однако первый вряд ли соотносится с заявленной горячей темой. Второй — не предполагает управленческих воздействий, только если отсутствуют институты, трансформирующие оценки в стимулы, значимые для субъекта деятельности. Стимулы могут быть не только материальными, но и, например, репутационными, но и в этом случае они не сводятся лишь к информации о мнениях коллег.

Вопрос в том, побуждают ли мнения к ощутимым реакциям, будь то решительная смена тематики или всего лишь небольшая корректировка критериев, по которым оцениваемый судит о своих и чужих работах. Институционализированная оценка, проводимая, например, в ходе аттестации, в отличие, например, от письма аспиранта незнакомому автору прочитанной статьи порождает управленческое воздействие. Когда воздействие не предполагается, то упорядочение, структурирование и фиксация впечатлений от работы коллег — личное дело ученого. Если кто-то желает прибегнуть к квантификациям, специалист может посоветовать, как лучше это сделать. Однако компетентная рекомендация не окажется инвариантной по отношению к целям того, кто за ней обратился, если не считать универсальных советов избегать внутренних противоречий и т.п.

Как бы то ни было, исследователей волнует не столько вопрос о всевозможных вариантах упорядочения личных оценок, сколько зависимость их благополучия и судьбы замыслов от значений показателей, которые используются при распределении широко понимаемых ресурсов, определении перспектив карьеры и т.п. В таких случаях оценки опосредуют взаимоотношения подотчетности и стимулирования, на которые было указано выше. В рамках подотчетности у ученого появляется принципал, которым может быть руководство научной организации, государственная структура или негосударственный фонд, финансирующий исследования, а также иные НКО, в том числе создаваемые самими исследователями. Не только одни и те же организации, но и одни и те же проекты могут быть объектами воздействия нескольких принципалов, интересы и цели которых не одинаковы. Все они могут использовать отнюдь не одинаковые показатели успеваемости.

Потребность в формализованных количественных оценках тем сильнее, чем более многочисленными и разнообразными стали объекты реального или потенциального воздействия и чем меньше в них разбирается сам принципал. Если речь идет о бюджетных средствах, правом принятия окончательных решений наделены, как правило, лица, имеющие дело с массой разнообразных проблем, глубоко вникнуть в каждую из которых они не способны даже при всем желании. При этом они сами находятся в ситуациях жесткой подотчетности. Бюджетное законодательство ориентировано в основном на алгоритмизированные действия в противовес поиску нестандартных эффективных решений. То, что не сводится к буквальному исполнению норм, грозит санкциями. Принимающие решения лица заинтересованы в показателях, которыми было бы просто пользоваться и они не вызывали бы вопросов у проверяющих.

Итак, обсуждаемая проблематика актуальна главным образом потому, что исследователи подвержены внешним влияниям в противоположность свободной реализации собственных приоритетов. Субъекты же внешних влияний, в свою очередь, действуют в условиях ограничений, определяемых прежде всего интересами организаций и групп, к которым они принадлежат, а также доступностью информации и способностью ее обрабатывать, несовершенствами управленческих механизмов и др. Между тем, в дискуссиях об оценках академической успеваемости обычно предполагается, будто они навязаны вполне автономными чиновниками, которых надлежит убедить либо отказаться от формализованных показателей, либо использовать удобные для исследователей показатели. Не отвергая последний вариант, имеет смысл подумать об условиях, способных придать ему реалистичность. Однако прежде целесообразно упомянуть о нескольких уроках, полученных в ходе применения количественных оценок в государственном управлении и управлении НКО.

• Первый урок — это отношение к построению формализованных количественных оценок как к конструированию инструментов, судить о которых имеет смысл исключительно с позиций соответствия целям конкретных субъектов. Когда субъект и цель не указаны, вопрос о качестве показателя будет заведомо некорректным. Если оценка успеваемости опосредует взаимодействие управляющих и управляемых, ее выбор составляет существенный аспект формирования контракта, который может иметь характер либо навязанного, либо обеспечивающего взаимную выгоду.
• Второй урок — для фиксации результатов оценки обычно приходится прибегать к proxi, не в полной мере соответствующим целям. Неполная адекватность целям может отчасти компенсироваться простотой, если при этом учитываются интересы пользователя.
• Третий урок — опасность абсолютизации количественных оценок. В тех странах, где они используются долгое время, энтузиазм в отношении индикаторов прошел. Общепризнано, что «строгая фокусировка на количественной оценке “успеваемости” вызывала нежелательные последствия для принятия решений и определения приоритетов» (Peters, Pierre, 2018, p. 16). Показатели, как правило, пригодны преимущественно в роли информации к размышлению. Однако, как видно из сказанного выше, информационные и управленческие ограничения зачастую побуждают лиц, принимающих решения, придавать оценкам роли, которые они не способны выполнять без существенных погрешностей. Следовательно, нужно контролировать последствия применения оценок, причем как позитивные, так и негативные.
• Четвертый урок — целесообразность регулярной корректировки систем оценивания по мере того, как, с одной стороны, меняются цели воздействий, а с другой — получают распространение стратегии «работы на показатель» (т.е. ориентация на proxi в ущерб цели).

С учетом сказанного следует расстаться с надеждами как на построение идеальных показателей академической успеваемости, так и на радикальное избавление от формализованных оценок. Вместе с тем можно и нужно конструировать их так, чтобы получать реальную пользу при минимуме негативных последствий. Первое, что для этого требуется, — идентифицировать субъектов и характер взаимоотношений, обслуживать которые призваны эти показатели.

Поставим себя в положение субъекта, намеренного влиять на исследования посредством распределения ресурсов и создания стимулов, опираясь на формализованные оценки. Если такой субъект не преследует сугубо внешних для науки целей (например, только коммерческую выгоду), то его интересам соответствует диалог с представителями научного сообщества о том, как бы могла оцениваться академическая успеваемость. Результат обсуждения не обязательно в равной мере устроил бы каждую из сторон, но едва ли не любой компромисс лучше безоговорочного навязывания. Однако с кем предстояло бы вести диалог такому субъекту? Ответы на этот вопрос не одинаковы, когда в роли принципала выступает руководство научной организации, совет грантодающего фонда или государственный орган. Финансирование и организация науки в нашей стране таковы, что в практическом плане для исследователей наиболее значим диалог с государственными органами, причем ключевые черты подходов к оценке академической успеваемости определяются на федеральном уровне.

Немалое значение имеет вопрос о том, достаточно ли ясны и проработаны приоритеты, которые государство стремится заложить в оценки академической успеваемости. Обозначив скорее негативный ответ, но не имея возможности его обосновать из-за ограничения объема текста, отмечу, что относительно слабая проработка целей одной стороны в принципе повышает шансы другой добиться желаемого для нее исхода торга. Однако чтобы шансы удалось использовать, представителем научного сообщества в диалоге с государством должен выступать субъект с неоспоримым авторитетом.

Представим себе, что сообщество консолидировано, отчетливо институционализировано и имеет неоспоримого лидера, например, в лице Президиума РАН. Это не избавило бы от ряда указанных выше проблем, поскольку члены Президиума не способны лично оценивать значение бесчисленных исследований. Соответственно, пришлось бы назначать экспертов, тем самым явно или неявно отдавая предпочтения представителям отдельных школ, а также выбирать процедуры агрегирования оценок, обращаясь к неизбежно уязвимым квантификациям. Однако острота и сложность такого рода проблем значительно уступает тем, которые имеют место, когда РАН конкурирует за влияние с отдельными научными центрами, а представители разных областей науки не всегда признают достоинства друг друга, а также когда соперничество между научными школами внутри некоторых областей подчас приобретает отнюдь не корректный характер.

Сошлюсь на давнее исследование, показавшее, что только 60% опрошенных научных работников считали, что их коллеги принадлежат к единому российскому научному сообществу. Примечательно, что учителя и врачи чаще видели себя членами реально существующих профессиональных сообществ (Якобсон, 2008, с. 107). Только 32% респондентов из числа научных работников полагали, что в элиту профессии (а именно ее оценки воспринимаются в качестве позиции сообщества в целом) попадают не столько по заслугам, сколько за счет связей, умения себя преподнести и т.п. (там же, с. 110). Не разделяя последнего суждения и надеясь, что за прошедшее время ученые стали более позитивно воспринимать наиболее успешных коллег, приходится все же констатировать уязвимость формулировки «авторитет в глазах научного сообщества» и близких ей по смыслу выражений. Между тем, они неизменно занимают ключевое место в дискуссиях об оценке исследований, в том числе в вопросах, сформулированных для обсуждаемой здесь горячей темы.

Поскольку обсуждение ведется на площадке «Новой экономической ассоциации», естественно обратиться к состоянию дел среди ученых-экономистов. Ассоциация создавалась, по сути, ради «собирания камней», разбросанных в девяностые и нулевые годы. За прошедшее с тех пор время среди экономистов стало больше взаимопонимания. Тем не менее не случайно в названии круглого стола, материалы которого публиковались в «Вопросах экономики», присутствуют слова «формирование экономического сообщества» (Стимулы..., 2018).

Чем менее зрелым и консолидированным является научное сообщество, тем менее убедительны взаимные оценки ученых для их коллег и для тех, кто мог бы финансировать и стимулировать исследования. Когда легитимное агрегирование конкурирующих партикулярных суждений не обеспечивается институтами сообщества, напрашивается обращение к статистике, которая как бы растворяет индивидуальное и групповое восприятие в массовом. Тем самым оцениванию придаются черты объективности (или хотя бы видимость ее), что, помимо прочего, помогает лицам, принимающим решения, избегать упреков в субъективности. Однако это не более чем создание протезов взамен институтов консолидации мнений. Наивно было бы ожидать от протеза чувствительности, присущей живому органу.

В попытке протезирования, к которой прибегли российские органы управления наукой, можно выделить две составляющие.

1. Во-первых, стали активно использовать библиометрию. В странах, где оперирование ею привычно, библиометрические данные чаще служат информацией к размышлению тех, кто близок к объектам оценивания, например администрации университетов, чем выступают в роли непосредственной основы для директив государственных органов и т.п. Источники данных — это все те же взаимные оценки профессионалов, которые агрегируют преимущественно путем делегирования права авторитетных суждений редколлегиям журналов. Следовательно, значимы как условия, позволяющие группам исследователей издавать или контролировать журналы, так и институты иерархизации журналов. Наконец, данные о публикационной активности считаются менее информативными, чем данные о цитировании. Вместе с тем, значения показателей цитирования журналов в основном определяются цитированием небольшой части (10-30%) статей (Belter, 2015). Все это по разным причинам не вполне относится к тому, как академическая успеваемость оценивается у нас.
2. Во-вторых, органы управления решили приподняться над отечественным ландшафтом и взглянуть на него как на часть мирового. Это произошло не ради получения оценок как таковых. На политическом уровне проявилось стремление стимулировать развитие отечественной науки за счет более глубокого вовлечения в глобальную конкуренцию. В логике «растворения партикулярных суждений в массовых» шаг выглядел привлекательным. Однако его последствия оказались неоднозначными, причем мера противоречивости сдвигов тесно корреспондировала с мерой их отчетливости. И та и другая мера не стали существенными в тех областях, в которых российские ученые издавна интегрированы в глобальные сообщества. Более заметными оказались последствия, в частности, в среде экономистов. Произошел заметный рост числа публикаций, привлекающих внимание не одной лишь отечественной аудитории, и расширился круг ученых, владеющих методами исследования, которые приветствуют в международных журналах. В то же время стал ощутимее недостаток стимулов для изучения специфических проблем российской экономики и выработки рекомендаций для их решения (см., например, (Григорьев 2017)).

Среди российских ученых-экономистов оказалось относительно немного тех, кому интересен акцент на верхних квартилях международных баз, — среди них больше тех, кто предпочитает ориентироваться на присутствие своих публикаций в базах независимо от квартилей журнала. Есть и такие, кого устраивает ядро РИНЦ или комфортнее РИНЦ в целом. В основе различий лежат не представления о хороших и плохих показателях, а интересы, как сугубо научные, так и экономические. Едва ли не решающее значение имеет выбор тематики и методов исследований. В такой ситуации консенсус заведомо недостижим. В то же время отсутствуют институты сообщества, способные формировать компромиссную позицию, авторитетную для всех или хотя бы для большинства. Обойтись без нее можно было бы при доступности щедрого финансирования любых направлений исследований. Однако рассчитывать на это не приходится. К тому же при всех различиях в понимании научной продуктивности, по-видимому, мало кто считает правильным ее вовсе не стимулировать. Если же вводить стимулы, то, как показано выше, обнаруживается ряд критически значимых моментов. В таких обстоятельствах лицам, принимающим решения, не обойтись без формализованных оценок. Пригодность оценок не инвариантна относительно конкретных целей. Какими бы ни были оценки и цели, первые, как правило, не вполне соответствуют вторым. Наконец, цели тех, кто принимает решения, вряд ли определялись бы только интересами научного сообщества, даже если бы последние были четко идентифицированы и артикулированы, чего на сегодня нет.

Следовательно, в обозримой перспективе исследователям предстоит испытывать воздействие оценок академической успеваемости, системы которых, как бы их ни корректировать, окажутся не вполне соответствующими тому, что устроило бы ученых. Однако мера несоответствия может быть разной.

Сформулирую две рекомендации, следование которым помогло бы сделать оценивание академической успеваемости более полезным для развития науки и реже воспринимаемым как несправедливое.

1. Первое — относиться к имеющимся системам типа РИНЦ, Scopus и WoS примерно так, как в Средневековом Риме относились к античным памятникам. В том, что наработано прежде, имеет смысл видеть источники материалов для собственных построек, приспосабливая их для того, что актуально здесь и сейчас. Можно представить крайне трудоемкий процесс создания с нуля систем оценивания, ориентированных на интересы научного сообщества или государственных органов России. Однако практичнее поступать (учитывая, что интересы не вполне ясны самим субъектам, а в случае сообщества — даже субъекта пока не вполне сложилось), чтобы представители каждой стороны могли, выбрав из имеющихся материалов те, что приглянутся, комбинировать блоки и заполнять швы удобным для себя образом. Вряд ли получится нечто вполне стройное. Зато постройки государственных органов и представителей сообщества окажутся не только более удобными для них самих, но и более схожими между собой, чем их мнения о ценности существующих баз. Даже если не воспринимать эту рекомендацию буквально, имеет смысл научиться относиться к существующим системам оценивания по-хозяйски, без пиетета и без неприязни.
2. Вторая рекомендация во всех отношениях серьезнее. Важно понять, что показатели академической успеваемости, применяемые в системе управления исследованиями, — не более чем отдельные компоненты языка, на котором формулируются контракты между исследователями и теми, кто финансирует и стимулирует их работу. То, что воспринимается как недостатки показателей, в огромной мере представляет собой лишь симптомы уязвимости не только языка в целом и даже не только содержания конкретных контрактов, но и характера диалога, в котором эти контракты формируются и интерпретируются. Усиление позиций исследователей в этом диалоге зависит прежде всего от консолидации и институционализации научного сообщества, что составляет одну из назревших задач развития гражданского общества России. Она может решаться лишь поэтапно, но каждому этапу соответствовала бы все большая определенность позиции, которую исследователи способны занять в диалоге с государством. Это относится и к тому отнюдь не самодовлеющему аспекту имеющихся проблем, который связан с оценкой академической успеваемости.

¹ Статья подготовлена в рамках проекта по Программе фундаментальных исследований НИУ «Высшая школа экономики».

ЛИТЕРАТУРА / REFERENCES

Григорьев Л.М. (2017). Два дискурса в российской экономической науке // Вопросы экономики. № 9. С. 135-157. [Grigoryev L.M. (2017). Two discourses in Russian economic science. Voprosy Ekonomiki, 9, 135-157 (in Russian).]

Стимулы для академических и прикладных исследований и формирование экономического сообщества. Материалы круглого стола. (2018) // Вопросы экономики. № 10. С. 136-155. [Incentives for academic and applied research and the reproduction of the economic community (Proceedings of the roundtable discussion at the XIX April international academic conference on economic and social development) (2018). Voprosy ekonomiki, 10, 136-155 (in Russian).]

Якобсон Л.И. (2008). Диалог гражданского общества и власти: качество интерфейса. В кн.: «Факторы развития гражданского общества и механизмы его взаимодействия с государством». Под ред. Л.И. Якобсона. М.: ГУ ВШЭ. С. 102-132. [Jakobson L.I. (2008). A dialogue between civil society and the authorities: the interface quality. In: Jakobson L.I. (ed.). Factors of civil society development and mechanisms of its interaction with thew state. Moscow: HSE (in Russian).]

Anheier H.K. (2014). Nonprofit organizations: Theory, management, policy. New York: Routledge.

Belter C.W. (2015). Bibliometric indicators: Opportunities and limits. Journal of Medical Library Association, Oct., 103 (4), 219-221.

Heinrich C.J. (2002). Measuring Public Sector Performance. In: B.G. Peters, J. Pierre (eds.). Handbook of Public Administration. New York: SAGE Publications.

Peters B.G., Pierre J. (2018). The Next Public Administration: Debates and Dilemmas. New York: SAGE Publications.