Показатели цитирования: отказаться нельзя оставить

И.Е. Калабихина
Г.В. Калягин

Польза библиометрии

Сегодня исследователи сталкиваются с необходимостью обрабатывать огромный объем релевантной информации. В решении этой проблемы помогают библиографические и цитатные академические информационные базы (международные — Scopus и Web of Science Core Collection (WoS CC), а также национальные индексы и библиографические базы, подобные РИНЦ и RSCI) и академические журналы. Важнейший сигнал, который первые дают читателям академической литературы, — информация о числе цитирований проиндексированного в базе источника¹. Если экономическая статья вышла, скажем, десять лет назад в журнале, индексируемом в Scopus, и ее за это время никто в том же Scopus не процитировал, у исследователя возникает резонный вопрос: стоит ли тратить время и силы на ее прочтение?

Еще один важный для потенциального читателя сигнал, который также дает индекс цитирования, — сам факт ее публикации в журнале, который индексируется в базе. Далеко не все научные и квазинаучные периодические издания индексируются в цитатных и библиографических базах (в первую очередь это касается Scopus и WoS СС), и то, что заинтересовавшая исследователя научная статья включена, например, в Scopus, дает сигнал, что она достойна его внимания, потому что получила одобрение рецензентов и была опубликована в серьезном академическом издании.

Такие же сигналы о качестве научной работы получают и чиновники, занимающиеся организацией науки на уровне государства. Им необходимо оценить качество научной работы исследователя и/ или научного института, при этом такая оценка со стороны затруднена или даже невозможна: аутсайдер может не понимать, чем занимается этот исследователь/научный коллектив, какие он решает научные проблемы и каких добивается успехов. Такие показатели, как число публикаций в журналах, индексируемых в цитатных и библиографических базах (в первую очередь международных), библиометрические показатели этих журналов, количество цитирований академических статей в базе, могут помочь в подобной оценке.

Технологии работы в разных отраслях науки сильно отличаются друг от друга: в некоторых научных направлениях экспериментальная часть может вообще отсутствовать, ученые из разных отраслей неодинаково транслируют результаты своих научных исследований и коммуницируют друг с другом. Соответственно исследователи по-разному цитируют не только друг друга, но и собственные работы.

Различные отрасли науки могут существенно отличаться друг от друга и с точки зрения традиционного формата представления своих результатов. Журнальная статья, доклад на конференции, статья в сборнике, монография, клинические рекомендации (протокол лечения), патент, отчет о НИР, документальный фильм, художественная выставка и т. д. — вот неполный перечень таких форматов. У всех типов научных произведений и публикаций собственные скорость распространения информации, традиции потребления, традиции и принципы цитирования. Отметим, что одни и те же форматы представления результатов научной деятельности могут играть разную роль в различных научных направлениях и в соответствующих научных сообществах: в одних — доминировать, в других — быть второстепенными.

Система оценок результатов научной работы, принятая в некоторых естественных науках, может быть с оговорками использована, например, в клинической медицине, но совершенно не подходит для социальных или гуманитарных наук. С нашей точки зрения, единая база для сравнения результатов научных исследований, относящихся к различным отраслям научного знания, должна основываться на понимании мотивации исследователей. По общему мнению, ее краеугольными камнями выступают простые человеческие черты: любопытство и тщеславие. Это позволяет предположить, что, во-первых, настоящая наука никогда не будет полностью вытеснена фейковой. Во-вторых, с точки зрения общественного благосостояния уменьшается важность оценки результатов научной деятельности: если ученые в любом случае, как бы и кто бы их ни оценивал и ни финансировал, будут заниматься исследованиями, то какой смысл в такой оценке?

Но все же следует признать это утверждение слишком сильным. Никто (или почти никто) не сможет заниматься тем, что ему интересно, если это занятие не приносит дохода, достаточного для удовлетворения минимальных потребностей. Кроме того, современная наука требует серьезной и дорогостоящей материально-технической базы, приобрести которую за свой счет не в состоянии ни один ученый. Прежде всего это касается естественных наук. Да и в общественных науках часто необходимо потратить деньги на создание баз данных и/ или их приобретение, на покупку материалов для исторической реконструкции и пр.² Поэтому даже если когда-то ученые будут заниматься исследованиями не за зарплату, а, скажем, просто так, получая безусловный базовый доход, то вопрос об их финансировании, а значит, и об оценке их деятельности для общества не исчезнет. Наконец, сокращение доходов ученых отрицательно воздействует на один из двух базовых стимулов — на тщеславие. Следовательно, финансирование научной работы влияет, пусть не всегда прямо, на стимулы исследователей.

Стимулы чиновников включают максимизацию получаемого от спонсора бюджета и сокращение риска наказания за недостаточно хорошее, с его точки зрения, выполнение своих обязанностей³. По этой причине все чиновники заинтересованы в максимально простой и однозначной отчетности, имеющей минимальную стохастическую составляющую или вообще ее лишенной. Именно к такой отчетности относятся показатели, рассчитываемые в индексах цитирования. Поэтому их широко применяют для оценки результативности и продуктивности научной работы. Особенно заметна эта тенденция в последние десятилетия, когда цитатные информационные базы стали глобальными и всеобъемлющими.

Недостатки библиометрической оценки

К числу недостатков оценки научной работы с помощью библио-метрических показателей в первую очередь отнесем неточность этого сигнала для читателя: он запаздывает, так как оценить качество только что опубликованной работы по числу цитирований невозможно. Кроме того, в различных областях знания он может запаздывать по-разному: например, пик цитируемости статей из ведущих экономических журналов наступает через 10 — 12 лет после их публикации. Соответственно полученное статьей на начальном этапе количество цитирований не отражает уровень ее качества.

Ориентация исследователей на этот сигнал приводит к возникновению так называемого «эффекта Матфея»: цитирования порождают дополнительное внимание исследователей к работе и, следовательно, дополнительные цитирования⁴. Таким образом, они распределяются неравномерно и непропорционально действительному вкладу академических журнальных статей в развитие соответствующих научных направлений. Более того, «эффект Матфея» приводит к тому, что в этом распределении присутствует заметная случайная составляющая: новые цитирования работы обусловлены не только тем, что она интересная и качественная, но и тем, что ее уже многократно процитировали.

Для научной среды на макроуровне можно отметить как минимум два серьезных отрицательных последствия:

1. появляется много некачественных статей и фейковых журналов;
2. искусственно стимулируется рост числа цитирований и импакт-фактора и повышаются издержки журналов в этой гонке, чтобы «соответствовать» растущему уровню.

Многие научные публикации сделаны по всем правилам научной работы и опубликованы в «настоящих» научных журналах, но они написаны исключительно для отчетности. Иными словами, такие публикации, хотя формально соответствуют критериям научности, не интересны другим исследователям, занимающимся этой темой. Если для отчетности требуется определенное число статей, опубликованных в серьезных академических журналах, то это приводит к его росту, но не всегда повышает качественный уровень соответствующего научного направления.

Когда созданные исключительно для отчетности статьи занимают существенную долю в общем числе вышедших по теме публикаций, это затрудняет исследовательскую работу других ученых. Кроме того, обесценивается работа издателей научных журналов и вендоров цитатных и библиографических академических баз, основные функции которых — экономия времени исследователей и упрощение поиска релевантной научной информации. Можно возразить, что такого рода работы вряд ли получат большое количество цитирований и привлекут внимание большого числа исследователей, но, как уже отмечалось, цитирование научной работы во многих научных направлениях продолжается десятилетиями, и по его уровню в первые два-три года после публикации мало что можно сказать о реальной научной значимости статьи.

Кроме того, поскольку исследователям необходимо отчитываться с помощью публикаций, возникла индустрия квазинаучных периодических изданий, которые чаще называют хищническими, но нам кажется более точным термин «фейковые»⁵. Это журналы, которые за деньги публикуют — причем, как правило, довольно быстро — буквально все, что им присылают. Интересно, что услугами таких журналов иногда пользуются и настоящие исследователи. Дело в том, что отчитываться ученому нужно к определенной дате, и если он понимает, что в нормальном журнале опубликоваться в срок не успевает, то предпочитает воспользоваться услугами одного из этих журналов.

Как ни странно, последствия существования и даже широкого распространения фейковых академических журналов для нормального исследователя связаны с меньшим ущербом, чем проблема публикаций многочисленных и малоинтересных «статей для отчетности» в настоящих научных журналах: чтобы отсеять их от действительно интересных работ, ученому приходится тратить время и силы, а фейковые журналы заведомо никто из занимающихся серьезной наукой не читает. Ущерб от публикации в подобном журнале может понести лишь сам автор: его вполне содержательную статью не заметят коллеги, а репутационные потери будут серьезными.

Почему трудно договориться о новых правилах оценивания ученых, журналов, научных трудов

Понятие хищнического, или фейкового, журнала не так просто формализовать, хотя на уровне здравого смысла отличить настоящий научный журнал от фейкового не составляет труда. Непонятно, кто должен формировать «белый список». Не случайно в январе 2017 г. известный американский библиотекарь Дж. Билл прекратил поддерживать свой «черный список» (Beall’s List of Predatory Publishers and Journals) в ответ на угрозы судебного разбирательства: формально доказать недобросовестность издания и издательства как минимум очень дорого, а как максимум невозможно.

Количеством цитирований работы также можно манипулировать, поэтому они плохо подходят в качестве отчетности. Кроме того, в большинстве научных направлений корректно оценить влияние научной работы можно лишь по прошествии большого периода времени.

Наказание за публикации отчетных статей и выпуск фейковых журналов приведет к дополнительным издержкам по внедрению системы наказания и вряд будет эффективным, в первую очередь из-за сложности формализации, а также потому, что такая деятельность выгодна всем — и автору, и журналу, и, как правило, даже чиновникам. Автор или журнал понесут ущерб, только если для них важна профессиональная репутация. В идеале, научное сообщество должно само, без участия государства, отторгать своих членов, которые нарушают принятые в нем неформальные правила. Институт профессиональной репутации имеет долгую историю и присутствует в разных профессиональных сообществах⁶. Главной задачей устанавливаемых государством формальных правил в этой сфере, с нашей точки зрения, должны стать создание и поддержание неформального института научной репутации.

Оценка деятельности ученых по библиометрии вызывает рост общего числа цитирований и, как следствие, импакт-факторов научных журналов. С нашей точки зрения, это не так плохо. Любой научный журнал может вполне легитимными методами искусственно повысить свой импакт-фактор, а поскольку стимулы к этому сейчас есть у всех редакторов, это приведет (и в действительности приводит) лишь к глобальному и относительно равномерному увеличению числа цитирований, не внося искажений в общую картину.

Что делать с системой оценки, основанной на цитировании?

С нашей точки зрения, на данный момент не существует лучшей системы формальной оценки результатов научной деятельности, чем число полученных работой цитирований. Мы полагаем, что правильно ее сохранить и развивать. В качестве отправных пунктов совершенствования системы цитирования примем наши соображения об ее основных недостатках. Главный — создание фейковых журналов и отчетных (а не научных) статей. Что с этим делать?

Важно минимизировать параметры отчетности по индексации и не создавать условия для увеличения количества цитат и числа статей

С нашей точки зрения, единственной целью отчетности по индексам должна быть возможность для любого аутсайдера убедиться в том, что исследователь или организация действительно занимаются наукой. Об этом будет свидетельствовать наличие у ученого или научной организации публикаций в серьезных изданиях — верхнем квартиле (или, по крайней мере, верхней половине) соответствующей тематической категории Scopus, WoS СС и/или ядра РИНЦ.

Необходимо четко определить круг лиц, которые обязаны публиковать статьи и другие научные работы. Помимо научных сотрудников, к их числу должны быть отнесены держатели исследовательских грантов, а также те, кто выполняет исследовательскую работу по государственному контракту. Представители этих категорий могут не иметь профессиональный статус «научный сотрудник». Но не следует обкладывать публикационным «оброком» преподавателей вузов, которые занимаются исключительно педагогической деятельностью. Именно их статей больше всего в фейковых изданиях. Важно также смягчить требования в отношении количества статей, числа цитирований, сроков публикаций.

Нужно избегать соревнования по количеству соответствующих публикаций, по числу полученных ими цитирований, по совокупному научному влиянию журналов, в которых были размещены эти публикации, и т. д. Такого рода состязание сложно сделать корректным: в каждом научном направлении свои технологии работы и, как следствие, свои традиции (и медианные показатели) цитирования, свои особенности жизненного цикла опубликованной статьи, свои научные журналы со своими библиометрическими показателями. Привести к единому знаменателю отчетность исследователей и организаций из разных научных направлений в принципе можно (см., в частности, показатели Scopus SJR и особенно SNIP), но, во-первых, результат в любом случае будет вызывать сомнения. Во-вторых, усложнение и расширение отчетности, соревнование между исследователями и институтами приведут лишь к искажению стимулов и «замусориванию» научного информационного пространства.

Серьезная научная работа требует значительного времени

От момента подачи первого драфта научной статьи в хороший журнал до момента ее публикации может пройти несколько лет. Не говоря уже о времени между появлением у исследователя научной идеи до ее публикации в виде статьи или хотя бы от размещения препринта в репозитории научной организации до публикации сделанной на его основе статьи. Поэтому, как нам представляется, научная отчетность в общем случае не должна быть за текущий год, так как годовые результаты — обычно плод многолетней работы ученого или исследовательского коллектива. При распределении средств следует учитывать результаты работы с лагом от 1 до 5 лет. Точная длина лага определяется технологией работы в соответствующем научном направлении и, как следствие, временным распределением числа цитирований, средним сроком полужизни научной статьи и другими библиометрическими показателями, связанными со временем.

Публикация в научном журнале — не единственная форма представления результатов научной работы

Другие виды научных работ — отчеты (в том числе по грантам), монографии, доклады на конференциях и т. д. — также должны учитываться при оценке научных результатов, но только при условии создания компактной и объективной системы оценки. Если основанные на библиометрии оценки качества статей, опубликованных в академических периодических изданиях, и аналогичные оценки качества (научной влиятельности) самих этих изданий уже сформировались и стали частью единой, внутренне непротиворечивой системы, то оценка качества монографий и уровня научных конференций требует дополнительных усилий. Это важно, поскольку индустрия фейковых «научных» конференций процветает не меньше, чем аналогичных «научных» журналов. Необходимы унифицированные требования к издателям и монографиям, относящиеся главным образом к процессу их рецензирования. Оператором контроля в России может быть РИНЦ, уже предъявляющий соответствующие требования к изданным научным работам. Также нужно разработать процедуру «легитимации» научных конференций, возможно, с помощью инструментов РИНЦ и экспертного сообщества. При этом нельзя допустить расширения и усложнения отчетности.

Надо повысить значимость неформального института научной репутации

Как нам представляется, действенным механизмом его создания будет возложение ответственности за публикации в фейковых журналах не только на их авторов, но и на научные организации, в которых они трудятся. Институт вмененной ответственности (vicarious liability) в отношениях принципала и агента (работника и работодателя) распространен в разных профессиональных сферах: владелец автоколонны несет солидарную ответственность за ДТП, совершенное одним из его водителей; директор школы солидарно ответствен за то, как проводят занятия его учителя; хозяин ресторана — за то, что делают на своем рабочем месте его повара, и т. п. Смысл вмененной ответственности в том, что работодателю часто бывает проще, чем профессиональным правоприменителям, создать адекватные стимулы для работников — потенциальных правонарушителей. Во-первых, ему проще разоблачить злоумышленников среди своих агентов ex ante (медицинское освидетельствование водителей перед выходом в рейс предотвратило множество «пьяных» ДТП). Во-вторых, чаще всего у работодателя есть возможность ex post увеличить вероятность разоблачения нарушения, совершенного его работником. В-третьих, принципал располагает большим спектром мер для наказания провинившегося агента, не связанных с уголовной или гражданской ответственностью (лишение премии, приостановка карьерного роста и т. и.)⁷.

Конечно, применительно к научной сфере мы говорим не о правовой ответственности работодателя за, например, публикации его работников в фейковых журналах или их участие в фейковых конференциях, а об ответственности в виде сокращения или даже прекращения государственного финансирования соответствующего института или вуза. Самая большая проблема здесь, как было отмечено выше, — формализация признаков фейковых журналов. Она, однако, не представляется нам нерешаемой: на уровне здравого смысла отличить настоящий научный журнал от поддельного довольно просто. Во-первых, фейковое издание не ограничивается и с экономической точки зрения не может себе позволить ограничиваться узким научным направлением: статьи, посвященные ремонту тракторов, здесь соседствуют с работами об учете в туризме и о проблемах международной политики. Во-вторых, в одном томе фейкового журнала обычно очень много номеров (12), каждый из них содержит десятки, если не сотни, статей разной тематики. В-третьих, большинство этих статей представляют собой весьма короткие (3—5 страниц) тексты, чаще всего посвященные анализу всего самого хорошего в противовес всему самому плохому. Кроме того, заинтересованные организации могут самостоятельно провести проверку вызывающего подозрения журнала на фейковость: каждый желающий может послать в такой журнал статью, состоящую из псевдонаучной абракадабры, и посмотреть на реакцию.

И, наконец, о бедном рецензенте замолвим слово

О бедном, потому что для большинства рецензентов этот труд остается волонтерским. При большой значимости рецензий для определения качества статьи, а также для ее улучшения эта работа, как правило, не оплачивается. Важно создать механизм финансирования рецензентов, что позволит повысить требования к качеству рецензий, привлекать сильных ученых к этому процессу. Но даже в условиях волонтерской работы можно укрепить институт рецензирования, что, в свою очередь, улучшит качество публикаций и журналов.

Например, в науках о жизни и медицинских науках произошла издательская революция. В 2020 г. журнал eLife потребовал, чтобы материалы публиковались в виде препринтов, и собрался публиковать все рецензии, в том числе на отклоненные статьи⁸. В 2022 г. этот онлайн-журнал объявил, что с 2023 г. перестанет принимать или отклонять рукописи для публикации, вместо этого предлагая рецензии на манускрипты, работая именно с рецензиями, а не со статьями. При этом авторская статья дорабатывается по желанию автора. Представляется, что эта модель ускорит процесс рецензирования и откроет научному сообществу много полезных критических соображений рецензентов. В такой модели автор платит за рецензии (но на V₃ меньше, чем при старой модели открытого доступа). Планируется, что отбор статей для рецензирования будут проводить потенциальные рецензенты, а авторы могут объявить свою рукопись окончательной версией для индексации в PubMed или отправить в другой журнал для обычной публикации (решая вопросы отчетности по грантам)⁹. Конечно, такая модель приживется не во всех науках и не во всех научных сообществах (есть риск продажи рецензий), но ее мягкие формы имеют свои перспективы.

«Слепое» рецензирование не позволяет напрямую использовать имя рецензента, но журналы могут публиковать годовые списки рецензентов без привязки к конкретным статьям. Это будет способствовать взаимной поддержке репутации журналов и рецензентов, повысит ответственность последних. При распределении грантов можно учитывать работу рецензента, особенно в сильных журналах.

Создание платформы русскоязычных рецензий, где по желанию рецензентов и с согласия авторов можно публиковать хорошие рецензии и будут учитываться рецензии, выполненные ученым, также способно повысить качество работ и снизить «цену» фейковых журналов и слабых публикаций. Цитирование опубликованных рецензий можно включить в список цитат.

¹ Пионерной работой по теории рыночных сигналов выступает статья М. Спенса (Spence, 1973), ставшего в 2001 г. лауреатом премии имени А. Нобеля по экономике. Также см., например, его более позднюю работу (Spence, 2002) и обзорные статьи (Riley, 2001; Connelly et al., 2011).

² См., в частности: Мартынов, 2005. Гл. 2.

³ См.: Niskanen, 1968, 1971; Prendergast, 2007; и последний обзор работ по теме: Ahn, Resh, 2022. О стимулах избегания риска см.: Милгром, Робертс, 1999. Т. 1. Гл. 7.

⁴ О феномене «эффекта Матфея» см.: Merton, 1968, 1988.

⁵ Оценить объем производства фабрик фейковых статей (fake paper mills) сложно. Можно отталкиваться от оценки, что он составляет приблизительно 5°о числа всех поданных рукописей в научные журналы, или в сумме 300 — 400 тыс. статей.

⁷ Экономический анализ вмененной ответственности см. в: Cyrus Chu, Qian, 1995; Mattiacci, Parisi, 2003; Bisso, Choi, 2008; Spindler, 2011; Chun, Kim, 2021.

⁶ О роли репутации в создании стимулов и, как следствие, в выборе стратегий и принятии решений экономистами написано много работ (в частности, см.: Kreps, Wilson, 1982; Greif, 1989; Milgrom et al., 1990; Bernstein, 1992; Resnick, Zeckhauser, 2002).

⁸ https: www.science.org content article biology-publishing-shakeup -elife-will-require- submissions-be- posted-preprints

⁹ См.: Brainard, 2022.

Список литературы / References

1. Мартынов А. И. (2005). Археология: Учебник. 5-е изд. М.: Высшая школа. [Martynov А. I. (2005). Archeology. A textbook. 5^th ed. Moscow: Vysshaya Shkola. (In Russian).]
2. Милгром П., Робертс Дж. (1999). Экономика, организация и менеджмент: в 2-х т. СПб.: Экономическая школа. [Milgrom Р., Roberts J. (1999). Economics, organization and management. In 2 vols. St. Petersburg: Ekonomicheskaya Shkola. (In Russian).]
3. Ahn Y., Resh W. G. (2022). The political economy of bureaucratic motivation. In: E. C. Stazyk, R. S. Davis (eds.). Research handbook on motivation in public administration. Cheltenham: Edward Elgar, pp. 10—26. https: doi.org 10.4337 9781789906806.00007
4. Bernstein L. (1992). Opting out of the legal system: Extralegal contractual relations in the diamond industry. Journal of Legal Studies, Vol. 21, No. 1, pp. 115 — 157. https: doi.org 10.1086 467902
5. Bisso J. C., Choi A. H. (2008). Optimal agency contracts: The effect of vicarious liability and judicial error. International Review of Law and Economics, Vol. 28, No. 3, pp. 166 — 174. https: doi.org 10.1016 j.irle.2008.06.005
6. Brainard J. (2022). Journal declares an end to accepting or rejecting papers. Science, Vol. 378, No. 6618, p. 346. https: doi.org 10.1126 science.adf4964
7. Chun S.-H., Kim J.-Y. (2021). Vicarious liability under a strict liability rule. Asian Journal of Law and Economics, Vol. 12, No. 3, pp. 287—297. https: doi.org 10.1515 ajle-2021-0045
8. Connelly B. L., Certo S. T., Ireland R. D., Reutzel C. R. (2011). Signaling theory: A review and assessment. Journal of Management, Vol. 37, No. 1, pp. 39 — 67. https: doi.org 10.1177 0149206310388419
9. Cyrus Chu C. Y., Qian Y. (1995). Vicarious liability under a negligence rule. International Review of Law and Economics, Vol. 15, No. 3, pp. 305 — 322. https: doi.org 10.1016 0144-8188(95)00016-2
10. Greif A. (1989). Reputation and coalitions in medieval trade: Evidence on the Maghribi traders. Journal of Economic History, Vol. 49, No. 4, pp. 857 — 882. https: doi.org 10.1017 S0022050700009475
11. Kreps D. M., Wilson R. (1982). Reputation and imperfect information. Journal of Economic Theory, Vol. 27, No. 2, pp. 253—279. https: doi.org 10.1016 0022-0531(82)90030-8
12. Mattiacci G. D., Parisi F. (2003). The cost of delegated control: Vicarious liability, secondary liability and mandatory insurance. International Review of Law and Economics, Vol. 23, No. 4, pp. 453—475. https: doi.org 10.1016 j.irle.2003.07.007
13. Merton R. K. (1968). The Matthew effect in science. Science, Vol. 159, No. 3810, pp. 56 — 63. https: doi.org 10.1126 science.159.3810.56
14. Merton R. K. (1988). The Matthew effect in science, II: Cumulative advantage and the symbolism of intellectual property? Isis, Vol. 79, No. 4, pp. 606 — 623. https: doi.org 10.1086 354848
15. Milgrom P. R., North D. C., Weingast B. R. (1990). The role of institutions in the revival of trade: The law merchant, private judges, and the champagne fairs. Economics & Politics, Vol. 2, No. l,pp. 1-23. https: doi.org 10.1111 j.l468-0343.1990.tb00020.x
16. Niskanen W. A. (1968). The peculiar economics of bureaucracy. American Economic Review, Vol. 58, No. 2, pp. 293 — 305.
17. Niskanen W. A. (1971). Bureaucracy and representative government. Chicago, IL: Aldine-Atherton.
18. Prendergast C. (2007). The motivation and bias of bureaucrats. American Economic Review, Vol. 97, No. 1, pp. 180 — 196. https: doi.org 10.1257 aer.97.1.180
19. Resnick P., Zeckhauser R. (2002). Trust among strangers in internet transactions: Empirical analysis of eBay’s reputation system. Advances in Applied Microeconomics, Vol. 11, pp. 127-157. https: doi.org 10.1016 S0278-0984(02)11030-3
20. Riley J. G. (2001). Silver signals: Twenty-five years of screening and signaling. Journal of Economic Literature, Vol. 39, No. 2, pp. 432 — 478. https: doi.org 10.1257 jel.39.2.432
21. Spence M. (1973). Job market signaling. Quarterly Journal of Economics, Vol. 87, No. 3, pp. 355 — 374. https: doi.org 10.2307 1882010
22. Spence M. (2002). Signaling in retrospect and the informational structure of markets. American Economic Review, Vol. 92, No. 3, pp. 434 — 459. https: doi.org 10.1257 00028280260136200
23. Spindler J. C. (2011). Vicarious liability for bad corporate governance: Are we wrong about 10b-5? American Law and Economics Review, Vol. 13, No. 2, pp. 359 — 401. https: doi.org 10.1093 aler ahq026