Руководство по закупкам

Есть простой способ сократить значение посторонних факторов. Обычно рассчитывают балл за качество как среднее арифметическое оценок всех оценщиков. «Среднее» означает, что баллу каждого оценщика придается одинаковое значение. Тем не менее мы придадим небольшое или не придадим вовсе никакого значения посторонним величинам.

Это можно сделать благодаря использованию метода усеченного среднего. Процент – усеченное среднее – это среднее, рассчитанное после исключения крайних верхних и нижних значений процента показаний, относящихся к наборам данных [473] . Например, простое x применение этой идеи заключается в том, чтобы исключить для каждого предложения наиболее высокий и наиболее низкий баллы за качество, данные всеми оценщиками, и затем рассчитать среднее от баллов остальных оценщиков.

473

См.: [Bryan, Cecchetti, 1994]. Авторы использовали эту идею для расчета инфляционных показателей, которые находятся под меньшим воздействием крайних ценовых колебаний отдельных товаров.

Можно пойти дальше и рассчитать медиану баллов за качество, данных всеми оценщиками. Эта медиана представляет балл за качество оценщика «в середине»: половина оценщиков выставляет более высокий балл, чем он, половина – более низкий. Но в отличие от среднего значения, медиана не учитывает посторонних факторов. Поэтому крайняя оценка отдельного необъективного оценщика (который, возможно, был подкуплен) не влияет на медиану.

Таблица 16.1 показывает действие этого альтернативного агрегированного метода. Есть три предложения и семь оценщиков. Оценщики не могут точно измерить объективное качество предложений, поэтому их баллы за качество не совсем точны. Мы моделируем эту ситуацию, добавляя шумы при моделировании баллов за качество, выставляемых оценщиками [474] . Как следует из истинных баллов за качество, предложение А обладает наиболее высоким качеством. Оно также самое дорогое, но оно же является предложением, которое, в соответствии с правилом начисления баллов, должно быть выбрано. Предложение В более низкого качества, но оно также и дешевле. В соответствии с правилом начисления баллов, оно становится вторым. В примере оценщик 1 был подкуплен поставщиками предложения В: он повышает свой балл за качество в отношении В и искажает свой балл за качество в отношении сильнейшего конкурента – предложения А с целью переломить решение в пользу В.

474

А именно, мы добавляем нормально распределенный шум к баллам оценщиков за качество, плюс немного необъективности в выставляемых баллах при сокращении баллов до интервала 0–100.

Средние баллы за качество трех предложений при применении среднего арифметического по всем семи оценщикам равны 56,1 для А, 58,1 для В и 48, 4 для С соответственно. Общие баллы равны 56,9, 60,0 и 58,7 соответственно, и, таким образом, выбрано предложение В. Необъективность оценщика 1 нарушила равновесие, достигнутое при оптимальном выборе А. Если бы, однако, агрегированный балл за качество рассчитывался по медиане, а не по среднему значению, то оценщик 1 не смог бы изменить результат, как это видно из таблицы. В этом случае агрегированные баллы за качество равны 58,0, 53,0 и 45,0 соответственно, и предложение А побеждает с общим баллом в 58,4 против 55,9 предложения В.

Таблица 16.1. Среднее агрегирование в сравнении с агрегированием по медиане на торгах с использованием баллов

Мы оценили надежность этого вывода с помощью моделирования методом Монте-Карло [475] . Нам удалось установить, что применительно к выбранным нами параметрам агрегирование баллов за качество с использование среднего арифметического правильно выбирает предложение А только с вероятностью в 23 %. Эта вероятность повысится до 47 % при использовании медианы [476] . Обратной стороной этого, однако, является то, что агрегирование по медиане также приводит с высокой вероятностью к выбору наименее привлекательного предложения С, что, разумеется, нежелательно [477] .

475

Мы провели 10 тыс. испытаний, применяя программу R. B. Myerson’s Sim Tools, см.:Таблица с данными о необъективности оценщиков и предполагаемых случайных ошибках доступна для скачивания на нашем сайте: http://home.uchicago.edu/~rmyerson/tools

Метод Монте-Карло (метод статистических испытаний) – численный метод решения различных задач при помощи моделирования случайных событий.

476

Но мы хотим предупредить, что не моделируем стратегические аспекты оценки оценщиков. Поведение коррумпированного оценщика может различаться в зависимости от того, используется ли среднее арифметическое или медиана для расчета балла за качество. Но в любом случае будет верным то, что медиана меньше подвержена влиянию крайних точек, чем среднее значение. Поскольку коррумпированные оценщики больше склонны к крайним (т. е. искаженным) оценкам, использование медианы уменьшает возможности коррумпированных оценщиков и таким образом снижает готовность участников торгов оплачивать коррупцию.

477

При среднем агрегировании вариант С выбирается с вероятностью в 4 %, при медиане же – в 10 %.

Практический вывод 6.

На торгах с использованием баллов (scoring auctions) рассмотрите возможность применения медианы баллов за качество, выставляемых оценщиками, а не обычного среднего.

Даже если статистический тест недоступен, изучение баллов в табл. 16.1 показывает, что оценщик 1 является подозрительным. В таких условиях очевидным вариантом действий является расследование обстоятельств. Кроме того, возможно запросить второе заключение у независимой группы оценщиков. Расследование может включать опрос оценщиков и, как вариант, проверку их последних банковских операций. Вызвав подозрение, оценщик должен быть занесен в черный список. Более того, второе заключение следует запрашивать произвольно, даже если нет признаков необъективности. Разумеется, в качестве сдерживающего средства следует информировать все вовлеченные стороны о применении такой политики.

Как оказывается, некоторые агентства не фиксируют баллы, выставленные отдельными оценщиками, и их оценочные комиссии сообщают только об общем балле. Разумеется, это скрывает важную информацию, что нецелесообразно.

Практический вывод 7.

Проверьте отдельные баллы за качество и посмотрите, нет ли признаков посторонних факторов. Если есть подозрение, что была проведена манипуляция, рассмотрите возможность обращения за вторым заключением или начала уголовного расследования. В качестве сдерживающего средства об этой политике также рекомендуется сообщить всем участвующим сторонам до открытия торгов.

16.4. Особый случай объективного измерения качества

В некоторых редких случаях относительное качество легко измеряется без проведения сложной оценочной процедуры. В этих случаях можно провести аукцион с использованием баллов по тому же принципу, что и стандартный аукцион с одним параметром, на котором аукционирование по баллам заменяет торги по цене, поэтому все вопросы и рекомендации, помещенные в разделе 16.2, применимы и здесь с небольшой корректировкой.

Примером этого может служить так называемое «предложение А + В» – процедура, применяемая федеральными управлениями и управлениями штатов по магистралям в США для отбора подрядчиков по ремонту магистралей [478] . В данных условиях основной проблемой является продолжительность строительных работ, которые влекут дорогостоящие задержки в транспортном сообщении.

478

Федеральное управление США по магистралям (Federal and State Highway Administrations, FSHA) запустило этот формат уже в 1990-е годы, и в настоящее время он успешно и широко применяется (см., например, оценку успешности его применения штатом Аризона в 1999 г.)

«Предложение А + В» требует от участников торгов представлять финансовые предложения (оценочную стоимость) и оценку срока окончания работ. При этом используется следующая линейная формула:

Общий балл за стоимость = оценочная стоимость + оценочное время окончания работ x стоимость единицы времени,

основанная на указанной единице времени окончания работ, после чего контракт присуждается участнику, предложение которого набирает наименьший общий балл за стоимость работ [479] .

479

Разумеется, это правило также устанавливает стимулы/пени за раннее/позднее окончание строительных работ.

На таких торгах подача предложений может (и фактически так и происходит) производиться по типу аукциона с одним параметром, когда каждый участник представляет определенный балл и выигрывает предложение с наименьшим баллом, но по тому принципу, однако, что победитель может свободно выбрать предпочтительное для него сочетание стоимости и времени для завершения работ, если оно представляет обещанный общий балл. Разумеется, предложение баллов может производиться как в закрытом формате, так и в открытом. И правило определения цены может основываться как на первом, так и на втором по порядку балле, причем «второй» означает, что победитель должен сравняться с наименьшим из всех общих проигравших баллов (обобщенное правило определения цены по Викри). Манипуляции в области оценки качества не представляют потенциальной угрозы, поэтому коррупция может принять форму только мошенничества с заявками, рассмотренную нами в разделе 16.2.

16.5. Перспективы

В закупках по типу «отбора по качеству и цене» (QCBS) обычно требуется краткий итоговый список определенного размера, обычно из шести участников торгов в независимости от того, сколько участников выразили свой интерес [480] . Это строгое требование установлено в целях обеспечения прозрачности, честности и конкуренции. Однако часто оно приводит к обратному результату, поскольку допускает участников торгов с низким качеством до торгов.

480

См., например, требования к составлению кратких списков Европейского сообщества, Всемирного банка и Банка азиатского развития.

Участник торгов с низким качеством – это участник, технический опыт которого незначителен, и который неспособен представить высококачественный товар или услугу. Если в торгах принимают участие участники с высоким качеством, то у участника с низким мало или нет шансов победить без обращения к коррупции. Поэтому он особенно склонен к тому, чтобы подкупать оценщиков в обмен на положительную оценку качества или в обмен на внутреннюю информацию относительно неоговоренных, но желательных характеристик товара. Таким образом, участники с низким качеством становятся «паршивыми овцами», и жесткое правило итогового списка может способствовать появлению коррупции в процессе закупок.