Требования к организации процесса внутренней валидации моделей измерения кредитного риска контрагента

Банки, использующие внутренние модели измерения кредитного риска контрагента (далее — 1ММ-модели), должны проводить постоянную валидацию данных моделей для демонстрации регулятору и высшему руководству банка адекватности и пригодности данных моделей. Постоянная валидация позволяет своевременно определить возможные недостатки модели или неадекватность результатов ее применения, а также повторно подтвердить, что заложенные в модель допущения и ограничения по-прежнему актуальны.

Здесь и далее под IMM-моделями подразумевается совокупность моделей, рассчитывающих прогнозные и ожидаемые суммы, подверженные риску¹ (далее — ЕРЕ-модели), и моделей оценки факторов риска, которые являются вспомогательными для? Р?-моделей (далее — Фактор-модели). Ключевым требованием является валидация всего комплекса моделей, используемых при измерении кредитного риска контрагента: как ЕРЕ- моделей, так и Фактор-моделей.

Одним из главных инструментов валидации внутренних моделей является бэк-тестирование. Под бзк-тестированием понимается процесс, аналогичный введенному в подпараграфе 8.5.3.3.

Подходы к бэк-тестированию внутренних моделей кредитного риска контрагента регламентируются документом BCBS (bcbsl85)^[1][2]. Данный документ более полно раскрывает верхнеуровневые принципы к валидации моделей измерения кредитного риска контрагента, изложенные в приложении 4 Базель II.

Необходимо отметить, что бэк-тсстированис /ММ-модслей — развивающийся процесс, для которого пока не существует четко определенной методологии, в отличие от моделей оценки рыночного риска.

Процедура бэк-тестирования IMM-моделей включает:

• • выбор данных для бэк-тестирования (включая выбор портфелей и рыночных данных);
• • выбор и улучшение соответствующих статистических тестов;
• • анализ плохих результатов бэк-тестирования;
• • принятие корректирующих действий в случае необходимости.

Данные для бэк-тестирования Значимость результатов бэк-тестирования в большой степени зависит от качества и количества используемых данных («набора данных»).

Набор данных для бэк-тестирования — это набор прогнозных будущих значений отдельных показателей и соответствующих фактических реализаций этих показателей, формирующих статистическую выборку. К числу таких показателей относятся:

• • прогнозные и фактические значения сумм, подверженных риску^[3], для отдельного неттинг-сета контрагента;
• • прогнозные и фактические значения отдельных факторов риска, используемых в IMM-моделях.

Для каждого прогнозного распределения рыночных факторов риска или сумм, подверженных риску, можно определить следующие параметры:

• • дату инициализации (initialisation date) — момент времени, с которого начинается прогнозирование определенной величины;
• • временной горизонт (time horizon) — временной промежуток между датой инициализации и датой реализации прогноза.

Наборы данных для бэк-тестирования могут быть получены из разрозненных данных путем различных группировок:

• • по времени (использование в одном наборе данных результатов применения /ММ-модели для различных моментов времени);
• • по сделкам, факторам риска и контрагентам (использование в одном наборе данных результатов применения /ММ-модели для различных сделок, контрагентов, факторов риска);
• • по времени, сделкам, факторам риска и контрагентам (использование в одном наборе данных результатов применения /ММ-модели для различных моментов времени, сделок, контрагентов, факторов риска).

Период времени, за который происходит группировка данных, называется интервалом наблюдения (observation window). При бэк-тестировании с использованием короткого интервала наблюдения существует риск получения незначимой оценки качества /ММ-модели. И обратно, бэк-тестирование с использованием интервала наблюдения в несколько лет позволяет сгладить качество /ММ-моделей в периоды благоприятных и турбулентных условий на рынке и увеличить общий размер выборки, получив большую статистическую достоверность. Однако это может скрыть низкое качество модели в текущий момент времени и привести к риску того, что процедура бэк-тестирования недостаточно чувствительна к наиболее свежим результатам работы /ММ-моделей. Банкам нс запрещается проводить оценку моделей кредитного риска контрагента, используя большие интервалы наблюдений для целей валидации, но они также должны обращать внимание на результаты работы моделей на последних (наиболее свежих) данных.

Банкам следует осмотрительно подходить к группировке данных для получения наборов, так как низкое качество результатов бэк-тестирования /ММ-моделей после группировки данных наиболее вероятно может быть вызвано низким качеством результатов на более низких уровнях. В то же время группировка по всем сделкам или рыночным факторам риска может привести к тому, что плохое качество /ММ-модели в отношении определенных видов сделок и (или) факторов риска будет замаскировано приемлемыми результатами бэк-тестирования в отношении других видов сделок и (или) факторов риска.

Ниже представлены наиболее частые методы получения наборов данных для бэк-тестирования.

1. Использование неперекрывающихся фиксированных временных горизонтов с различными датами инициализации.

В этом методе набор данных для бэк-тестирования конструируется с использованием, к примеру, временного горизонта в одну неделю и дат инициализаций, равноудаленных друг от друга также на одну неделю (рис. 8.2).

Рис. 8.2. Неперекрывающиеся фиксированные временные горизонты с различными датами инициализации

Стоит отметить, что при увеличении временного горизонта необходимо так же увеличивать интервал наблюдения, чтобы сохранить тот же объем выборки. Большие интервалы наблюдения необходимы для получения статистически значимых результатов, и, как результат, оценка качества /ММмодели будет проводиться с учетом разных рыночных условий. Преимущество данного метода заключается в независимости данных. Однако большой интервал наблюдения может привести к тому, что хорошая эффективность /ММ-модели на протяжении спокойных периодов будет маскировать низкое качество /ММ-модели в моменты рыночных кризисов.

2. Использование перекрывающихся фиксированных временньих горизонтов с различными датами инициализации.

На рис. 8.3 данные получены с помощью двухнедельного временного горизонта и дат инициализаций равноудаленных друг от друга на одну неделю.

Рис. 8.3. Перекрывающиеся фиксированные временные горизонты с различными датами инициализации.

Результаты в этом случае не могут считаться статистически независимыми, и для бэк-тестирования следует разрабатывать отдельные статистические тесты, учитывающие это. Использование перекрывающихся интервалов значительно увеличивает выборку для фиксированного периода наблюдения, хотя выросший размер выборки может не усилить способность разделения между адекватной и неадекватной /ММ-моделью вследствие наличия зависимости данных.

3. Использование различных временных горизонтов с одной датой инициализации.

Па рис. 8.4 набор данных получается из прогнозных значений на различных временных горизонтах, но с одной датой инициализации.

Рис. 8.4. Различные временные горизонты с одной датой инициализации.

Оценка адекватности IMM-модели проводится с учетом того, что IMM- модель параметризуется (калибруется) на дату инициализации. Таким образом, любые улучшения (или ухудшения) качества IMM-модели в результате обновления ее параметров после этой даты не будут учитываться при оценке будущих значений. Использование данного метода приводит к зависимости результатов бэк-тестирования от рыночных условий как на дату инициализации, так и до нее. Более того, в данном случае маловероятно, что результат бэк-тестирования предоставит надежную оценку адекватности IMM-модели. Также данный подход не позволяет проанализировать адекватность IMM- моделей в разрезе различных временных горизонтов, так как все используемые горизонты спутаны между собой и не являются независимыми. Таким образом, данный метод не рекомендуется к использованию: для того чтобы получать соответствующие результаты об адекватности модели, интервал наблюдения должен включать несколько дат инициализации.

4. Использование различных временных горизонтов и дат инициализации.

Наборы данных для бэк-тестирования состоят из прогнозных будущих значений рассматриваемых величин с различными временными горизонтами и различными датами инициализации. Па рис. 8.5 показан пример использования дат инициализации, отстоящих друг от друга на три недели, с различными временными горизонтами.

Данный метод, по сути, является комбинацией двух ранее перечисленных и снижает ясность результатов. В то время как результаты менее чувствительны к рыночным условиям на дату инициализации, бэк-тестирование вряд ли предоставит надежную оценку качества /ММ-модели. Более того, аналогично агрегированию относительно временных горизонтов данный метод не может отличить /ММ-модель, неадекватную на каких-то определенных временных горизонтах.

• [1] В англоязычной литературе употребляется термин expected positive exposure (ЕРЕ).
• [2] Basel Committee on Banking Supervision. Sound practices for backtesting counterpartycredit risk models. 2010. December. BCBS. URL: http://www.bis.org/publ/bcbsl85.pdf.
• [3] В англоязычной литературе употребляется термин exposure.