Оценка устойчивости рейтинговой системы

Для оценки устойчивости внутренних рейтинговых оценок необходимо разделить выборки:

• 1) на которых происходит настройка параметров IRB («in sample», обучающая выборка);
• 2) на независимую выборку для тестирования «out of sample» (как правило, удобно брать выборки за последний период один-два года, которые в настройке рейтинговой модели не участвовали, тестовая выборка)^[1].

Затем оценивается Л7?-показатель мощности рейтингования для каждой из выборок «out of sample» и сравнивается с показателем AR «in sample». Если показатель мощности AR заметно падает на выборке «out of sample», то устойчивость рейтинговой модели вызывает сомнения.

С ухудшением экономической обстановки и увеличением частотности дефолтов значение AR уменьшается — это объективный процесс. Масштабы изменения мощности можно исторически наблюдать на примере оценки мощности Moody’s RiskCalc по выборкам заемщиков в разные сроки начала кредитования. Эмпирические данные показывают, что в среднем мощность значения AR падает на величину уровня средней дефолтности. Иными словами, например, если в условиях низкой дефолтности (1—2% в год) мощность была AR = 50%, то в условиях кризиса и уровня дефолтности 10—15% мощность окажется ниже, па уровне AR = 35—40%.

Если на выборке «out of sample» мощность упала в «среднее» или «не удовлетворительное» качество (см. табл. 2.5), то рейтингование неустойчиво и рейтинговая система не должна быть аттестована (необходима ее доработка). Это возможно по причине недоучета в системе важных рискдоминирующих факторов.

Еще одной причиной изменения мощности может быть статистическая флуктуация, связанная с недостаточным количеством дефолтов в выборке «out of sample». Значительные флуктуации возможны при количестве дефолтов в выборке менее 20. Впрочем, флуктуация возможна и в сторону повышения AR. Поэтому статистическая неполнота дефолтной базы «проверочной» выборки также не даст основания и для аттестации рейтинговой модели.

Для повышения степени уверенности в устойчивости и достаточной мощности рейтинговой модели практики прибегают к дополнительному тестированию модели на подвыборках обучающей выборки, выделенных из принципов, которые не могут быть ангажированы по отношению к мощности. Например, обучающую выборку делят на годовые (двух-, трехлетние и т. п.) последовательные периоды оценки рейтинга и проверяют мощность в каждом, в том числе используют и тестовую, либо случайным формированием (датчиком случайных чисел) выделяют подвыборки. Однако нельзя использовать принципы разделения, которые могут повлиять на мощность.

Например, разделять выборки, но размеру компаний, подотрасли и прочим экономическим признакам. Нельзя отбрасывать часть «хороших», оставляя «плохие», и т. д. Принципы формирования подвыборок, на которых тестируется рейтинговая модель, необходимо досконально указать в отчетах по валидации.

• [1] Характеристика in/oul of sample относится к наблюдениям (заемщикам), когда каждыйиз них представлен во всех периодах наблюдения. Дополнительно рекомендуется рассматривать эффективность модели на разных периодах, что называют разбиением in/out of time. В тексте имеется в виду именно разбиение последнего (второго) типа (примеч. науч. ред.).