Предиктивная аналитика в финансах: почему сложная модель не спасает плохие данные

В финансовом секторе постоянно растет интерес к предиктивной аналитике. Банки используют модели для оценки кредитного риска и вероятности дефолта, страховщики – для определения справедливой стоимости активов, брокеры – для прогнозирования трендов и оценки ликвидности ценных бумаг. На этом фоне легко попасть в типичную ловушку: кажется, что стоит заменить привычную модель на более сложную – например, на градиентный бустинг, ансамбль или нейросеть, – и качество прогноза автоматически вырастет.

Но практике все иначе. Сложный алгоритм не исправляет ошибки в исходных данных, а лишь быстрее и точнее указывает на закономерности в том массиве, который ему передали. Если в данных есть дубли, пропуски, неверные идентификаторы, смешение единиц измерения, рассинхронизация дат или ошибочная разметка, модель может принять эти дефекты за устойчивые паттерны. В результате метрики на исторической выборке могут выглядеть убедительно, но решения, принятые на основе такой модели, – приводить к убыткам, ошибочным лимитам или неверной оценке риска.

Именно поэтому для финансовых моделей качество данных – не второстепенная техническая задача и не зона ответственности исключительно ИТ-подразделения. Это полноценная часть системы управления рисками. Банк России прямо требует, чтобы данные, используемые в банковских моделях – например, количественной оценки кредитного риска, – были точными, полными, актуальными, согласованными, контролируемыми и восстанавливаемыми.

С чем работает модель

Любая модель работает не непосредственно с эмитентом или облигацией, а с цифровым описанием объекта – с данными. Это могут быть адрес и идентификаторы организации, валюта, номинал и статус бумаги, временные ряды цен и котировок, финансовые коэффициенты. Поэтому между реальным финансовым событием и итоговым прогнозом всегда находится длинная цепочка преобразований, сводящая все к набору полей таблицы, затем к расчетным признакам, а уже потом – к модели и управленческому решению. Ошибка может появиться в любой точке этой цепочки. Корпоративное действие может быть учтено не на ту дату, объем выпуска облигации – оказаться в другой размерности, а карточка эмитента – ошибочно сопоставлена с другой организацией. С технической точки зрения файл при этом может быть загружен корректно: колонки на месте, типы данных совпадают, пропусков почти нет. Но модель отразит уже не финансовую реальность, а искаженную картину.

Если упростить, то качество результата зависит не только от алгоритма, но и от того, насколько надежны данные, корректно ли определена и размечена целевая переменная, как сформированы признаки и есть ли контроль на всех этапах обработки. Поэтому смена модели без наведения порядка в данных часто дает лишь видимость прогресса.

Сложная модель только усугубляет проблему

У сложных ML-моделей¹ и классических оптимизационных алгоритмов есть безусловные преимущества: они лучше «ловят» нелинейные зависимости, взаимодействия факторов и скрытые паттерны, которые невозможно увидеть, например, в простой регрессии. Но именно поэтому такие модели намного охотнее подхватывают и ложные сигналы (технические признаки, пробелы в данных, несогласованность справочников и исторические артефакты) и на их основе делают выводы.

Простую модель, однако, проще и проверить. Если коэффициент у признака ведет себя странно или влияние переменной экономически необъяснимо, это обычно быстрее замечают аналитики или риск-методологи. В сложной модели подобные дефекты могут долго оставаться незаметными, особенно если обучающая и тестовая выборка построены из одного и того же пула данных, либо модель сложно интерпретировать, как ансамбли или нейросети.

Особенно опасны несколько типов ошибок:

• утечка будущей информации, когда в модель попадает то, что на дату принятия решения еще не было известно;
• ошибки временной привязки, когда путаются дата сделки, дата учета, дата публикации отчетности;
• смена бизнес-смысла признака, когда поле в витрине называется по-прежнему, но после изменения процесса рассчитывается уже иначе;
• смещение выборки, когда модель обучается на спокойном рынке или на ограниченном сегменте клиентов, а затем применяется в другой среде.

В исследованиях кредитного скоринга на российских корпоративных данных отдельно показано, что даже корректно построенная модель может давать искаженный результат из-за дисбаланса классов: дефолтных наблюдений существенно меньше, чем недефолтных. Это важный пример, потому что здесь проблема находится не на стороне алгоритма, а в структуре самих данных.

Рейтинг ликвидности – как одна переменная может сильно изменить итоговый результат

Рейтинг ликвидности облигаций – хороший пример того, как качество данных влияет на итоговую аналитику сильнее, чем сложность формулы. Ликвидность – это не только торговый оборот, но и возможность купить или продать бумагу нужного объема без существенного влияния на цену. В методике RUDATA для активно торгуемых рублевых облигаций коэффициент ликвидности рассчитывается на основе статистики очереди заявок Московской биржи. Если по бумаге нет достаточной статистики по очередям заявок, используется дерево решений, в котором учитываются торговая активность, вмененная ликвидность, концентрация владения и объем эмиссии. Здесь особенно важно то, как именно определен каждый компонент. Если, например, объем выпуска в одной системе хранится в рублях, а в другой – в тысячах рублей, технически загрузка может пройти без ошибок. Но фактически один из ключевых признаков изменил размерность. Тогда бумага может попасть в другую ветку дерева решений и получить уже иной рейтинг ликвидности. А это повлияет на последующие расчеты.

Этот пример хорошо знаком из практики работы с рыночными данными. Когда у одного из компонентов меняется размерность, модель не понимает, что произошла ошибка. Она просто использует новое значение как достоверное. Поэтому для рейтингов ликвидности необходимы не только расчетные формулы, но и строгий шаблон входных данных: определение показателя, единица измерения, допустимый диапазон (в том числе допустимое отклонение показателя от своей истории), правила агрегации и версия методики.

Скоринговая модель оценивает не только клиента, но и качество истории о нем

В кредитном скоринге цена использования некачественных данных особенно высока. Именно на основе скоринговой модели принимаются решения о размере лимита на эмитента или его бумаги, цене риска и последующем резервировании для учета. Если модель обучена на неполной или искаженной истории, ошибка сразу переходит в финансовый результат. 

В модели RUDATA итоговый балл формируется на основе набора факторов, отражающих финансовое состояние, долговую нагрузку, платежную дисциплину и иные характеристики заемщика. Такой подход полезен только в одном случае: если сами признаки согласованы между собой, одинаково трактуются в разных контурах и проходят проверку качества. На практике именно здесь часто возникают скрытые проблемы. Один и тот же заемщик может фигурировать в нескольких системах под разными идентификаторами, и это нужно учитывать при сведении данных. Какая-то часть информации может быть скрыта в связи с послаблениями от регулятора в части раскрытия отчетности и чувствительной информации: такой, например, как связи компаний. Внешне модель по-прежнему работает с числовыми признаками, но фактически она обучается на неоднородном описании объектов. Здесь приходится либо каким-то образом «заполнять» пробелы (ранее доступной информацией, косвенной информацией с разным уровнем доверия, усреднять отраслевые показатели), либо применять более сложные подходы, достраивающие недостающие данные. 

В машинном обучении такие способы называются «подмена задачи» (adversarial validation). Вместо использования исходной ML-модели¹ специалисты обучают другую, более простую или вспомогательную модель с измененными признаками и целевым вектором. Этот подход помогает находить скрытые ошибки в данных, оценивать качество разбиений и бороться с несовершенством реальных выборок.

Особое значение имеет качество целевой переменной. Для скоринга мало разделить наблюдения на «хороших» и «плохих» клиентов. Нужно заранее зафиксировать, что именно считается дефолтом, как учитываются реструктуризации, технические просрочки, какой временной горизонт используется в модели. Если разметка цели непоследовательна, сложный алгоритм не исправит ошибку – он лишь более точно воспроизведет ошибочную историю.

Справедливая стоимость для МСФО 13 и разные уровни модели

Оценка справедливой стоимости – еще одна область, где сложная модель не может компенсировать слабые данные. Особенно это заметно для облигаций, по которым нет устойчивой рыночной цены. В разъяснениях по применению МСФО 13 подчеркивается, что справедливая стоимость – это рыночная, а не внутренняя оценка, и при ее определении нужно максимально использовать наблюдаемые исходные данные и минимально – ненаблюдаемые. Это значит, что чем дальше расчет уходит от прямой рыночной котировки, тем выше требования к качеству и прозрачности всех входных параметров. На практике модель справедливой стоимости может опираться на последнюю сделку, кривую доходности, кредитный спред, параметры ликвидности, данные по сопоставимым выпускам и прогнозные денежные потоки. Если хотя бы один из этих элементов оказался некорректным – не та дата кривой, ошибочно выбранный аналог, аномальная сделка, неверный объем выпуска или некорректная поправка на ликвидность, – итоговая оценка будет математически аккуратной, но экономически неверной.

Например, методика RUDATA для оценки облигаций (RUDIP) показывает, что при отсутствии прямых рыночных наблюдений используются более сложные модельные подходы. Именно в такой ситуации контроль качества данных должен быть еще жестче: нужно подтверждать происхождение параметров, уровень их наблюдаемости, дату актуальности и устойчивость выбора метода.

Именно поэтому модель справедливой стоимости – это всегда не только формула, но и система контроля. Необходимо разделять рыночные и расчетные входы, фиксировать версии данных, проверять наличие сделок и их рыночность, валюту, единицу измерения и правила выбора аналогов (похожести). Без этого даже методологически сильная модель быстро превращается в источник плохо объяснимых расхождений в оценке.

Контроль качества данных как обязательная часть жизненного цикла модели

Проверка данных один раз перед запуском модели не решает задачу. Источники меняются, бизнес-процессы пересобираются, системы мигрируют, признаки дополняются, а методики уточняются. Поэтому контроль качества должен быть встроен во весь жизненный цикл модели – от проектирования до промышленной эксплуатации. Минимальный практический контур такого контроля, который мы применяем в своих процессах работы с данными в RUDATA, включает несколько обязательных элементов:

• Фиксация для каждого критичного признака: бизнес-определение или логика расчета, формат, единица измерения, «разрешенный» или ожидаемый диапазон, частота обновления, источник и владелец.
• Проверка на входе и после трансформаций: полнота, дубли, временная согласованность, сохранение размерности и бизнес-смысла.
• Версионирование витрин, справочников, расчетных признаков и самих моделей, чтобы любой исторический результат можно было воспроизвести.
• Мониторинг изменений (сдвигов) не только по качеству прогноза, но и по структуре самих данных: больше пропусков, иное распределение признаков, появление новых категорий и аномалий в данных (выбросы).
• Управление инцидентами качества данных: регистрация, оценка существенности, анализ первопричин и решение о необходимости пересчета или остановки модели.

Рекомендации Банка России 2026 года прямо предлагают участникам финансового рынка рассматривать инциденты качества данных как часть системы управления рисками и оценивать их влияние на решения и процессы. Это важный акцент: ошибка в витрине данных – не локальный технический дефект, а потенциальный источник неверных инвестиционных, кредитных и управленческих решений.

Вывод

Сложная модель может дать дополнительную точность, но только тогда, когда ей есть что анализировать. Если исходные данные неполны, не согласованы, плохо размечены или теряют экономический смысл при передаче между системами, усложнение алгоритма не решает проблему, а чаще делает ее менее заметной. Это особенно хорошо видно на практических примерах. Поэтому в финансовом секторе инвестиции в качественные данные следует рассматривать не как вспомогательные расходы на очистку таблиц, а как вложение в надежность аналитики, устойчивость риск-менеджмента и доверие к принимаемым решениям.