Сегодня правильный подход к обработке данных это не научный интерес, а способ заработка. Большие данные в банковской сфере позволяют более точно сегментировать клиентов, улучшать и уточнять процесс кредитного скоринга, прогнозировать вероятность неплатежа, его величину и глубину степени просрочки. Все это позволяет персонализировать продукты, делать их более индивидуальными и удобными для пользователя, а также прибыльными и менее рискованными для кредитной организации.

Однако не только клиентские данные и сведения об их поведении важны на финансовом рынке. Для правильной оценки объёмов рынка, ранжировании его участников, определения динамики развития и оценки собственных успехов важна информация о самих кредитных организациях. Получить законным способом детальную информацию о счетах и транзакциях банка или иного финансового института вряд ли возможно. Но существуют агрегированные данные, которые кредитные организации обязаны публиковать по требованию Центрального Банка. Их всесторонний анализ и правильная оценка полученных результатов могут дать руководителям банков, страховых компаний, расчётных центров и иных участников финансового рынка значительное преимущества перед конкурентами и помочь в стратегическом управлении.

Одним из наиболее значимых, полных и интересных с точки зрения анализа источников данных является 101 форма или форма №0409101 согласно терминологии Банка России. Она представляет собой сводный документ по всем кредитным организациям, который отражает итоговое и сальдо и обороты (в случае нового формата данной формы) по пятизначным счетам учёта, регламентированным «Положением о правилах ведения бухгалтерского учёта в кредитных организациях, расположенных на территории Российской Федерации» — положением Центрального Банка России №385-П.

Структура данных, представленных в данной форме отчётности достаточно проста для понимания, и, что самое важное, машинной обработки. В табличной форме одна запись содержит данные о номере счета, по которому ведётся учёт, например, 42305 содержит информацию о «депозитах на срок от 181 дня до 1 года» в разделе «депозиты и прочие привлечённые средства физических лиц», кредитной организации, идентификатором которой выступает её номер лицензии: Сбербанк – 1481, Альфа-Банк – 1326 и т.п. Основное содержание заключается в столбцах «Входящий остаток», «Обороты за период» и «Исходящий остаток». Данные поля также разбиты по составу на рублёвую составляющую и часть средств в иностранной валюте и драгоценных металлах. Сумма по счёту в иностранной валюте отображается в рублях, рассчитанная по курсу, действовавшему на дату отчётности. Также в исходных данных есть информации о принадлежности к балансовым счетам, активному/пассивному типу счёта и, безусловно, о дате, на которую указана сумма исходящего остатка. При этом величина оборотов рассчитывается за предшествующих календарный месяц.

Рис. 8 Структура данных предоставляемых Банком России по 101 форме

Для правильной обработки данных из 101 формы, необходимо ознакомиться с правилами бухгалтерского учёта в российских банках. Правовой базой является Положение Банка России №302-П «О Правилах ведения бухгалтерского учёта в кредитных организациях, расположенных на территории Российской Федерации». Ключевым понятием в РСБУ (Российских Стандартах Бухгалтерского Учёта) для банковского аналитика является двадцатизначный счёт, в котором зашифровано несколько важных параметров.

Первая цифра счёта указывает на раздел, на который проводимая банком операция оказывает влияние, разделов всего семь:

Капитал

Денежные средства

Межбанковские операции

Клиентские операции

Деятельность с ценными бумагами

Основные средства и имущество

Финансовый результат деятельности

Однако, существуют счёта, которые начинаются с цифры 8 – это означает, что операция совершается в рамках доверительного управления, например, передача банку для управления ценных бумаг на временной основе с целью получения дохода. Для целей анализа отношение счёта к определённому экономическому разделу – недостаточный признак для сбора статистики, поэтому основное деление производят либо по первым 3, либо по первым 5 цифрам. В случае использования только трёх знаков счёт определяется как «счёт первого порядка», если же профиль счёта основывается на первых пяти знаках, то он принадлежит ко второму порядку.

Рассмотрим на примере. Скорее всего, у вас есть расчётная карточка (дебетовая и рублёвая) в каком-либо банке. Ей в кредитной организации соответствует двадцатизначный счёт, который, если ваш банк следует стандартам российского учёта, начинается так: 40817810, можете проверить реквизиты. Если же детально рассмотреть данный код, то можно увидеть следующую структуру:

Первая цифра, раздел: «4» – клиентские операции

Первые три цифры, счёт первого порядка: «408» — прочие счета

Первые пять цифры, счёт второго порядка: «40187» — физических лица

Три цифры с шестой по восьмую, валюта: «810» — рубли Российской Федерации

Центральный Банк обеспечивает публичный доступ к 101 форме, собранной в детализации счетов второго порядка. Однако во время создания данной работы, а именно с марта 2017 года, Банк России принял решение, которое негативно отразилось на возможности анализа: в публикуемых данных 408 счёт, который ранее был доступен в разбивке по счетам второго порядка, начиная с вышеуказанной даты публикуется в синтетической разбивке: 408.1 и 408.2. В первом случае сумма объединяет данные по всем юридическим лицам, во втором – по физическим. Проблема же заключается в том, что теперь невозможно отдельно увидеть данные по индивидуальным предпринимателям и нефинансовым организациям. В одну кучу смешались средства избирательных фондов, специальные банковские счета, отдельные счета исполнителей государственного заказа, а также денежные средства платёжных агентов. Безусловно, сокрытие данных было крайне негативно воспринято банковским сообществом, а причиной такого поступка, по мнению многих аналитиков, стало нежелание показывать величину средств избирательных фондов и государственных заказов. Кроме введения данного изменения в марте 2017 года, Центральный Банк также «пересчитал» по новой методике всю отчётность, начиная с 2015 года, тем самым скрыв из публичного доступа вышеуказанные данные. В данной работе при анализе будут использованы базы данных, сохранённые на сервере ещё до вступивших в силу изменений.

Следующей формой, рассказывающей о деятельности кредитной организации, является отчёт о финансовых результатах или форма №102. В отличие от ежемесячно публикуемой 101 формы, 102 предоставляется менее широким кругом кредитных организаций с периодичностью в один квартал.

Рис. 9 Структура данных предоставляемых Банком России по 102 форме

Данный отчёт содержит информацию о доходах и расходах кредитной организации в следующей разбивке:

Доходы, полученные

От операций с ценными бумагами

От операций с иностранной валютой и иным ценностями

Дивидендный доход (за исключением акций)

Штрафы и пени к получению

Прочие источники

Расходы

Проценты за привлечённые кредиты

Проценты юридическим лицам

Проценты по депозитам

По операциям с ценными бумагами

По операциям с иностранной валютой

Административные расходы и расходы на персонал

Штрафы и неустойки к выплате

Прочие расходы

Данная форма помогает при детальном изучении отдельной кредитной организации для составления профиля её деятельности и выделения основных направлений работы и источников доходов – самой сути существования коммерческого предприятия. Также при совмещении данных из 101 формы и 102 формы возможно получить оценку стоимости фондирования, доходность портфеля ценных бумаг и более детально изучить структуру расходов кредитной организации, чтобы понимать, в какие направления она инвестирует, а соответственно, считает перспективными для себя и отрасли.

Для понимания финансовой устойчивости кредитной организации всегда используется величина её собственных средств (капитала). Поскольку методика расчёта данного показателя может меняться в зависимости от применяемого учёта, Банк России разработал отдельную форму отчётности, в которой наиболее подробно описываются источники формирования собственных средств, а также рассчитывается сумма активов, взвешенных с учётом риска. Результаты указанных вычислений отражаются в форме №0409135 или просто 135 форме. Данные формы представлены в виде кодов, расшифровка которых приводится в инструкции Центрального Банка №139-И «Об обязательных нормативах банков». Этот же документ подробно описывает методику расчёта собственных средств, активов и нормативов для кредитных организаций. Анализ данной формы способен не только рассказать о том, насколько устойчивой и финансово стабильной является предприятие, но также предоставить информацию по портфелю и его доходности. Поскольку величина риска по методологии Банка России зависит от полной стоимости кредита (ПСК), основной инструмента регулятора для снижения процентных ставок на рынке, и показатели активов, взвешенных по риску, указаны в 135 форме, то можно разбить портфель на группы с разной доходностью и сравнить полученные данные по различным банкам. Подробный же состав собственных средств банка, рассчитанных по международному стандарту «Базель-III», приводится в 123 форме, анализ которой используется для детального изучения капитала банка или иной кредитной организации для выявления недостаточно надёжных либо неликвидных источников формирования собственных средств.

Ставя перед собой целью анализ перечисленных выше форм, первая же задача – сбор данных за необходимый период. Центральный Банк публикует все формы отчётности на официальном сайте, однако существует ряд проблем:

Файлы за каждый период находятся по разному адресу

Каждая отдельная форма может быть опубликована в разный период времени

Данные заархивированы, при этом формат архива менялся с .ZIP на .RAR

Формы отчётности также меняли формат представления данных и до сих пор публикуются в двух типах: новому и старому

Общее количество таблиц за 5 лет составляет несколько сотен файлов

Для решения вышеописанных проблем использовался инструментарий R Studio и написанная программа, позволяющая решить большинство из поставленных задач. Код сборки файлов представлен и описание логики его работы:

setwd(‘~/R/F102’)

months=as.character(seq(from=1, to=12, by=3))

for (i in (1:length(months))) {

if (nchar(months[i])<2) {months[i]=paste(‘0’,months[i],sep=»»)} else {TRUE}

}

years=as.character(2007:2017)

dates<-с()

for (у in years) {

for (м in months) {

dates=append(dates,paste(у,м,sep=»»))

}

}

Первая часть программы устанавливает рабочую директорию, где будут хранится загруженные впоследствии данные. Далее создаются массивы дат, значения из которых будут переданы стандартному методу загрузки данных с сервера Банка России. Для динамического формирования ссылок внутри цикла загрузки даты представлены в текстовом виде в соответствии с форматом в адресе на официальном сайте.

for (d in dates) {

tryCatch(

{download.file(paste(‘http://cbr.ru/credit/forms/102-‘,d,’01.rar’,sep=»»),paste(‘F’,d,’.rar’,sep=»»),mode=’wb’)},

error=function(rar){download.file(paste(‘http://cbr.ru/credit/forms/102′,d,’01.zip’,sep=»»),paste(‘F’,d,’.zip’,sep=»»),mode=’wb’)},

warning=function(bar){print(‘foo’)}

)

}

http://cbr.ru/credit/forms/135-20101201.rar

for (d in dates) {

tryCatch(

{download.file(paste(‘http://cbr.ru/credit/forms/101-‘,d,’01.rar’,sep=»»),paste(‘F’,d,’.rar’,sep=»»),mode=’wb’)},

{download.file(paste(‘http://cbr.ru/credit/forms/101-‘,d,’01.zip’,sep=»»),paste(‘F’,d,’.zip’,sep=»»),mode=’wb’)},

error=function(foo){print(‘bar’)},

warning=function(bar){print(‘foo’)}

)

}

В этой части программы создаётся цикл, внутри которого происходит загрузка файлов и их сохранение на локальное хранилище (компьютер или сервер). Важной особенностью является записать данных в бинарном формате – при невыполнении данного условия, файлы окажутся нечитаемыми. Для того, чтобы доступ к данным был организован удобно для пользователя, каждый файл записывается в директорию с названием, соответствующим дате и типу формы, таким образом, что файл с данными учёта по счетам второго порядка (101 форма) на, например, февраль 2008 года находится по адресу: ‘~/ras/F101/F200802/012008B1’

Рис. 10 Файловая структура, созданная в результате работы программы по сбору открытых данных

Чтобы распаковать файлы, используются стандартные средства в виде архиватора, доступного на локальной машине. Для поиска файлов и их дальнейшего вызова и использования написана следующая функция:

filepath<-function(у,м,form){

if (м==12) {у_folder=у+1} else {у_folder=у}

inx<-append(seq(from=2,to=12,by=1),1)

м_folder=formatC(inx[м], width=2, flag=0)

foldername=paste(‘F’,у_folder,м_folder,sep=»»)

a<-file.path(«W:»,»finplan»,»ras»,paste(‘F’,form,sep=»»),paste(‘F’,у_folder,м_folder,sep=»»))

return(a)

}

В качестве входных параметров данной функции необходимо указать год, месяц и тип формы, на выходе пользователь получает путь к желаемому файлу. Приведённая выше конфигурация функции напрямую завязана на архитектуру рабочего компьютера, и для корректной работы на любой пользовательской машине должна быть изменена в строчке с указанием абсолютного пути.

Для дальнейшего использования данных из 101 формы, они были перенесены в хранилище через интерфейс SAS Enterprise Guide с помощью стандартной процедуры импорта табличных данных из внешних источников. Использование этого инструмента позволило решить несколько важных задач:

Доступ к данным со стороны нескольких пользователей, имеющих возможность подключения к серверу хранилища

Обеспечение простого и быстро способа поиска информации через запрос к единой таблице, вместо множественных запросов к десяткам папок

Автоматический контроль версий данных и их резервное копирование

Единственной проблемой при сохранении данных стал различный формат 101 формы, который претерпел изменение в соответствии с письмом Банка России от 21 декабря 2006 года №165-Т. До этой даты кредитные организации не раскрывали информацию об оборотах по счетам, а также не предоставляли разбивку средств по валютам.

Для решение данной задачи «старый формат» данных был доработан до соответствия новому, однако отсутствующие данные по оборотам были заменены на пустые, нулевые значения. В дальнейшем, при общем анализе рынка, по этой причине используется величина общих исходящих остатков как наиболее полный источник данных.