Цфт миграция что это

В Курске клиенты ВТБ жалуются на пропажу денег со счетов

В работе приложений банка ВТБ произошел сбой. Клиенты столкнулись с проблемами с переводами средств и другими операциями, которые продолжаются второй день. Жительница Курска рассказала «ДДД», что сегодня днем, зайдя в приложение, обнаружила, что с накопительного счета списаны все средства.

— На накопительном счете «Копилка», с которого перевожу деньги на текущий, чтобы расплатиться в магазине, оказалось 0 рублей, хотя там была приличная для меня сумма – примерно две мои зарплаты, — рассказывает курянка. — Смотрю историю — никаких расходных операций нет. Захожу на счет и вижу, что вся сумма списана и стоит отметка «ЦФТ Миграция». Понятия не имею, что это такое. Через несколько минут счет «Копилка» из личного кабинета полностью исчез».

После долгих мучений курянке все же удалось связаться со службой поддержки. Оператор пояснил, что проходят технические работы, и сегодня к 16:00 всё восстановят, деньги целы, но воспользоваться ими пока нельзя.

С той же проблемой столкнулись и жители других регионов. О масштабном сбое и рекордно мощных DDoS-атаках пишут федеральные СМИ.

Иван ПРОХОРОВ, фото автора

Подписаться на «Друг для друга»:

Отзывы читателей (5)

Сколько вам говорить. Храните деньги наличные и дома. Для мгновенного изъятия у граждан денег это и придумали наврав что очень удобно. Но главное этой технологии МГНОВЕННОЕ ИЗЪЯТИЕ ДЕНЕГ СО СЧЕТОВ ГРАЖДАН

К выше сказанному я бы добавил — храните деньги в разных валютах и в банке. стеклянной или жестяной. Ещё золото во все времена всегда в цене. А к банкирам доверия уже давно нет.

Что за идиотизм писать про то, что мы сами голосовали за такую жизнь? На вас если голубь с дерева нагадит, то это обязательно будет Путинский преспешник, а дерево, даже если оно тут уже 40 лет растёт, то обязательно будет высажено Единой Россией! В любой системе бывают сбои и ВТБ это достаточно не плохой банк. А вы, молодые янки, лучше бы обратились к своим западным «богам». Пусть они вам объяснят что такое ddos и с чем его едят.

В Ярославле тоже самое, 1.5 часа не могла воспользоваться своими денежными средствами, тк они просто отсутвовали! ВТБ скидывали звонки, в чате просто приносили извинения. Шикарная работа банка! Что-то последнее время ВТБ начал расстраивать.

Источник

Миграция данных или как мы поменяли АБС в РСХБ. Часть 1

Hello, world! Меня зовут Руслан, я работаю в отделе внедрения АО «Россельхозбанк» и в этой статье поделюсь с вами, как мы переносили данные из АБС «БИСквит» в систему ЦФТ-Банк. Если вы так же, как и мы когда-то, задумаетесь о смене основной банковской системы или уже находитесь в этом процессе, то вам, определенно, сюда!

В случае с нашим банком сам по себе непростой процесс миграции с одной АБС на другую был усложнен большим объемом переносимых данных: более 12 миллионов клиентов, 25 миллионов депозитов и 2-х миллиардов документов. Сейчас в банке работают 68 региональных филиалов, размещенных централизованно в одной автоматизированной банковской системе (АБС) с единой клиентской базой. Для достижения такого результата потребовалось около восьми лет: начиная с централизации разрозненного набора самостоятельных региональных филиалов и заканчивая миграцией в ЦФТ. Стоит отметить, что у каждого из филиалов банка был отдельный «БИСквит» с особенностями ведения тех или иных продуктов/состояний базы данных (БД).

Старая АБС имела существенные ограничения по количеству одновременно работающих сессий, так как пользователи подключались напрямую к БД. Архитектурное решение ЦФТ позволило снизить нагрузку на основную БД за счет перевода пользователей на работу через серверы приложений. Цели банка по привлечению большего числа клиентов также требовали применения еще более прогрессивных и современных решений. Поэтому за этапом централизации последовал этап перехода на новую АБC, и были начаты работы по проекту миграции данных из старой системы («БИСквит» от компании «БИС») в новую (ЦФТ-Банк от ЦФТ).

1. Особенности выбора и подготовки инструментов миграции.

Из-за децентрализации системы «БИСквит» в разных филиалах использовался разный набор таблиц базы данных, а также разнились подходы к ведению бизнес-данных. Поэтому первый вопрос, на который предстояло ответить нашей команде, звучал так: «Данные из каких таблиц нужно переносить из одной АБС в другую?». Для решения этой задачи был проведен анализ существующих в банке продуктов, собрана статистика по количеству записей в таблицах БД в разрезе филиалов и определен перечень значимых сущностей для миграции.

На следующем этапе был разработан подход к формализации правил переноса данных из таблиц источника в таблицы приемника. Был составлен маппинг полей (соответствие таблиц и реквизитов системы-источник системе-приемнику), маппинг классификаторов, порядок проверки результатов миграции и запущен процесс разработки инструментов экспорта и импорта.

Ко всему прочему нам нужно было ограничить объем данных для миграции, учитывая количество филиалов в банке и большое количество бизнес-данных. Поэтому волевым решением определили, что в новую АБС переносим только действовавшие в текущем году объекты/договоры (кредиты, депозиты и т.п.) и данные по балансу (документы и счета) с глубиной в 3 года от даты миграции.

Как уже упоминалось выше, в нашем банке используется система ЦФТ-Банк. Систему ЦФТ-Ритейл-банк нам заменила подсистема «R2 – Розница» (это отдельная большая история, которая потянет на еще один рассказ 🙂 ). Для миграции большего объема данных продуктов физиков (относительно юриков) технология инструментов миграции была разделена на следующие части:

1. Миграция продуктов «R2 – Розница»: кредиты, депозиты, карты, страховки, резервирование физических лиц. Отличие миграции продуктов Розницы от остальных продуктов заключается в миграции данных в несколько этапов:

— заполнение миграционных таблиц (так называемые M#);

— подготовка и перенос данных в таблицы-прототипы (так называемые P#);

— перенос в целевые таблицы.

Во время самого переноса из таблиц-прототипов (P#) в целевые таблицы (Z#) предполагается отключение всех пользователей от БД, отключение индексов и ограничений.

Применение такого подхода к миграции продуктов Розницы связано исключительно с их большим объемом (60-65% от общего объема мигрируемых данных) и необходимостью выполнения ряда преобразований (из-за различий в структуре таблиц БИСквит и ЦФТ).

2. Миграция всех остальных сущностей: пользователи, клиенты ФЛ и ЮЛ, кассы, депозиты и кредиты юридических лиц и пр. Миграция этого типа продуктов выполнялась с помощью стандартного инструмента загрузки данных в ЦФТ-Банк – «универсального импорта», при помощи которого данные из файлов загружались в таблицы универсального импорта, а затем сразу в целевые таблицы.

2. Тестирование и отладка инструментов миграции.

— полностью ручное выявление и исправление ошибок. Подход применим в случаях, когда применение следующих описанных способов нецелесообразно;

— выгрузка некорректных данных в отчет по определенному алгоритму (в зависимости от вида ошибок) с последующим ручным исправлением. Подход применим как для источника, так и для приемника;

— конвертация данных. При таком подходе данные исправляются автоматической операцией непосредственно перед миграцией/после миграции. Процесс подготовки филиала к миграции итерационный, и проверки готовности филиала к миграции конвертации необходимо запускать перед каждым тестовым циклом (пользователи ведь не переставали создавать новые данные). Подход применим как для источника, так и для приемника;

— алгоритм миграции. Этот пункт похож на предыдущий, но отличается тем, что исправление (изменение) данных происходит в момент экспорта данных. Этот вариант имеет несколько недостатков, например, увеличение времени экспорта (поэтому такой подход применялся редко и в обоснованных случаях) и сложность при проведении сверки миграции (о сверке поговорим несколько позже).

Итак, миграция в ЦФТ разделялась на:

· миграцию Ядровой части и ЦФТ-Банк (так называемое ИБСО, через универсальный импорт);

· миграцию продуктов Розницы.

На самом деле, и в импорте ИБСО, и в импорте Розницы важна последовательность импорта, что невозможно «держать в голове» и требует некой формализации. На начальном этапе формализация вылилась в инструкции по миграции, а в последствии постепенно переросла еще и в автоматизацию в виде отдельного инструмента в Навигаторе под названием «Тайминг»:

В то время как универсальный импорт уже не был чем-то новым и не требовал существенных доработок, инструменты миграции Розницы, что называется, разрабатывались с подрядчиком «нуля». Миграция Розницы выполнялась в такой последовательности:

1) Файлы выгрузки всех розничных объектов собираются в единый каталог;

2) Запускается инструмент, группирующий файлы по определенным маскам имени файлов и приводящий их имена к единообразию;

3) Запускается инструмент, формирующий файл с перечнем имен файлов, реквизитами из этих файлов и порядковым номером реквизита в файле (назовем его «FB_METADATA.EXP»).

Первым при импорте Розницы загружается файл FB_METADATA.EXP. Таким образом, решаются следующие задачи:

а) сверяется структура выгруженных таблиц с предсозданными таблицами M# в БД Oracle, что позволяет выявить ошибки экспорта или настройки таблиц M#;

б) определяется структура выгруженных таблиц для дальнейшего использования.

4) После генерируются скрипты для загрузки данных с FIO с помощью SQLLoader в три этапа:

1. импорт данных из файла в техническую таблицу (T#);

2. вставка данных из технических таблиц в таблицы миграции (M#);

3. удаление созданной технической таблицы.

5) На заполненных M# создаются заранее определенные индексы и выполняются ручные проверки данных на корректность (скриптами с помощью SQLDeveloper). На этапе заполнения таблиц миграции мы имеем в базе «плоские» данные (данные, в которых не восстановлена ссылочная целостность).

После проверки выгруженных данных и подтверждения их корректности можно приступать к подготовке к переносу в конечные таблицы, который состоит из ряда этапов:

1) Заполнение таблиц прототипов (P#) с резервированием идентификаторов (ID) для новых записей;

2) Восстановление ссылок на записи (таблицы R#) и на массивы (таблицы C#) для новых ID;

3) Восстановление ссылок на уже существующие в БД записи (таблицы E#).

В финальной части импорта выполняется перенос данных в целевые таблицы (с обязательным отключением триггеров и ограничений для ускорения процесса импорта) и проверка результатов миграции. Схематично процесс миграции продуктов Розницы можно отразить в следующем виде:

3. Внедрение пилотного филиала.

К внедрению пилотного филиала инструмент автоматизации уже был готов на 90%, существенно облегчил нам жизнь и сократил время миграции примерно в три раза. Внедрение пилота проходило в выходные дни для уменьшения влияния процесса перехода на работу филиала. В целом, переход был тщательно проработан и выполнен с минимальными проблемами и ошибками.

Дальше нас ждала подготовка к миграции филиала с наличием архивного «БИСквита» (в результате слияния двух «БИСквитов») и к миграции нескольких филиалов за раз одновременно! Но об этом, а также об особенностях миграции в новую АБС карточек клиентов, поговорим в следующий раз.

Источник

Мастер Счет в Платежном Поручении ВТБ

Миграция денег

Миграция денег (money movement) – перемещение денег между отдельными регионами (районами, областями) страны, городом и селом, отдельными группами населения.

Различают организованные и неорганизованные формы миграции денег. Организованная миграция денег – поступление торговой выручки, движение денег при почтовых переводах. Неорганизованная миграция денег связана с поездками на отдых, в командировки, поездками в другие регионы для покупки товаров, с продажей сельскохозяйственных продуктов на рынках, находящихся в других регионах.

Обращение денежной массы связано с процессом миграции денег. Часть перемещаемых денег определяется исчислением сумм переводов, отправленных за пределы данной территории либо полученных извне. В сумму переводов включаются переводы через органы связи и учреждения банков. Эта часть миграции денег в объеме платежеспособного спроса населения учитывается в форме разницы между полученными и отправленными переводами.

Основными каналами перемещения денежной массы являются: безналичный (авизо, переводы, аккредитивы) и наличный. При этом деньги как ввозятся в регион, так и вывозятся из него. В связи с этим важное значение имеет сальдо миграции денег, так как от него прямо зависит платежеспособный спрос населения региона. Поэтому, экономически нежелательна миграция денег, вызванная недостатками в удовлетворении спроса населения в местах постоянного проживания.

Методы изучения миграции денег построены на использовании балансов денежных доходов и расходов населения, данных об остатках средств на счетах граждан в банках, обследованиях бюджетов семей и т. п. В основе распределения количества находящихся в обращении денег по регионам страны лежат уровень денежных доходов по социальным группам населения и скорость обращения денег. Для изучения миграции наличных денег используется банковская отчетность о структуре эмиссии по видам денежных знаков и купюрному составу и другие методы.

Порядок отражения входящих остатков

Статьи по теме

Для обеспечения перехода к новому плану счетов Минфином России было направлено письмо от 29.12.2010 № 02-06-07/5396, содержащее таблицу соответствия плана счетов бюджетного учета, применяемых в 2010 и 2011 г. При этом при отражении входящих остатков по активам, обязательствам и финансовым результатам по состоянию на 1 января 2011 г. следует учитывать письмо Минфина России от 25.04.2011 № 02-06-07/1546 «Методические рекомендации по порядку отражения в бухгалтерском учете входящих остатков по активам, обязательствам и финансовым результатам при принятии решения о преобразовании государственного (муниципального) учреждения путем изменения его типа» (далее – Методические рекомендации). Рассмотрим порядок применения указанных писем на практике.

Перенос остатков

В связи с изменениями, введенными Инструкцией № 157н, при формировании бюджетной отчетности бухгалтеры столкнулись с несоответствием между номерами строк Баланса (ф. 0503130)1 по состоянию на конец 2010 и начало 2011 г., хотя показатели разделов отчета и валюта баланса (общего итога) не должны отличаться.

Согласно п. 1 Методических рекомендаций остатки по счетам учета на 1 января 2011 г. переносятся:

Если средства от приносящей доход деятельности в 2011 г. будут:

Отметим, что в Методических рекомендациях отсутствуют указания в отношении остатков расчетов за счет средств обязательного медицинского страхования, которые в соответствии с п. 21 Инструкции № 157н с 2011 г. подлежат отражению по коду финансового обеспечения 7, а в 2010 г. учитывались по коду 2. Кроме того, Методические рекомендации не содержат прямых указаний на способ отражения операций перевода остатков.

По аналогии с операциями перевода остатков в межотчетный период в предыдущие годы, перевод остатков возможно отразить путем их списания по плану счетов 2010 г. в корреспонденции со счетом финансового результата прошлых лет (счет 0 401 03 000 плана счетов 2010 г.). Далее восстановить остатки на счетах соответствующих Инструкции № 157н в корреспонденции со счетом финансового результата прошлых лет (счет 0 401 30 000). При этом перенос остатка по самому счету финансовых результатов прошлых лет будет выполняться прямой проводкой после выполнения всех операций переноса с учетом сложившегося сальдо.

Пример

Рассмотрим переноса остатков с использованием счета финансового результата прошлых лет:

Далее рассмотрим прямого переноса остатков без использования счета финансового результата прошлых лет:

При переносе остатков по счетам следует учесть и изменения бюджетной классификации в соответствии с Указаниями № 190н1 (в частности, изменение кода подраздела расходов бюджета «Другие общегосударственные вопросы» с 0114 на 0113).

Изменение бюджетной классификации, в отличие от плана счетов, не влияет на бюджетную отчетность учреждения.

Исходящие остатки 2010 г. по счетам, содержащим коды бюджетной классификации доходов, расходов бюджетов и источников финансирования дефицитов бюджетов, должны быть перенесены на счета входящих остатков 2011 г. исходя из принципа сопоставимости (преемственности) кодов бюджетной классификации.

Приведем общую схему переноса остатков. В таблице обращено внимание на те счета, по которым при переносе может понадобиться разделение данных одного счета на несколько счетов.

Для казенных учреждений не предусмотрено выделение на уровне плана счетов и форм отчетности такой категории, как особо ценное движимое имущество.
У бухгалтеров нередко возникает ряд вопросов, касающихся перехода на новый порядок учета, не связанных с переносом остатков.

Во-первых, это порядок начисления амортизации на основные средства балансовой стоимостью свыше 20 000 до 40 000 рублей включительно. По у 2009 г., когда ценовой предел был увеличен с 10 000 до 20 000 рублей, ожидалось, что будет выпущено указание о доначислении амортизации до 100% по всем основным средствам стоимостью до 40 000 рублей включительно, приобретенным до 1 января 2011 г. Но поскольку более чем за полгода никаких распоряжений на этот счет Минфином России выпущено не было, нет оснований для доначисления амортизации.

Во-вторых, это порядок восстановления на забалансовых счетах 24, 25 и 26 данных о нефинансовых активах, которые находились в аренде (безвозмездном пользовании, доверительном управлении) по состоянию на 1 января 2011 г. Поскольку этот вопрос до сих пор не регламентирован на федеральном уровне, необходимо решить на уровне локальных учетных стандартов (учетной политики), какой датой отражать в учете такие остатки — в межотчетный период или в январе 2011 г. Такое решение особенно важно ввиду того, что с 2011 г. отражению в отчетности (в Справке о наличии имущества на забалансовых счетах) подлежат все забалансовые счета.

Документальное оформление переноса остатков

Нередко финансовые органы и ГРБС требуют от учреждений предоставить «отчет о переносе остатков по форме 833». Такое требование вызывает у бухгалтеров недоумение, потому что в составе форм отчетности, утвержденных законодательно, формы «833» нет. Очевидно, что речь идет о первичном документе Справка (ф. 0504833). Действительно, поскольку при переносе изменяются остатки по счетам учета, должен быть первичный документ (даже если перенос выполняется компьютерной программой авто-матизированно). И этот документ должен быть оформлен правильно.

Неправильно оформленная Справка (ф. 0504833):

Ошибка бухгалтера состоит в том, что указан код счета, а не его номер.
Неправильно оформленная Справка (ф. 0504833):

Ошибка состоит в том, что по счетам учета предусмотрено ведение аналитического учета в разрезе основных средств, материально ответственных лиц и мест хранения. Следовательно, также должен производиться в разрезе аналитики, предусмотренном для соответствующего счета.

Правильно оформленная Справка (ф. 0504833):

Объем получившейся Справки (или нескольких Справок) будет велик. Но это не освобождает учреждение от обязанности отражать операции в учетных регистрах на основании первичных документов.

Клиенты ВТБ 24 хотят получать весь комплекс банковского обслуживания, однако, это не всегда возможно. Некоторые сервисы открываются физическим лицам только после оформления мастер счета, например, возможность дистанционного открытия пластиковых карт, отображение всех без исключения финансовых продуктов в личном онлайн-кабинете.

Помимо этого, владелец мастер счета получает возможность пользоваться более узконаправленными услугами кредитной организации – покупать паи Паевых Инвестиционных Фондов, участвовать в брокерской деятельности, оформлять специализированные типы карточек, которые дают бонусы в виде миль, бесплатных ж/д билетов, кэш-бека и многое другое.

Осуществите пополнение текущего мастер-счета ВТБ 24 онлайн через Интернет-банк Иногда клиенты ВТБ 24 сталкиваются с такой ситуацией, что они не имеют доступ к определенным услугам, например, дистанционному открытию счета, либо в их онлайн-кабинете отображаются не все активные банковские продукты. Это значит, что клиент не заключил с банком договора комплексного обслуживания и не имеет мастер-счета. Возникают резонные вопросы: мастер-счет ВТБ 24 – что это такое и какие возможности он дает, обязательно ли его подключать?

Пользователи могут рассчитывать на получение займов и кредитов на более выгодных условиях, чем обычные. Отзывы пользователей о данной системе преимущественно положительные.

Данный инструмент — это ключ к возможностям банка, замена работы операциониста. С его помощью через интернет можно:

Чтобы пополнять долларовый мастер счет, надо заранее предоставить реквизиты. В остальном же, никаких ограничений нет. Так как по закону сами счета одинаковые в основных правах.

Источник

Миграция на новый личный кабинет ИП

Хотелось бы отметить, на сколько ужасно банк ВТБ произвел миграцию в новый пользовательский личный кабинет.

В один прекрасный день я получил уведомление, что банк сделал новый, современный кабинет, и доступ к старому будет закрыт. На радостях (ведь теперь не нужно было использовать архаичный Internet Explorer) я побежал знакомиться с новым кабинетом. Каким же разочарованием стало для меня открытие того факта, что в 2021 году, при разработке личного кабинета, банк ВТБ не включает туда такую важную функцию, как импорт платежей из программы 1С.

Вы представляете, второй крупнейший банк России заставляет своих клиентов вручную забивать кучу платежных поручений. Сказать что я был в шоке как ничего не сказать. Поскольку выбора не было, я пошел вручную стучать по клавиатуре. Я думал что на этом банк меня уже не удивит, но оказалось что веселье не закончено. Я сформировал выписку платежей, с целью импортировать их в кабинет. И тут я с удивлением обнаружил, что в выписке хранятся только непосредственно операции, без платежных поручений!

Теперь 1С ярко светится мне разными уведомлениями о просроченых платежах, поскольку она не может понять, к какому именно счету на оплату относится то или иное списание. А еще периодически в личном кабинете мне выпадали разные красные блоки с английским текстом ошибок. Банк ВТБ, вы программистов где, со студенческой скамьи набрали? У вас вообще хоть какой то процесс QA перед деплоем нового функционала есть?

Источник

Миграция данных или как мы поменяли АБС в РСХБ. Часть 1

Hello, world! Меня зовут Руслан, я работаю в отделе внедрения АО «Россельхозбанк» и в этой статье поделюсь с вами, как мы переносили данные из АБС «БИСквит» в систему ЦФТ-Банк. Если вы так же, как и мы когда-то, задумаетесь о смене основной банковской системы или уже находитесь в этом процессе, то вам, определенно, сюда!

В случае с нашим банком сам по себе непростой процесс миграции с одной АБС на другую был усложнен большим объемом переносимых данных: более 12 миллионов клиентов, 25 миллионов депозитов и 2-х миллиардов документов. Сейчас в банке работают 68 региональных филиалов, размещенных централизованно в одной автоматизированной банковской системе (АБС) с единой клиентской базой. Для достижения такого результата потребовалось около восьми лет: начиная с централизации разрозненного набора самостоятельных региональных филиалов и заканчивая миграцией в ЦФТ. Стоит отметить, что у каждого из филиалов банка был отдельный «БИСквит» с особенностями ведения тех или иных продуктов/состояний базы данных (БД).

Старая АБС имела существенные ограничения по количеству одновременно работающих сессий, так как пользователи подключались напрямую к БД. Архитектурное решение ЦФТ позволило снизить нагрузку на основную БД за счет перевода пользователей на работу через серверы приложений. Цели банка по привлечению большего числа клиентов также требовали применения еще более прогрессивных и современных решений. Поэтому за этапом централизации последовал этап перехода на новую АБC, и были начаты работы по проекту миграции данных из старой системы («БИСквит» от компании «БИС») в новую (ЦФТ-Банк от ЦФТ).

1. Особенности выбора и подготовки инструментов миграции.

Из-за децентрализации системы «БИСквит» в разных филиалах использовался разный набор таблиц базы данных, а также разнились подходы к ведению бизнес-данных. Поэтому первый вопрос, на который предстояло ответить нашей команде, звучал так: «Данные из каких таблиц нужно переносить из одной АБС в другую?». Для решения этой задачи был проведен анализ существующих в банке продуктов, собрана статистика по количеству записей в таблицах БД в разрезе филиалов и определен перечень значимых сущностей для миграции.

На следующем этапе был разработан подход к формализации правил переноса данных из таблиц источника в таблицы приемника. Был составлен маппинг полей (соответствие таблиц и реквизитов системы-источник системе-приемнику), маппинг классификаторов, порядок проверки результатов миграции и запущен процесс разработки инструментов экспорта и импорта.

Ко всему прочему нам нужно было ограничить объем данных для миграции, учитывая количество филиалов в банке и большое количество бизнес-данных. Поэтому волевым решением определили, что в новую АБС переносим только действовавшие в текущем году объекты/договоры (кредиты, депозиты и т.п.) и данные по балансу (документы и счета) с глубиной в 3 года от даты миграции.

Как уже упоминалось выше, в нашем банке используется система ЦФТ-Банк. Систему ЦФТ-Ритейл-банк нам заменила подсистема «R2 – Розница» (это отдельная большая история, которая потянет на еще один рассказ 🙂 ). Для миграции большего объема данных продуктов физиков (относительно юриков) технология инструментов миграции была разделена на следующие части:

1. Миграция продуктов «R2 – Розница»: кредиты, депозиты, карты, страховки, резервирование физических лиц. Отличие миграции продуктов Розницы от остальных продуктов заключается в миграции данных в несколько этапов:

— заполнение миграционных таблиц (так называемые M#);

— подготовка и перенос данных в таблицы-прототипы (так называемые P#);

— перенос в целевые таблицы.

Во время самого переноса из таблиц-прототипов (P#) в целевые таблицы (Z#) предполагается отключение всех пользователей от БД, отключение индексов и ограничений.

Применение такого подхода к миграции продуктов Розницы связано исключительно с их большим объемом (60-65% от общего объема мигрируемых данных) и необходимостью выполнения ряда преобразований (из-за различий в структуре таблиц БИСквит и ЦФТ).

2. Миграция всех остальных сущностей: пользователи, клиенты ФЛ и ЮЛ, кассы, депозиты и кредиты юридических лиц и пр. Миграция этого типа продуктов выполнялась с помощью стандартного инструмента загрузки данных в ЦФТ-Банк – «универсального импорта», при помощи которого данные из файлов загружались в таблицы универсального импорта, а затем сразу в целевые таблицы.

2. Тестирование и отладка инструментов миграции.

— полностью ручное выявление и исправление ошибок. Подход применим в случаях, когда применение следующих описанных способов нецелесообразно;

— выгрузка некорректных данных в отчет по определенному алгоритму (в зависимости от вида ошибок) с последующим ручным исправлением. Подход применим как для источника, так и для приемника;

— конвертация данных. При таком подходе данные исправляются автоматической операцией непосредственно перед миграцией/после миграции. Процесс подготовки филиала к миграции итерационный, и проверки готовности филиала к миграции конвертации необходимо запускать перед каждым тестовым циклом (пользователи ведь не переставали создавать новые данные). Подход применим как для источника, так и для приемника;

— алгоритм миграции. Этот пункт похож на предыдущий, но отличается тем, что исправление (изменение) данных происходит в момент экспорта данных. Этот вариант имеет несколько недостатков, например, увеличение времени экспорта (поэтому такой подход применялся редко и в обоснованных случаях) и сложность при проведении сверки миграции (о сверке поговорим несколько позже).

Итак, миграция в ЦФТ разделялась на:

· миграцию Ядровой части и ЦФТ-Банк (так называемое ИБСО, через универсальный импорт);

· миграцию продуктов Розницы.

На самом деле, и в импорте ИБСО, и в импорте Розницы важна последовательность импорта, что невозможно «держать в голове» и требует некой формализации. На начальном этапе формализация вылилась в инструкции по миграции, а в последствии постепенно переросла еще и в автоматизацию в виде отдельного инструмента в Навигаторе под названием «Тайминг»:

В то время как универсальный импорт уже не был чем-то новым и не требовал существенных доработок, инструменты миграции Розницы, что называется, разрабатывались с подрядчиком «нуля». Миграция Розницы выполнялась в такой последовательности:

1) Файлы выгрузки всех розничных объектов собираются в единый каталог;

2) Запускается инструмент, группирующий файлы по определенным маскам имени файлов и приводящий их имена к единообразию;

3) Запускается инструмент, формирующий файл с перечнем имен файлов, реквизитами из этих файлов и порядковым номером реквизита в файле (назовем его «FB_METADATA.EXP»).

Первым при импорте Розницы загружается файл FB_METADATA.EXP. Таким образом, решаются следующие задачи:

а) сверяется структура выгруженных таблиц с предсозданными таблицами M# в БД Oracle, что позволяет выявить ошибки экспорта или настройки таблиц M#;

б) определяется структура выгруженных таблиц для дальнейшего использования.

4) После генерируются скрипты для загрузки данных с FIO с помощью SQLLoader в три этапа:

1. импорт данных из файла в техническую таблицу (T#);

2. вставка данных из технических таблиц в таблицы миграции (M#);

3. удаление созданной технической таблицы.

5) На заполненных M# создаются заранее определенные индексы и выполняются ручные проверки данных на корректность (скриптами с помощью SQLDeveloper). На этапе заполнения таблиц миграции мы имеем в базе «плоские» данные (данные, в которых не восстановлена ссылочная целостность).

После проверки выгруженных данных и подтверждения их корректности можно приступать к подготовке к переносу в конечные таблицы, который состоит из ряда этапов:

1) Заполнение таблиц прототипов (P#) с резервированием идентификаторов (ID) для новых записей;

2) Восстановление ссылок на записи (таблицы R#) и на массивы (таблицы C#) для новых ID;

3) Восстановление ссылок на уже существующие в БД записи (таблицы E#).

В финальной части импорта выполняется перенос данных в целевые таблицы (с обязательным отключением триггеров и ограничений для ускорения процесса импорта) и проверка результатов миграции. Схематично процесс миграции продуктов Розницы можно отразить в следующем виде:

3. Внедрение пилотного филиала.

К внедрению пилотного филиала инструмент автоматизации уже был готов на 90%, существенно облегчил нам жизнь и сократил время миграции примерно в три раза. Внедрение пилота проходило в выходные дни для уменьшения влияния процесса перехода на работу филиала. В целом, переход был тщательно проработан и выполнен с минимальными проблемами и ошибками.

Дальше нас ждала подготовка к миграции филиала с наличием архивного «БИСквита» (в результате слияния двух «БИСквитов») и к миграции нескольких филиалов за раз одновременно! Но об этом, а также об особенностях миграции в новую АБС карточек клиентов, поговорим в следующий раз.

Источник