Стратегия загрузки и миграции данных

Здесь приведен пример стратегии, который должен адаптироваться к условиям конкретного проекта.

1     Введение

Стратегия загрузки и миграции данных (ввода исторической информации) и НСИ направлена на обеспечение эффективного переноса накопленной информации из устаревших систем в новую информационную систему.

Наличие стратегии позволяет минимизировать возможные потери данных, избежать ошибок и гарантировать корректное функционирование новой системы с учетом всего объема ранее накопленной информации.

2     Цели разработки стратегии

1.          Обеспечение непрерывности бизнес-процессов

Обеспечение беспрерывного выполнения текущих операций компании во время перехода на новую систему.

2.          Минимизация утраты данных

Сохранение всей значимой информации.

3.          Проверка целостности данных

Обеспечение соответствия загруженных данных и их корректной интерпретации.

4.          Актуализация НСИ

Обеспечение актуальности нормативных справочных данных.

5.          Оптимизация процесса загрузки

Разработка оптимальных методов и выбор подходящих инструментов для быстрой и эффективной загрузки большого объема данных с минимальным использованием ресурсов.

6.          Минимизация рисков

Выявление и предотвращение потенциальных рисков, обеспечение наличия плана действий на случай обнаружения несоответствий или ошибок в ходе загрузки.

7.          Готовность к эксплуатации

Обеспечение готовности загруженных данных к использованию без дополнительной ручной обработки или модификаций.

3     Задачи стратегии

1. Определение процессов.
2. Определение этапности.
3. Определение концепции.
4. Определение ответственных.

4     Процессы

4.1  Планирование мероприятий по загрузке данных

• Определение состава мероприятий.
• Определение ответственных.
• Разработка плана-графика.

4.2  Определение требований к составу и структуре загружаемых данных

• Формирование реестра загружаемых данных.
• Определение структуры загружаемых данных.

4.3  Определение источников исходных данных

• Идентификация ключевых источников данных.
• Определение схем баз данных, таблиц и связей между ними.
• Определение правил проверки полноты, непротиворечивости данных.

4.4  Разработка технологии загрузки данных

• Определение инструментария загрузки.
• Определение загрузочных форматов.
• Определение проверочных процедур для исходных данных.
• Определение проверочных процедур для загруженных данных.

4.5  Формирование загрузочных данных

• Выгрузка/ввод информации в удобном для анализа формате.
• Оценка полноты, актуальности и непротиворечивости данных.

4.6  Очистка данных

• Удаление устаревших, дублирующихся или неполных записей.
• Исправление ошибок в данных (например, неправильные даты, отсутствующие значения).
• Приведение данных к единому стандарту (форматирование дат, чисел и т.д.).

4.7  Проверка полноты и целостности данных

• Проверка на наличие обязательных полей.
• Проверка взаимосвязей между различными частями данных.
• Проведение прочих проверочных процедур.

4.8  Преобразование данных

• Изменение типов данных.
• Перенос данных в загрузочный формат.

4.9  Тестирование загрузки

• Формирование репрезентативной выборки данных.
• Проведение тестовой загрузки в ограниченном объеме.
• Анализ результатов тестирования и внесение необходимых изменений в форматы, данные, процедуры, инструменты.

4.10  Разработка плана резервного копирования

• Сохранение копий исходных данных перед началом процесса миграции.
• Регулярное создание бэкапов на каждом этапе загрузки.
• Определение процедуры восстановления данных в случае сбоя.

4.11  Документирование процесса для исполнителей

• Описание используемых инструментов и технологий.
• Инструкции по выполнению загрузки данных.

4.12  Загрузка данных

• Выполнение загрузки данных в соответствии с планом.

4.13  Контроль качества

• Сравнительный анализ количества записей до и после загрузки.
• Проведение контрольных процедур.
• Проверка корректности работы новой системы с загруженными данными.

5     Этапы

Загрузка данных осуществляется при подготовке к следующим этапам проекта:

1. Моделирование
2. Тестирование.
3. Опытная эксплуатация.
4. Промышленная эксплуатация.

6     Концепция загрузки данных

Этап	Концепция
Моделирование	Для изучения функциональности загрузка данных осуществляется в объеме не более 100 записей на справочник. Требования к полноте и целостности не предъявляются.
Тестирование	Для этапа тестирования должна быть обеспечена загрузка данных по основным справочникам не менее, чем в объеме 10% от запланированного к опытно-промышленной эксплуатации. Все требования к качеству и контрольные процедуры применяются.
Опытно-промышленная эксплуатация	К этапу опытно-промышленной эксплуатации осуществляется загрузка только данных, используемых на момент загрузки. Исторические данные, чертежи, схемы не загружаются. Все требования к качеству и контрольные процедуры применяются. Ввод данных в исторические системы осуществляется миграцией через шину данных из внедряемой системы.
Промышленная эксплуатация	К этапу ввода в промышленную эксплуатацию никаких дополнительных данных не загружается. В период в течение 12-24 месяцев после ввода в промышленную эксплуатацию предполагается загрузка исторических данных, потенциально пригодных к дальнейшему использованию. Загрузка производится поэтапно. После каждого этапа загрузки проводится контроль качества и контрольные процедуры.

7     Определение ответственных за процессы подготовки и загрузки данных

Ответственные за процессы загрузки определяются в разрезе справочников/сегментов справочников/транзакционных данных.

Таблица ответственных приведена в приложении к настоящему документу.

В зависимости от этапа, некоторые процессы могут быть исключены.

8 Таблица планирования и мониторинга миграции

Таблица является рабочим документом, позволяющим планировать и контролировать подготовку и исполнение необходимых шагов по миграции данных.

В левом столбце указывается справочник, сегмент справочника, либо вид переносимых транзакционных данных (документ и пр.).

Справочник имеет смысл разбивать на сегменты, если за его разделы отвечают разные сотрудники. Обычно это относится к справочнику номенклатуры, где возможно разделение на "Номенклатура покупная" и "Номенклатура производимая", к справочникам договоров - "Договоры с заказчиками", "Договоры в поставщиками", и к некоторым другим справочникам.

В ячейках указываются ответственные за выполнение соответствующих процедур и даты вех, к которым должны быть выполнены соответствующие процедуры по конкретному справочнику. Дополнительно можно указывать определившиеся нюансы переноса, например, факт подготовки данных в исходной системе или наоборот в Excel файле.

По мере выполнения ячейки закрашиваются зеленым цветом. Ожидающие выполнения - желтым. Просроченные - красным.

Структура таблицы приведена ниже. Для работы скопируйте в электронную таблицу и отформатируйте по усмотрению.

Справочник/сегмент/транзакционные данные	Определение требований к составу и структуре загружаемых данных	Определение источников исходных данных	Разработка технологии загрузки данных	Формирование загрузочных данных	Очистка данных	Проверка полноты и целостности данных	Преобразование данных	Тестирование загрузки	Загрузка данных	Контроль качества
Номенклатура
Единицы измерения
Упаковки
Проекты (Конструкторская документация)
Пользователи
Контрагенты
Виды номенклатуры
Подразделения