Просмотр кода страницы Стратегия загрузки и миграции данных

<blockquote>
 '''Здесь приведен пример стратегии, который должен адаптироваться к условиям конкретного проекта.'''
</blockquote>

== 1     Введение ==
Стратегия загрузки и миграции данных (ввода исторической информации) и НСИ направлена на обеспечение эффективного переноса накопленной информации из устаревших систем в новую информационную систему. 

Наличие стратегии позволяет минимизировать возможные потери данных, избежать ошибок и гарантировать корректное функционирование новой системы с учетом всего объема ранее накопленной информации.

== 2     Цели разработки стратегии ==
1.          '''Обеспечение непрерывности бизнес-процессов'''

Обеспечение беспрерывного выполнения текущих операций компании во время перехода на новую систему.

2.          '''Минимизация утраты данных'''

Сохранение всей значимой информации.

3.          '''Проверка целостности данных'''

Обеспечение соответствия загруженных данных и их корректной интерпретации.

4.          '''Актуализация НСИ'''

Обеспечение актуальности нормативных справочных данных.

5.          '''Оптимизация процесса загрузки'''

Разработка оптимальных методов и выбор подходящих инструментов для быстрой и эффективной загрузки большого объема данных с минимальным использованием ресурсов.

6.          '''Минимизация рисков'''

Выявление и предотвращение потенциальных рисков, обеспечение наличия плана действий на случай обнаружения несоответствий или ошибок в ходе загрузки.

7.          '''Готовность к эксплуатации'''

Обеспечение готовности загруженных данных к использованию без дополнительной ручной обработки или модификаций.

== 3     Задачи стратегии ==

# Определение процессов.
# Определение этапности.
# Определение концепции.
# Определение ответственных.

== 4     Процессы ==

=== 4.1  Планирование мероприятий по загрузке данных ===

* Определение состава мероприятий.
* Определение ответственных.
* Разработка плана-графика.

=== 4.2  Определение требований к составу и структуре загружаемых данных ===

* Формирование реестра загружаемых данных.
* Определение структуры загружаемых данных.

=== 4.3  Определение источников исходных данных ===

* Идентификация ключевых источников данных.
* Определение схем баз данных, таблиц и связей между ними.
* Определение правил проверки полноты, непротиворечивости данных.

=== 4.4  Разработка технологии загрузки данных ===

* Определение инструментария загрузки.
* Определение загрузочных форматов.
* Определение проверочных процедур для исходных данных.
* Определение проверочных процедур для загруженных данных.

=== 4.5  Формирование загрузочных данных ===

* Выгрузка/ввод информации в удобном для анализа формате.
* Оценка полноты, актуальности и непротиворечивости данных.

=== 4.6  Очистка данных ===

* Удаление устаревших, дублирующихся или неполных записей.
* Исправление ошибок в данных (например, неправильные даты, отсутствующие значения).
* Приведение данных к единому стандарту (форматирование дат, чисел и т.д.).

=== 4.7  Проверка полноты и целостности данных ===

* Проверка на наличие обязательных полей.
* Проверка взаимосвязей между различными частями данных.
* Проведение прочих проверочных процедур.

=== 4.8  Преобразование данных ===

* Изменение типов данных.
* Перенос данных в загрузочный формат.

=== 4.9  Тестирование загрузки ===

* Формирование репрезентативной выборки данных.
* Проведение тестовой загрузки в ограниченном объеме.
* Анализ результатов тестирования и внесение необходимых изменений в форматы, данные, процедуры, инструменты.

=== 4.10  Разработка плана резервного копирования ===

* Сохранение копий исходных данных перед началом процесса миграции.
* Регулярное создание бэкапов на каждом этапе загрузки.
* Определение процедуры восстановления данных в случае сбоя.

=== 4.11  Документирование процесса для исполнителей ===

* Описание используемых инструментов и технологий.
* Инструкции по выполнению загрузки данных.

=== 4.12  Загрузка данных ===

* Выполнение загрузки данных в соответствии с планом.

=== 4.13  Контроль качества ===

* Сравнительный анализ количества записей до и после загрузки.
* Проведение контрольных процедур.
* Проверка корректности работы новой системы с загруженными данными.

== 5     Этапы ==
Загрузка данных осуществляется при подготовке к следующим этапам проекта:

# Моделирование
# Тестирование.
# Опытная эксплуатация.
# Промышленная эксплуатация.

== 6     Концепция загрузки данных ==
{| class="wikitable"
|'''Этап'''
|'''Концепция'''
|-
|Моделирование
|Для  изучения функциональности загрузка данных осуществляется в объеме не более 100 записей на справочник. Требования к полноте и целостности не  предъявляются.
|-
|Тестирование
|Для  этапа тестирования должна быть обеспечена загрузка данных по основным  справочникам не менее, чем в объеме 10% от запланированного к  опытно-промышленной эксплуатации. Все требования к качеству и контрольные  процедуры применяются.
|-
|Опытно-промышленная  эксплуатация
|К этапу опытно-промышленной эксплуатации осуществляется загрузка только данных, используемых на момент загрузки. Исторические данные, чертежи, схемы не загружаются. Все требования к качеству и контрольные процедуры применяются.

Ввод данных в исторические системы осуществляется миграцией через шину данных из внедряемой системы.
|-
|Промышленная  эксплуатация
|К  этапу ввода в промышленную эксплуатацию никаких дополнительных данных не загружается. В период в течение 12-24 месяцев после ввода в промышленную  эксплуатацию предполагается загрузка исторических данных, потенциально  пригодных к дальнейшему использованию. Загрузка производится поэтапно. После  каждого этапа загрузки проводится контроль качества и контрольные процедуры.
|}

== 7     Определение ответственных за процессы подготовки и загрузки данных ==
Ответственные за процессы загрузки определяются в разрезе справочников/сегментов справочников/транзакционных данных.

Таблица ответственных приведена в приложении к настоящему документу.


8 Таблица ответственных по процессам
{| class="wikitable sortable"
!Справочник/сегмент/транзакционные данные
!Определение  требований к составу и структуре загружаемых данных
!Определение  источников исходных данных
!Разработка  технологии загрузки данных
!Формирование  загрузочных данных
!Очистка  данных
!Проверка  полноты и целостности данных
!Преобразование  данных
!Тестирование  загрузки
!Загрузка  данных
!Контроль  качества
|-
|Номенклатура
|
|
|
|
|
|
|
|
|
|
|-
|Единицы  измерения
|
|
|
|
|
|
|
|
|
|
|-
|Упаковки
|
|
|
|
|
|
|
|
|
|
|-
|Проекты (Конструкторская  документация)
|
|
|
|
|
|
|
|
|
|
|-
|Пользователи
|
|
|
|
|
|
|
|
|
|
|-
|Контрагенты
|
|
|
|
|
|
|
|
|
|
|-
|Виды номенклатуры
|
|
|
|
|
|
|
|
|
|
|-
|Подразделения
|
|
|
|
|
|
|
|
|
|
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|
|
|
|
|
|
|
|
|
|
|
|}