Я пытаюсь скопировать данные из базы данных Oracle в Azure Synapse, но копирование 900 ГБ данных занимает около 3 дней.
Моя база данных Oracle является локальной базой данных, и я настроил собственное IR.
Я также настроил промежуточную подготовку при копировании данных из локальной базы данных Oracle в Azure Synapse.
Не уверен, почему это занимает так много времени, как мы можем проверить и исправить проблемы с копированием данных
Здесь проблема может быть вызвана различными причинами. Альтернативой является размещение растущего числа одновременных рабочих нагрузок. Кроме того, вы можете повысить производительность, сохранив при этом текущий уровень рабочей нагрузки.
Увеличив количество одновременных задач, которые могут выполняться на узле, вы можете масштабировать резидентную среду IR. Масштабирование возможно только в том случае, если ЦП и память узла не заняты полностью. Добавляя дополнительные узлы, вы можете масштабировать резидентную среду IR (машины).
Вы можете указать параллелизм, который вы хотите использовать при копировании, установив атрибут параллельных копий. Рассматривайте этот параметр как максимальное количество потоков, разрешенных в рамках операции копирования. Нити работают в тандеме. Потоки либо читают, либо записывают в хранилище данных приемника.
.Здесь перечислены упомянутые документы: Масштабируемость автономной среды выполнения интеграции и Высокая доступность и масштабируемость
Является ли самостоятельный IR локальным (рядом с Oracle) или в облаке? На этом снимке экрана создается впечатление, что он все еще копируется в промежуточную среду и еще не начал копирование из промежуточной стадии в Synapse. Есть ли ожидания на стороне Oracle?
@Nick.McDermaid, самостоятельный IR установлен на виртуальной машине (не на виртуальной машине Azure) и как проверить, есть ли какие-либо ожидания на стороне оракула. Это только действие копирования в ADF, которое копирует таблицу из Oracle в Azure Synapse.
Ваш администратор базы данных Oracle должен быть в состоянии сказать вам, есть ли задержка на стороне Oracle.
Это может быть связано с разными вещами. Вот некоторые вещи, о которых следует подумать: аппаратное обеспечение, на котором размещена база данных Oracle (вы можете считывать данные только настолько быстро, насколько это позволяет аппаратное обеспечение), сетевой аспект (дросселирование, расстояние от центра обработки данных Azure до локального центра обработки данных, пропускная способность/ процессы), производительность виртуальной машины, на которой вы разместили IR (вы можете выполнять только 5 заданий параллельно или 50?), и, наконец, сторону Azure (в вашем случае вы собираетесь использовать Blob, затем Azure Synapse, поэтому вероятно, это не проблема, хотя, если бы вы писали прямо в базу данных Azure SQL, вы бы убедились, что база данных масштабируется)
Я заметил, что вы не используете преимущества секционирования для параллельных подключений/загрузок таблиц, что может помочь сократить время, необходимое для загрузки (если ваша виртуальная машина справляется с этой задачей)