Действие копирования занимает больше времени для копирования данных из локальной базы данных Oracle в Azure Synapse Analytics.

avatar
amikm
9 августа 2021 в 04:18
249
1
0

Я пытаюсь скопировать данные из базы данных Oracle в Azure Synapse, но копирование 900 ГБ данных занимает около 3 дней.

Моя база данных Oracle является локальной базой данных, и я настроил собственное IR.

Я также настроил промежуточную подготовку при копировании данных из локальной базы данных Oracle в Azure Synapse.

Не уверен, почему это занимает так много времени, как мы можем проверить и исправить проблемы с копированием данных

enter image description here

Источник
Nick.McDermaid
9 августа 2021 в 06:07
0

Является ли самостоятельный IR локальным (рядом с Oracle) или в облаке? На этом снимке экрана создается впечатление, что он все еще копируется в промежуточную среду и еще не начал копирование из промежуточной стадии в Synapse. Есть ли ожидания на стороне Oracle?

amikm
9 августа 2021 в 07:41
0

@Nick.McDermaid, самостоятельный IR установлен на виртуальной машине (не на виртуальной машине Azure) и как проверить, есть ли какие-либо ожидания на стороне оракула. ​​Это только действие копирования в ADF, которое копирует таблицу из Oracle в Azure Synapse.

Nick.McDermaid
9 августа 2021 в 11:44
0

Ваш администратор базы данных Oracle должен быть в состоянии сказать вам, есть ли задержка на стороне Oracle.

Trent Tamura
10 августа 2021 в 14:48
0

Это может быть связано с разными вещами. Вот некоторые вещи, о которых следует подумать: аппаратное обеспечение, на котором размещена база данных Oracle (вы можете считывать данные только настолько быстро, насколько это позволяет аппаратное обеспечение), сетевой аспект (дросселирование, расстояние от центра обработки данных Azure до локального центра обработки данных, пропускная способность/ процессы), производительность виртуальной машины, на которой вы разместили IR (вы можете выполнять только 5 заданий параллельно или 50?), и, наконец, сторону Azure (в вашем случае вы собираетесь использовать Blob, затем Azure Synapse, поэтому вероятно, это не проблема, хотя, если бы вы писали прямо в базу данных Azure SQL, вы бы убедились, что база данных масштабируется)

Trent Tamura
10 августа 2021 в 14:53
0

Я заметил, что вы не используете преимущества секционирования для параллельных подключений/загрузок таблиц, что может помочь сократить время, необходимое для загрузки (если ваша виртуальная машина справляется с этой задачей)

Ответы (1)

avatar
IpsitaDash-MT
11 августа 2021 в 10:42
0

Здесь проблема может быть вызвана различными причинами. Альтернативой является размещение растущего числа одновременных рабочих нагрузок. Кроме того, вы можете повысить производительность, сохранив при этом текущий уровень рабочей нагрузки.

Увеличив количество одновременных задач, которые могут выполняться на узле, вы можете масштабировать резидентную среду IR. Масштабирование возможно только в том случае, если ЦП и память узла не заняты полностью. Добавляя дополнительные узлы, вы можете масштабировать резидентную среду IR (машины).

Вы можете указать параллелизм, который вы хотите использовать при копировании, установив атрибут параллельных копий. Рассматривайте этот параметр как максимальное количество потоков, разрешенных в рамках операции копирования. Нити работают в тандеме. Потоки либо читают, либо записывают в хранилище данных приемника.

.

Здесь перечислены упомянутые документы: Масштабируемость автономной среды выполнения интеграции и Высокая доступность и масштабируемость