Я пытаюсь реплицировать базу данных Amazon RDS в свою локальную базу данных. Я сохранил резервные копии в корзине Amazon S3 и получил файлы с помощью downloadDirectory. База данных хранится в виде паркетных файлов. Я создал искровой сеанс для чтения и импорта данных в локальную базу данных, однако я не получаю никакой информации о первичных ключах, индексах и т. д. Как получить информацию о таблицах с данными из паркетных файлов? Большое спасибо!
Файлы Amazon RDS Parquet в локальную базу данных MySQL
Alkin Kiroglu
1 июля 2021 в 16:48
661
0
Почему бы вам не создать таблицу в вашей локальной базе данных со всеми первичными ключами, индексами и т. д.? Используя этот способ, вам не нужно беспокоиться о первичных ключах, индексах и т. д. Просто прочитайте данные и экспортируйте их в локальную БД.
Это для промежуточного сервера, поэтому таблицы могут периодически меняться, это последнее средство, но я хотел бы сделать его максимально автоматизированным, не вмешиваясь вручную.
Затем вы можете получить схему, используя файл паркета, и с помощью этой схемы вы можете автоматизировать часть создания таблицы.
Да, но при получении схемы я не получаю информацию об индексе и первичных ключах. Я создаю таблицы из файлов паркета, но если бы новые столбцы были индексом или первичным ключом, я бы не смог вывести новые правила из паркета.