У меня есть файл, который я читаю в большой двоичный объект через фабрику данных. Он отформатирован в excel. Некоторые из заголовков столбцов имеют специальные символы и пробелы, что не очень хорошо, если вы хотите перенести их в csv или паркет, а затем в SQL. Есть ли способ исправить это в конвейере? Пример "Активации за последние 15 секунд высокий+низкий" "скорость первого входа (серийный T/a)"
Спасибо
Обычно Data Flow может справиться с этим за вас, добавив преобразование Select с правилом:
СПЕЦИАЛЬНЫЙ СЛУЧАЙ
Может возникнуть проблема, если имя столбца содержит косую черту ("/"). Я случайно наткнулся на это в своем тестировании:
Каждый из несопоставленных столбцов содержит косую черту. К сожалению, я не могу объяснить, почему это так, поскольку Data Flow четко знает имя столбца. Это можно решить вручную, добавив фиксированное правило для КАЖДОГО столбца, нарушающего правила, что, очевидно, далеко не идеально:
ДРУГОЙ ВАРИАНТ
Вы также можете попробовать предварительно обработать текстовый файл с помощью другого потока данных, используя исходный набор данных без разделителей. Это даст вам содержимое каждой строки в виде одного столбца. Если бы вы могли получить дескриптор только первой строки, вы могли бы удалить специальные символы.
Точно! Благодарю вас! это очень помогло.