Как избежать дублирования имени ключевого столбца в соединении?

val joined = spark
     .sql("select * from tbl1")
     .join(
          spark.sql("select * from tbl2"),
          Seq("id"),
          "inner" // optional
     )

joined должен иметь только один столбец id. Протестировано со Spark 2.4.8

Предполагая, что вы хотите сохранить "дубликаты", вы можете попробовать использовать внутренний идентификатор строки или эквиваленты для вашей помощи. Это помогало мне в прошлом, если мне приходилось удалять только одну из двух идентичных строк.

select *,ctid from table;

выводит в postgresql также внутренний идентификатор счетчика. Ваши ранее точно идентичные строки теперь становятся другими. Я не знаю насчет spark.sql, но предполагаю, что там можно получить доступ к подобному атрибуту.

Если id является единственным общим именем столбца, вы можете воспользоваться предложением USING:

spark.sql("select * from tbl1 join tbl2 using (id) ")

Предложение using соответствует столбцам с одинаковыми именами в обеих таблицах. При использовании select * столбец появляется только один раз.