Вопросы, помеченные тегом «google-bigquery»

Google BigQuery - это продукт Google Cloud Platform, обеспечивающий бессерверные запросы наборов данных петабайтного масштаба с использованием SQL. BigQuery предоставляет несколько конвейеров чтения-записи и обеспечивает аналитику данных, которая меняет способы анализа данных предприятиями.
avatar
user3600881
9 августа 2021 в 05:33
403
1

Получение данных за предыдущий месяц в BigQuery или Google Data Studio [закрыто]

Я хочу получить данные за предыдущий месяц. В моей таблице есть столбец даты, в котором хранятся данные для нескольких дат в месяце, я создал сводную таблицу, чтобы получить итог за месяц, я также хочу получить итог за предыдущий месяц. Какие-либо...
avatar
John
9 августа 2021 в 01:54
26
1

Использование переменных в BigQuery для вычисления других переменных

Я пытаюсь использовать столбец выборки, который случайным образом выбирает число от 0 до 9999, чтобы облегчить нагрузку на некоторые запросы, поскольку не все они должны быть точными. Итак, я хочу иметь возможность использовать разную частоту дискретизации для каждого...
avatar
Jeremiah
9 августа 2021 в 01:15
60
0

Как получить динамический сводной результат в новую или существующую таблицу Bigquery?

Я пытаюсь вставить результат динамического сводного запроса в новую или существующую таблицу. Проблема возникает, когда я пытаюсь сказать Bigquery: «Я понятия не имею, сколько столбцов (и их имен) в запросе, который я только что выполнил, просто поместите результаты в...
avatar
QuinRiva
9 августа 2021 в 00:02
29
0

Сочетание клавиш в окне редактора BigQuery Focus

Частая проблема, с которой я сталкиваюсь при кодировании через веб-интерфейс BigQuery, заключается в том, что после возникновения ошибки я не могу легко вернуть фокус в окно редактора. Я использую ctrl+Enter / ctrl+E для выполнения кода, если появляется ошибка, я могу...
avatar
Peter Boone
8 августа 2021 в 22:11
60
0

Выберите столбец с тем же именем, что и CTE в BigQuery.

В BigQuery, когда имя столбца совпадает с именем CTE, выбор этого столбца выбирает все CTE как структуру. Вот простой пример: WITH a AS ( SELECT "a" AS a, "b" AS b ) SELECT a, b FROM a; И результаты: Строка a.a a.b b 1 а b b Как видите,...
avatar
Rillian Diello Lucas Pires
8 августа 2021 в 21:29
32
0

Задание потока данных + большой запрос

У меня следующая проблема: У меня есть большой запрос со следующей схемой: cpf: string name: string greaterOfAge: boolean foreigner: boolean И у меня есть pub/sub для отправки сообщений, выровненных с заданием DataFlow, которое использует очень простую функцию UDF....
avatar
mrDaft
8 августа 2021 в 17:15
489
2

Выбор только first_value по дате и ID в BigQuery

Я пытаюсь получить только первое пользовательское событие (строку) за каждый день. дата ID пользователя событие 2018-09-30 1 логин 2018-09-30 2 логин 2018-09-30 1 следующий 2018-09-30 1 следующий 2018-09-30 2 следующий 2018-09-29 1 логин и моя цель...
avatar
Matan1994
8 августа 2021 в 11:47
47
1

Какую строку кода нужно добавить, чтобы получать данные только за период с 2015 по 2021 год?

В следующем коде я хочу найти количество упоминаний людей в определенных газетах. Какую строку кода нужно добавить, чтобы получать данные только за период с 2015 по 2021 год? SELECT person, SUM(count_of_mentions) AS all_mentions FROM project.dataset.keyword WHERE ...
avatar
HieuNguyen96
8 августа 2021 в 11:35
42
0

Отчет BigQuery UNKNOWN_OS

В настоящее время я использую функцию push-уведомлений в своем приложении для Android. Я связал проект FCM с BigQuery, чтобы получать отчет об отправленных уведомлениях через FCM API. Но отчет показывает что-то сбивающее с толку: 6 columns: message_id, instance_id,...
avatar
Bale Rudal
8 августа 2021 в 08:17
64
1

Большой запрос — группировка по порядку

У меня есть данные: WITH test_table AS ( SELECT '1' number, 'eat' activity UNION ALL SELECT '2', 'eat' UNION ALL SELECT '3', 'drink' UNION ALL SELECT '4', 'eat' UNION ALL SELECT '5', 'drink' UNION ALL SELECT '6', 'drink' ) select * from test_table order...
avatar
Henry Tu
8 августа 2021 в 02:06
62
1

Отображение временной метки BigQuery .9999

Недавно я загрузил CSV-файл из Google Sheets в BigQuery. Все схемы верны, но есть проблема с данными TIMESTAMP. Отметка времени в исходном файле: каждая минута заканчивается 30 секундами. Но когда я загрузил его в BigQuery, на одну ячейку каждые три строки ушло...
avatar
jakobo
7 августа 2021 в 12:39
73
0

Какой регион потока данных следует использовать при больших запросах данных в Европе (ЕС)

Я пытаюсь создать задание потока данных SQL, которое публикуется в Pub/Sub. Я получаю сообщение об ошибке всякий раз, когда я запускаю задание, в котором говорится, что таблица не может быть найдена. Я предположил, что это связано с неверным регионом, но я не могу...
avatar
Mark McGown
6 августа 2021 в 22:01
120
1

Как разобрать дату в Big Query

У меня есть строка вроде 26 октября 2017 г., которую я хочу преобразовать в дату. Я пытался select PARSE_DATE('%m %d, %Y', my_date) from my_table Но я получаю Failed to parse input string "Oct 26, 2017" Что я делаю неправильно?
avatar
Ace.C
6 августа 2021 в 21:48
65
1

Как я могу заставить просроченные большие разделы запроса немедленно удаляться?

Я вижу в https://coderhelper.com/a/49105008/6191970, что разделы с истекшим сроком действия по-прежнему удаляются через некоторое неизвестное время, хотя они больше не включаются в запросы после истечения срока действия. Я экспериментировал с установкой срока действия...
avatar
mabiel
6 августа 2021 в 21:15
30
1

Частота уникальных значений, сгруппированных по дате

Я пытаюсь получить частоту уникальных значений идентификатора для каждого месяца прошлого года. Однако я не получаю результат... включая сообщение об ошибке "Выражение списка SELECT ссылается на столбец user_id, который не сгруппирован и не агрегирован". Как получить...
avatar
Jimmy
6 августа 2021 в 20:52
193
1

Как авторизовать Google API внутри Docker

Я запускаю приложение внутри Docker, которое требует использования google-bigquery. Когда я запускаю его вне Docker, мне просто нужно перейти по ссылке ниже (отредактировано) и авторизоваться. Однако ссылка не работает, когда я копирую и вставляю ее из терминала...
avatar
Darshita
6 августа 2021 в 20:03
179
1

Функция Bigquery UDF — отправка запроса в качестве аргумента для выполнения функций min/max/std_dv/count_of nulls и т. д.

Я пытаюсь создать функцию Bigquery UDF, в которой я могу отправить запрос в качестве аргумента. Функция должна вычислять функции min/max/std_dv/count_of nulls для всех числовых столбцов и возвращать значения. Я пытался преобразовать данные поля в массив, но существует...
avatar
Rick McGeer
6 августа 2021 в 18:14
443
0

Клиент Google BigQuery Python использует неправильные учетные данные

Я получаю сообщение об ошибке "Не авторизовано" при попытке выполнить запрос к таблице в BigQuery. Я установил: os.environ["GOOGLE_APPLICATION_CREDENTIALS"]=<path> Затем использовал client = bigquery.Client() Когда я выдаю запрос,...
avatar
Giovanna Fernandes
6 августа 2021 в 16:41
158
1

BigQuery округляет десятичные дроби до нуля при загрузке CSV-файла

Я пытался загрузить CSV-файл из GCS в BigQuery, и он продолжает округлять десятичные дроби в одном столбце до нуля, как бы я ни пытался. Исходные данные представляют собой CSV-файл, и когда я загружаю его с помощью Pandas, он выглядит следующим образом: User ...
avatar
Mike
6 августа 2021 в 13:51
98
1

как написать IDENTITY (1,1) и значение по умолчанию в google bigquery при определении таблицы?

Это оператор создания таблицы сервера sql. Как написать значение по умолчанию 0 и IDENTITY (1,1) в bigquery? Я гуглю и не получаю решения. Большое спасибо. create table temp ( a INT DEFAULT 0, b smallint NULL, c smallint NULL, d datetime NULL, e...