Вопросы, помеченные тегом «google-bigquery»
Google BigQuery - это продукт Google Cloud Platform, обеспечивающий бессерверные запросы наборов данных петабайтного масштаба с использованием SQL. BigQuery предоставляет несколько конвейеров чтения-записи и обеспечивает аналитику данных, которая меняет способы анализа данных предприятиями.
user3600881
9 августа 2021 в 05:33
403
1
Получение данных за предыдущий месяц в BigQuery или Google Data Studio [закрыто]
Я хочу получить данные за предыдущий месяц. В моей таблице есть столбец даты, в котором хранятся данные для нескольких дат в месяце, я создал сводную таблицу, чтобы получить итог за месяц, я также хочу получить итог за предыдущий месяц. Какие-либо...
John
9 августа 2021 в 01:54
26
1
Использование переменных в BigQuery для вычисления других переменных
Я пытаюсь использовать столбец выборки, который случайным образом выбирает число от 0 до 9999, чтобы облегчить нагрузку на некоторые запросы, поскольку не все они должны быть точными. Итак, я хочу иметь возможность использовать разную частоту дискретизации для каждого...
Jeremiah
9 августа 2021 в 01:15
60
0
Как получить динамический сводной результат в новую или существующую таблицу Bigquery?
Я пытаюсь вставить результат динамического сводного запроса в новую или существующую таблицу.
Проблема возникает, когда я пытаюсь сказать Bigquery: «Я понятия не имею, сколько столбцов (и их имен) в запросе, который я только что выполнил, просто поместите результаты в...
QuinRiva
9 августа 2021 в 00:02
29
0
Сочетание клавиш в окне редактора BigQuery Focus
Частая проблема, с которой я сталкиваюсь при кодировании через веб-интерфейс BigQuery, заключается в том, что после возникновения ошибки я не могу легко вернуть фокус в окно редактора.
Я использую ctrl+Enter / ctrl+E для выполнения кода, если появляется ошибка, я могу...
Peter Boone
8 августа 2021 в 22:11
60
0
Выберите столбец с тем же именем, что и CTE в BigQuery.
В BigQuery, когда имя столбца совпадает с именем CTE, выбор этого столбца выбирает все CTE как структуру.
Вот простой пример:
WITH
a AS (
SELECT
"a" AS a,
"b" AS b )
SELECT
a,
b
FROM
a;
И результаты:
Строка
a.a
a.b
b
1
а
b
b
Как видите,...
Rillian Diello Lucas Pires
8 августа 2021 в 21:29
32
0
Задание потока данных + большой запрос
У меня следующая проблема:
У меня есть большой запрос со следующей схемой:
cpf: string
name: string
greaterOfAge: boolean
foreigner: boolean
И у меня есть pub/sub для отправки сообщений, выровненных с заданием DataFlow, которое использует очень простую функцию UDF....
mrDaft
8 августа 2021 в 17:15
489
2
Выбор только first_value по дате и ID в BigQuery
Я пытаюсь получить только первое пользовательское событие (строку) за каждый день.
дата
ID пользователя
событие
2018-09-30
1
логин
2018-09-30
2
логин
2018-09-30
1
следующий
2018-09-30
1
следующий
2018-09-30
2
следующий
2018-09-29
1
логин
и моя цель...
Matan1994
8 августа 2021 в 11:47
47
1
Какую строку кода нужно добавить, чтобы получать данные только за период с 2015 по 2021 год?
В следующем коде я хочу найти количество упоминаний людей в определенных газетах. Какую строку кода нужно добавить, чтобы получать данные только за период с 2015 по 2021 год?
SELECT
person,
SUM(count_of_mentions) AS all_mentions
FROM
project.dataset.keyword
WHERE
...
HieuNguyen96
8 августа 2021 в 11:35
42
0
Отчет BigQuery UNKNOWN_OS
В настоящее время я использую функцию push-уведомлений в своем приложении для Android. Я связал проект FCM с BigQuery, чтобы получать отчет об отправленных уведомлениях через FCM API. Но отчет показывает что-то сбивающее с толку:
6 columns: message_id, instance_id,...
Bale Rudal
8 августа 2021 в 08:17
64
1
Большой запрос — группировка по порядку
У меня есть данные:
WITH test_table AS (
SELECT '1' number, 'eat' activity UNION ALL
SELECT '2', 'eat' UNION ALL
SELECT '3', 'drink' UNION ALL
SELECT '4', 'eat' UNION ALL
SELECT '5', 'drink' UNION ALL
SELECT '6', 'drink'
)
select *
from test_table
order...
Henry Tu
8 августа 2021 в 02:06
62
1
Отображение временной метки BigQuery .9999
Недавно я загрузил CSV-файл из Google Sheets в BigQuery. Все схемы верны, но есть проблема с данными TIMESTAMP.
Отметка времени в исходном файле: каждая минута заканчивается 30 секундами. Но когда я загрузил его в BigQuery, на одну ячейку каждые три строки ушло...
jakobo
7 августа 2021 в 12:39
73
0
Какой регион потока данных следует использовать при больших запросах данных в Европе (ЕС)
Я пытаюсь создать задание потока данных SQL, которое публикуется в Pub/Sub. Я получаю сообщение об ошибке всякий раз, когда я запускаю задание, в котором говорится, что таблица не может быть найдена. Я предположил, что это связано с неверным регионом, но я не могу...
Mark McGown
6 августа 2021 в 22:01
120
1
Как разобрать дату в Big Query
У меня есть строка вроде 26 октября 2017 г., которую я хочу преобразовать в дату.
Я пытался
select PARSE_DATE('%m %d, %Y', my_date)
from my_table
Но я получаю
Failed to parse input string "Oct 26, 2017"
Что я делаю неправильно?
Ace.C
6 августа 2021 в 21:48
65
1
Как я могу заставить просроченные большие разделы запроса немедленно удаляться?
Я вижу в https://coderhelper.com/a/49105008/6191970, что разделы с истекшим сроком действия по-прежнему удаляются через некоторое неизвестное время, хотя они больше не включаются в запросы после истечения срока действия. Я экспериментировал с установкой срока действия...
mabiel
6 августа 2021 в 21:15
30
1
Частота уникальных значений, сгруппированных по дате
Я пытаюсь получить частоту уникальных значений идентификатора для каждого месяца прошлого года. Однако я не получаю результат... включая сообщение об ошибке "Выражение списка SELECT ссылается на столбец user_id, который не сгруппирован и не агрегирован".
Как получить...
Jimmy
6 августа 2021 в 20:52
193
1
Как авторизовать Google API внутри Docker
Я запускаю приложение внутри Docker, которое требует использования google-bigquery. Когда я запускаю его вне Docker, мне просто нужно перейти по ссылке ниже (отредактировано) и авторизоваться. Однако ссылка не работает, когда я копирую и вставляю ее из терминала...
Darshita
6 августа 2021 в 20:03
179
1
Функция Bigquery UDF — отправка запроса в качестве аргумента для выполнения функций min/max/std_dv/count_of nulls и т. д.
Я пытаюсь создать функцию Bigquery UDF, в которой я могу отправить запрос в качестве аргумента.
Функция должна вычислять функции min/max/std_dv/count_of nulls для всех числовых столбцов и возвращать значения.
Я пытался преобразовать данные поля в массив, но существует...
Rick McGeer
6 августа 2021 в 18:14
443
0
Клиент Google BigQuery Python использует неправильные учетные данные
Я получаю сообщение об ошибке "Не авторизовано" при попытке выполнить запрос к таблице в BigQuery. Я установил:
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]=<path>
Затем использовал
client = bigquery.Client()
Когда я выдаю запрос,...
Giovanna Fernandes
6 августа 2021 в 16:41
158
1
BigQuery округляет десятичные дроби до нуля при загрузке CSV-файла
Я пытался загрузить CSV-файл из GCS в BigQuery, и он продолжает округлять десятичные дроби в одном столбце до нуля, как бы я ни пытался.
Исходные данные представляют собой CSV-файл, и когда я загружаю его с помощью Pandas, он выглядит следующим образом:
User ...
Mike
6 августа 2021 в 13:51
98
1
как написать IDENTITY (1,1) и значение по умолчанию в google bigquery при определении таблицы?
Это оператор создания таблицы сервера sql. Как написать значение по умолчанию 0 и IDENTITY (1,1) в bigquery? Я гуглю и не получаю решения. Большое спасибо.
create table temp
(
a INT DEFAULT 0,
b smallint NULL,
c smallint NULL,
d datetime NULL,
e...