Вопросы, помеченные тегом «rocksdb»

RocksDB - это встраиваемое постоянное хранилище ключей и значений для быстрого хранения. RocksDB также может быть основой для базы данных клиент-сервер, но в настоящее время мы сосредоточены на встроенных рабочих нагрузках.
avatar
Saravanakrishnan Pk
7 августа 2021 в 15:23
791
1

Kafka Streams groupByKey не работает из-за RocksDB в Mac m1

Я получаю следующую ошибку rockdb, когда пытаюсь использовать функцию groupByKey потоков kafka в функции. тогда как простая потребительская функция работает нормально. Env: confluent v1.30.0 (сплошная работа в среде разработки с одним узлом) ОС: Apple m1 mac - Big Sur...
avatar
George
5 августа 2021 в 15:31
181
1

Следует ли использовать Flink State для больших и средних хранилищ?

Прежде чем начать, я имею в виду большие объемы памяти в ГБ, а среднесрочные — часы. У нас есть Flink, работающий на AWS Kinesis Data Analytics для приложений Flink (KDA), который по умолчанию использует бэкенд состояния RockDB. Каждый KPU в KDA (что-то вроде...
avatar
Anmol Vijaywargiya
3 августа 2021 в 06:11
100
0

RocksDBException - нет доступных блокировок для потребителя Kafka

Настройка представляет собой потребителя потока Kafka с двумя потоками. Клиент Кафка версии 2.4 Недавно мы столкнулись с исключением RocksDB, после которого потребитель перестал потреблять сообщения, а поток потока перешел в состояние DEAD. Вот след ошибки [ERROR]...
avatar
cknelle
27 июля 2021 в 10:06
431
1

Сортировка по ключу в rockdb

Я пытаюсь сравнить в java огромное количество данных с двумя входами в папки: папка1 и папка2. Каждая папка содержит несколько файлов размером около 10 Мбайт каждый. У меня около 100 файлов в каждой папке. Каждый файл содержит строку ключа и значения, например (всего...
avatar
Niteesh Hegde
26 июля 2021 в 03:51
101
1

State Backend для таблиц Flink

Можно ли сохранять динамические таблицы в Apache Flink в RocksDB в качестве постоянной серверной части? Если да, могу ли я иметь здесь 20+ ГБ?
avatar
Mazen Ezzeddine
23 июля 2021 в 13:31
323
1

Принудительно сбросить таблицу памяти Rocksdb на диск

В RocksDB записи хранятся в буфере памяти, а именно memtable. Memtable сбрасывается на диск (отсортированная статическая таблица SSTable) после заполнения. Можно ли программно принудительно сбросить memtable на диск до того, как он заполнится? Какие API Rocksdb это...
avatar
li tang
15 июля 2021 в 08:43
91
0

Сброс ядра при открытии RocksDB на HDFS

В настоящее время я открываю rockdb на HDFS с помощью инструментов, предлагаемых на официальном сайте RocksDB https://github.com/facebook/rocksdb/tree/master/hdfs, я установил переменные среды в соответствии с инструкции и установленную библиотеку HDFS. NewHdfsEnv()...
avatar
Eshkod
11 июля 2021 в 22:33
211
2

Запрос размера семейства столбцов в RocksDB

Есть ли способ узнать размер всех KV, хранящихся в семействе столбцов?
avatar
YjyJeff
8 июля 2021 в 07:52
192
1

Зачем rockDB нужно несколько уровней?

Все ключи в RocksDB уровня 1 уже отсортированы. Поэтому мы можем быстро получить ключ на этом уровне. Почему rockDB по-прежнему необходимо сжимать файлы с уровня 1 до уровня 2? Я нашел объяснение в документе LevelDB: Открытие файла в одном каталоге происходит медленно,...
avatar
user3747198
1 июля 2021 в 13:19
241
0

База данных Kafka Rocks указывает на Amazon S3

Наша команда разработчиков, использующая микросервис Kafka stream java Spring Boot, использует внутри себя Rocks dB . во время исправления кластера локальные хранилища очищаются. можно ли направить камни dB на aws s3? state.backend.rocksdb.localdir
avatar
Chris Chai
18 июня 2021 в 18:09
275
1

Неопределенный символ Rocksdb: ZSTD_versionNumber Cpython

[2021-06-18 17:52:53,711: ERROR]: [^Worker]: Error: ImproperlyConfigured('RocksDB bindings not installed? pip install python-rocksdb',) Traceback (most recent call last): File "/usr/local/lib/python3.6/site-packages/faust/stores/rocksdb.py", line 159, in __init__ ...
avatar
User2234
9 июня 2021 в 10:36
178
1

RocksDB и LevelDB такие же, как Riak?

У меня вопрос относительно некоторых баз данных NoSQL. Например, в Ehcache у нас есть JCache API, в MapDB — Map Interface, а в Riak KV — собственный процесс с кластерами. Как точно узнать, какая база данных подходит для какого типа реализации? Например, для RocksDB (я...
avatar
jagannathan rajagopalan
4 июня 2021 в 05:19
129
1

Поддержка RocksDb Java API для транзакций

Поддерживает ли RocksJavaAPI транзакции? Я вижу, что в JAR присутствует класс Transaction DB. Я не могу начать транзакцию в транзакции класса Db. RocksDB db = TransactionDB.open(options, "/Users/jagannathan/Desktop/My Files/db/rocksdb") Я не могу выполнить...
avatar
Alter
4 июня 2021 в 02:11
924
1

Настройте RocksDB в Flink 1.13

Я читал о EmbeddedRocksDBStateBackend в версии Flink 1.13, но имеет ограничения по размеру, поэтому я хочу сохранить текущую конфигурацию моей предыдущей версии Flink 1.11, но дело в том, что этот способ настройки RocksDB устарел (new RocksDBStateBackend("path",...
avatar
Dmitry Dyachkov
31 мая 2021 в 08:39
275
1

Ошибка Apple M1 Docker cc1plus: ошибка: неизвестное значение «armv8-a-march = armv8-a» для -march

Эта ошибка возникает при создании образов Docker в Mac OS BigSur с чипом M1. Что я пробовал: установил докер для Apple Silicon Graphic M1 с сайта докеров Сбой при попытке установить RocksDB из Docker # docker.local FROM golang:1.12.4-alpine3.9 RUN apk add bash...
avatar
user997112
27 мая 2021 в 22:12
615
1

Общее использование памяти RocksDB

Я рассматриваю пример конфигурации опций RocksDB: opts = rocksdb.Options() opts.create_if_missing = True opts.max_open_files = 300000 opts.write_buffer_size = 67108864 opts.max_write_buffer_number = 3 opts.target_file_size_base = 67108864 opts.table_factory =...
avatar
user997112
27 мая 2021 в 15:36
105
1

Python теряет память, если я читаю кортеж вместо одного значения

Я спрашиваю, существует ли ключ в базе данных RocksDB с использованием Python. API (см. внизу) подразумевает, что он возвращает двухэлементный кортеж. Итак, я получаю оба элемента кортежа: def contains_key(database: rocksdb, key: int) -> bool: found, data =...
avatar
Soner Guzeloglu
5 апреля 2021 в 19:03
202
1

KsqlDB Запросы на лучших практиках

В настоящее время я создаю экземпляр ksqlDB и планирую развернуть его в интерактивном режиме. Я создал потоки и таблицу для обслуживания оконных агрегаций с помощью RocksDB. Я хочу запросить кеш с помощью вызовов REST API (т. е. Python-оболочки для KSQL Rest API), но...
avatar
Stefanos Kalogerakis
1 апреля 2021 в 20:29
58
1

Поведение Flink-RocksDB после сбоя диспетчера задач

Я экспериментирую со своим новым кластером Flink (3 разных машины-> 1 диспетчер задач, 2-> диспетчер задач), используя RocksDB в качестве серверной части состояния, однако поведение контрольных точек, которое я получаю, немного сбивает с толку. В частности, я...
avatar
Kevin Kim
24 марта 2021 в 14:12
272
0

Открытие RocksDB в Java с существующими файлами контрольных точек

У меня есть потоковый конвейер, который использует rockdbjni 6.15.2 для управления состоянием контрольных точек. Я пытаюсь использовать эту же библиотеку в отдельном автономном процессе Scala для чтения файлов контрольных точек и дальнейшей обработки. Для проверки я...