Как сохранить индекс, построенный с помощью ScaNN?

avatar
Ramraj Chandradevan
8 августа 2021 в 23:10
112
1
0

Мне интересно, как мы можем сохранить индекс, созданный с помощью инструмента ScaNN.

start = time.time()

searcher = scann.scann_ops_pybind.builder(normalized_dataset, 10, "dot_product").tree(
    num_leaves=2000, num_leaves_to_search=100, training_sample_size=250000).score_ah(
    2, anisotropic_quantization_threshold=0.2).reorder(100).build()

end = time.time()

print("Задержка индекса (мс): {:8.4f}".format( 1000*(конец-начало))

Источник

Ответы (1)

avatar
Ramraj Chandradevan
8 августа 2021 в 23:35
0

Ответ упоминается в этом выпуске GitHub.

Вот рабочий синтаксис для сканирования 1.2

INDEX_DIR = './index'
os.makedirs(INDEX_DIR, exist_ok=True)
searcher.serialize(INDEX_DIR) # store the scann_module 

another_searcher = scann.scann_ops_pybind.load_searcher(INDEX_DIR)
neighbors, distances = another_searcher.search_batched(dataset, final_num_neighbors=25)