Содержание
Doris научился читать Lance-датасеты напрямую и выполнять векторный поиск вместе с фильтрами, join и агрегацией в одном запросе. Раньше инженерам приходилось выгружать кандидаты из отдельного векторного сервиса, переносить их в аналитическую СУБД и собирать итоговый результат вручную. Теперь планирование, поиск и последующий SQL-анализ происходят внутри одного кластера, а данные остаются на месте. Это снижает задержки, упрощает архитектуру и позволяет применять сложные аналитические операции сразу после поиска без промежуточных хранилищ.
Lance представляет собой открытый формат хранения данных, ориентированный на сценарии машинного обучения и аналитики. Он поддерживает версии, фрагменты и индексы, что даёт возможность работать с большими наборами векторов и метаданных. Интеграция с Doris даёт преимущество в тех случаях, когда требуется одновременно искать похожие векторы и сразу применять к результатам фильтры, соединения и агрегации. Организациям, которые уже используют Lance для хранения эмбеддингов, это позволяет избежать дублирования данных и лишних перемещений между системами.
Как устроен доступ к Lance
Doris читает метаданные Lance: версии, фрагменты и индексы. FE строит план, BE читают данные через lance-c и сразу передают Arrow-результаты в операторы join и агрегации. Поддерживаются два каталога: Filesystem Catalog по директориям и REST Catalog через Lance Namespace. Данные могут лежать на локальной ФС, S3-совместимом хранилище или OSS. Для разовых запросов можно использовать table-valued function с форматом Lance.
FE отвечает за планирование запросов, а BE — за их исполнение на узлах кластера. Arrow обеспечивает эффективный обмен данными между компонентами без лишних преобразований. Два типа каталогов позволяют гибко подключать существующие Lance-датасеты: Filesystem Catalog удобен для простых директорий, а REST Catalog через Lance Namespace подходит для централизованного управления метаданными. Возможность работать с локальной файловой системой, S3-совместимыми хранилищами или OSS означает, что данные не нужно мигрировать в проприетарные форматы. Table-valued function даёт доступ к Lance-файлам без создания постоянной таблицы, что полезно для разовых аналитических задач.
Поиск открывается функциями vector_search и full_text_search. Последняя поддерживает Match OR, Match AND и фразы при наличии позиционного индекса. В строгом режиме фрагменты без индекса не участвуют в поиске. Результаты функций сразу попадают в дальнейшие SQL-операции, поэтому не нужно писать отдельный код для объединения векторных и текстовых рангов. Vector_search реализует поиск ближайших соседей по векторным представлениям, а full_text_search добавляет текстовое ранжирование. Поддержка логических операторов и фраз позволяет точнее контролировать текстовый поиск. Строгий режим гарантирует, что используются только проиндексированные фрагменты, что важно для предсказуемой производительности. Поскольку результаты сразу доступны для join и агрегации, можно строить запросы, где векторный поиск служит первым этапом сложной аналитики.
Параллельный поиск и фильтры
FE распределяет работу по индексным сегментам Lance. Один сегмент может покрывать несколько фрагментов, поэтому планировщик сначала читает их соответствие. Фрагменты без индекса получают задачи flat search, результаты всех задач сливаются и сортируются до глобального Top-K. При ANN-поиске recall определяется типом индекса и параметрами запроса.
Фильтры можно выполнить до поиска, если явно задать prefilter=true. Это важно, когда после фильтрации по типу автомобиля или региону нужно вернуть ровно K результатов. Обычные предикаты равенства, диапазона и IN также могут использовать BTree, Bitmap или LabelList индексы Lance. Размер сегмента напрямую влияет на параллелизм: слишком мелкие сегменты увеличивают накладные расходы на планирование и открытие индексов.
ANN-поиск (приближённый поиск ближайших соседей) позволяет ускорить работу на больших объёмах за счёт компромисса между скоростью и полнотой. Параметр recall показывает, какая доля релевантных результатов будет найдена. Prefilter=true выполняет фильтрацию до векторного поиска и гарантирует точное количество результатов после Top-K. Индексы BTree, Bitmap и LabelList ускоряют предикаты на метаданных. Размер сегмента — ключевой параметр настройки: крупные сегменты снижают overhead, но могут ограничивать параллелизм, а мелкие — наоборот. При принятии решения о внедрении важно оценить текущий размер датасетов и планируемый рост, чтобы выбрать оптимальную сегментацию.
Скорость и ограничения тестов
На данных автономного вождения Doris с Lance выполнил векторный поиск с четырьмя фильтрами по миллиарду записей за 2,32 секунды. Ray + pylance на тех же данных потратил 25,228 секунды. Тест использовал Top-K 20 000, 95 % recall, включённые кэши и отсутствие конкурирующих запросов. Полученное преимущество объясняется тем, что поиск и последующие join и агрегации выполняются внутри одного движка без пересылки данных.
Результаты зависят от размера сегментов, количества BE и выбранного recall. При недостаточном покрытии индексами часть данных обрабатывается полным перебором, что снижает скорость. Комбинирование векторного и текстового ранжирования требует явного описания правил слияния и скоринга.
Тест показывает, что единый движок даёт значительный выигрыш по сравнению с раздельными инструментами. Однако в реальных условиях на скорость влияют размер сегментов, число Backend-узлов и требуемый recall. Недостаточное покрытие индексами приводит к fallback на полный перебор. Слияние векторного и текстового рангов нужно явно настраивать в запросе, что добавляет сложность. Эти факторы важно учитывать при оценке, подойдёт ли решение для конкретной нагрузки.
Что важно при внедрении в РФ
В российских контурах чаще всего используют S3-совместимые хранилища или локальные кластеры. Doris позволяет оставить Lance-датасеты на уже имеющемся объектном хранилище и не переносить их в проприетарные векторные БД. При этом остаётся возможность выполнять сложный SQL-анализ без выгрузки кандидатов. Нужно следить за размером сегментов и покрытием индексов, чтобы не получить неожиданный рост latency при росте данных. Для ad-hoc доступа удобно использовать file TVF, не создавая постоянный каталог.
Источник
Это краткий разбор материала Apache Doris. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Doris и Lance для векторного поиска в SQL.
Курс по теме — Каталог курсов Школы Больших Данных


