Векторная база хранит смысл текстов, изображений и других данных в виде последовательности чисел, то есть вектора, и быстро находит записи, наиболее близкие по смыслу. Это одна из ключевых частей AI-ассистентов: когда пользователь задаёт вопрос, система сначала находит в векторной базе подходящие фрагменты документов, а затем передаёт их модели для формирования ответа. Такой подход называют RAG. Многие начинают с облачных векторных сервисов, но если данные конфиденциальны или с ростом объёма растут расходы, держать базу на собственном сервере становится логичным шагом.
Qdrant или pgvector: в чём разница
Qdrant — отдельная база данных, созданная специально для векторного поиска. Она работает через REST и gRPC API, хранит вместе с векторами дополнительные поля и позволяет фильтровать по ним. pgvector — расширение для PostgreSQL, которое позволяет хранить векторы в обычном столбце таблицы и искать по ним SQL-запросами. Если проект уже работает на PostgreSQL, pgvector — самый простой путь без дополнительного сервиса: транзакции, бэкапы и права управляются в одном месте. Если векторов очень много или поиск становится основной нагрузкой, удобнее может оказаться отдельный сервис Qdrant.
| Критерий | Qdrant | pgvector |
|---|---|---|
| Тип | Отдельная векторная база | Расширение PostgreSQL |
| Доступ | REST и gRPC API | Обычный SQL |
| Когда удобен | Поиск — основная задача, большой объём | Существующий проект на PostgreSQL, средний объём |
| Резервные копии | Snapshot API | Обычный pg_dump |
Как рассчитать ресурсы сервера
Потребность в памяти можно приблизительно оценить заранее. Если вектор хранится в формате float32, каждое измерение занимает 4 байта, значит вектор размерности 768 весит примерно 3 КБ. Миллион таких векторов в сыром виде — около 3 ГБ, к этому добавляются индекс, дополнительные поля и сам текст. Для быстрого поиска желательно, чтобы большая часть индекса находилась в оперативной памяти, поэтому выбирайте объём памяти с запасом от этой оценки. Размерность вектора зависит от используемой embedding-модели, уточните её в документации модели.
Пример: поиск по документам для юридической фирмы
Допустим, юридическая фирма в Ташкенте хочет сделать AI-поиск по накопленным за годы образцам договоров и внутренним заключениям. Документы делятся на фрагменты по несколько сотен слов, для каждого вычисляется embedding, и он записывается в векторную базу. Когда юрист пишет «условие досрочного расторжения договора аренды», система находит близкие по смыслу фрагменты, даже если в них нет именно этих слов. Данные клиентов конфиденциальны, поэтому правильно держать базу на собственном VPS фирмы, а заказать такой сервер можно в кабинете sayt.uz.
Установка Qdrant через Docker
Самый удобный способ запустить Qdrant — официальный Docker-образ. В команде ниже порт привязан только к внутреннему адресу, данные хранятся в папке на диске, а API-ключ отсекает посторонние запросы. Сделайте ключ длинной случайной строкой и храните его в настройках приложения.
docker run -d --name qdrant --restart unless-stopped \
-p 127.0.0.1:6333:6333 \
-v /opt/qdrant/storage:/qdrant/storage \
-e QDRANT__SERVICE__API_KEY=UZUN_MAXFIY_KALIT \
qdrant/qdrant
Затем создайте коллекцию с размерностью, соответствующей вашей embedding-модели. Для текстовых эмбеддингов в качестве метрики чаще всего используют косинусное сходство.
curl -X PUT http://127.0.0.1:6333/collections/hujjatlar \
-H "api-key: UZUN_MAXFIY_KALIT" \
-H "Content-Type: application/json" \
-d '{"vectors": {"size": 768, "distance": "Cosine"}}'
Для бэкапов у Qdrant есть API создания снапшотов. Файлы снапшотов появляются внутри папки хранения, регулярно копируйте их на другой сервер.
curl -X POST http://127.0.0.1:6333/collections/hujjatlar/snapshots \
-H "api-key: UZUN_MAXFIY_KALIT"
Подключение pgvector к PostgreSQL
В Ubuntu pgvector поставляется как пакет под установленную версию PostgreSQL, пример ниже — для версии 16. Замените имя пакета под свою версию.
sudo apt install postgresql-16-pgvector
sudo -u postgres psql -d bilimlar -c "CREATE EXTENSION IF NOT EXISTS vector;"
После включения расширения создайте таблицу с векторным столбцом и индекс HNSW. Индекс HNSW даёт приближённый, но очень быстрый поиск, а оператор <=> вычисляет косинусное расстояние. Класс операторов индекса должен соответствовать оператору в запросе, иначе PostgreSQL не будет использовать индекс.
CREATE TABLE hujjatlar (
id bigserial PRIMARY KEY,
sarlavha text,
matn text,
embedding vector(768)
);
CREATE INDEX ON hujjatlar USING hnsw (embedding vector_cosine_ops);
-- 5 ближайших фрагментов
SELECT sarlavha, matn
FROM hujjatlar
ORDER BY embedding <=> '[0.012, -0.034, ...]'
LIMIT 5;
Для резервного копирования хватает стандартных средств PostgreSQL: векторные столбцы экспортируются вместе с остальными данными.
pg_dump -Fc bilimlar > /root/backup/bilimlar-$(date +%F).dump
Защита и стабильная работа
В векторной базе хранится и текст исходных документов, поэтому доступ к ней нужно защищать так же строго, как к обычной базе данных. Не открывайте в интернет порт Qdrant и порт PostgreSQL 5432; если приложение и база на разных серверах, организуйте связь через внутреннюю сеть или зашифрованный туннель. При смене embedding-модели старые векторы становятся несовместимы с новой, и весь набор придётся пересчитать, поэтому планируйте это заранее. Следите за расходом памяти и диска: с ростом числа документов растёт и индекс, и своевременное повышение тарифа сервера сохранит скорость поиска.