Вектор база матн, расм ёки бошқа маълумотларнинг маъносини рақамлар кетма-кетлиги, яъни вектор кўринишида сақлайди ва уларга энг яқин маъноли ёзувларни тез топиб беради. Бу имконият AI ёрдамчиларнинг асосий қисмларидан бири: фойдаланувчи савол берганда тизим аввал вектор базадан мос ҳужжат бўлакларини топади, сўнг уларни жавоб яратиш учун моделга узатади. Бундай ёндашув RAG деб аталади. Кўпчилик булутли вектор хизматлардан бошлайди, лекин маълумотлар махфий бўлса ёки ҳажм ўсиб, харажат ошса, базани ўз серверида юритиш мантиқий қадамга айланади.
Qdrant ёки pgvector: фарқи нимада
Qdrant вектор қидирув учун махсус яратилган алоҳида маълумотлар базаси. У REST ва gRPC API орқали ишлайди, векторлар билан бирга қўшимча майдонларни сақлайди ва улар бўйича фильтрлаш имконини беради. pgvector эса PostgreSQL учун кенгайтма бўлиб, векторларни оддий жадвал устунида сақлаш ва улар бўйича SQL сўровлари билан қидириш имконини беради. Агар лойиҳангиз аллақачон PostgreSQL'да ишлаётган бўлса, pgvector қўшимча хизматсиз энг оддий йўл бўлади, чунки транзакциялар, захира ва ҳуқуқлар битта жойда бошқарилади. Векторлар сони жуда кўп бўлса ёки қидирув асосий юкламага айланса, алоҳида Qdrant хизмати қулайроқ бўлиши мумкин.
| Мезон | Qdrant | pgvector |
|---|---|---|
| Тури | Алоҳида вектор база | PostgreSQL кенгайтмаси |
| Мурожаат | REST ва gRPC API | Оддий SQL |
| Қачон қулай | Қидирув асосий вазифа, катта ҳажм | Мавжуд PostgreSQL лойиҳа, ўртача ҳажм |
| Захира | Snapshot API | Одатий pg_dump |
Сервер ресурсларини қандай ҳисоблаш мумкин
Вектор базанинг хотира эҳтиёжини олдиндан тахминан ҳисоблаш мумкин. Ҳар бир вектор float32 форматида сақланса, битта ўлчам 4 байт жой олади, демак 768 ўлчамли вектор тахминан 3 KB ни ташкил қилади. Бир миллион бундай вектор фақат хом ҳолатда 3 GB атрофида бўлади, бунга индекс, қўшимча майдонлар ва матннинг ўзи ҳам қўшилади. Тезкор қидирув учун индекснинг катта қисми оператив хотирада бўлиши афзал, шунинг учун хотирани шу ҳисобдан захира билан танланг. Вектор ўлчами сиз ишлатаётган embedding моделига боғлиқ, уни модель ҳужжатидан аниқланг.
Мисол: юридик фирма учун ҳужжатлар қидируви
Тошкентдаги юридик фирма йиллар давомида йиғилган шартнома намуналари ва ички хулосалар бўйича AI қидирув яратмоқчи дейлик. Ҳужжатлар бир неча юз сўзли бўлакларга ажратилади, ҳар бир бўлак учун embedding ҳисобланади ва вектор базага ёзилади. Ҳуқуқшунос "ижара шартномасида муддатидан олдин бекор қилиш шарти" деб ёзганда тизим маъноси яқин бўлакларни топиб беради, ҳатто уларда айнан шу сўзлар бўлмаса ҳам. Мижозлар маълумотлари махфий бўлгани учун базани фирманинг ўз VPS серверида сақлаш тўғри қарор, бундай серверни sayt.uz кабинетидан буюртма қилиш мумкин.
Qdrant'ни Docker орқали ўрнатиш
Qdrant'ни ишга туширишнинг энг қулай йўли расмий Docker образи. Қуйидаги буйруқда порт фақат ички манзилга боғланган, маълумотлар дискдаги папкада сақланади, API калит эса бегона сўровларни рад этади. Калитни узун тасодифий қатор қилиб танланг ва уни илова созламаларида сақланг.
docker run -d --name qdrant --restart unless-stopped \
-p 127.0.0.1:6333:6333 \
-v /opt/qdrant/storage:/qdrant/storage \
-e QDRANT__SERVICE__API_KEY=UZUN_MAXFIY_KALIT \
qdrant/qdrant
Сўнг embedding моделингиз ўлчамига мос коллекция яратинг. Масофа тури сифатида матн embedding'лари учун кўпинча косинус ўхшашлиги ишлатилади.
curl -X PUT http://127.0.0.1:6333/collections/hujjatlar \
-H "api-key: UZUN_MAXFIY_KALIT" \
-H "Content-Type: application/json" \
-d '{"vectors": {"size": 768, "distance": "Cosine"}}'
Захира учун Qdrant snapshot яратиш API'сини тақдим этади. Snapshot файллари сақлаш папкаси ичида пайдо бўлади, уларни мунтазам равишда бошқа серверга кўчириб туринг.
curl -X POST http://127.0.0.1:6333/collections/hujjatlar/snapshots \
-H "api-key: UZUN_MAXFIY_KALIT"
pgvector'ни PostgreSQL'га қўшиш
Ubuntu'да pgvector ўрнатилган PostgreSQL версиясига мос пакет сифатида келади, қуйидаги мисол 16-версия учун. Пакет номини ўз версиянгизга мослаб ўзгартиринг.
sudo apt install postgresql-16-pgvector
sudo -u postgres psql -d bilimlar -c "CREATE EXTENSION IF NOT EXISTS vector;"
Кенгайтма ёқилгач, вектор устунли жадвал ва HNSW индекс яратинг. HNSW индекси тахминий, лекин жуда тез қидирувни таъминлайди, <=> оператори эса косинус масофасини ҳисоблайди. Индексдаги оператор класси сўровдаги операторга мос бўлиши керак, акс ҳолда PostgreSQL индексдан фойдаланмайди.
CREATE TABLE hujjatlar (
id bigserial PRIMARY KEY,
sarlavha text,
matn text,
embedding vector(768)
);
CREATE INDEX ON hujjatlar USING hnsw (embedding vector_cosine_ops);
-- eng yaqin 5 ta bo'lak
SELECT sarlavha, matn
FROM hujjatlar
ORDER BY embedding <=> '[0.012, -0.034, ...]'
LIMIT 5;
Захира учун одатий PostgreSQL воситалари етарли, вектор устунлари ҳам бошқа маълумотлар билан бирга экспорт қилинади.
pg_dump -Fc bilimlar > /root/backup/bilimlar-$(date +%F).dump
Ҳимоя ва ишлаш барқарорлиги
Вектор базада асл ҳужжатларнинг матни ҳам сақланади, шунинг учун унга кириш оддий маълумотлар базаси каби қаттиқ ҳимояланиши керак. Qdrant портини ва PostgreSQL'нинг 5432-портини интернетга очманг, илова билан база бир серверда бўлмаса, уланишни ички тармоқ ёки шифрланган туннель орқали ташкил қилинг. Embedding моделини алмаштирсангиз, эски векторлар янги модель билан мос келмайди ва бутун тўпламни қайта ҳисоблаш керак бўлади, бу ишни олдиндан режалаштиринг. Хотира ва диск сарфини кузатиб боринг: ҳужжатлар кўпайгани сари индекс ҳам ўсади ва сервер тарифини ўз вақтида ошириш қидирув тезлигини сақлаб қолади.