1단계, 지금 인덱스 파악하기

from pinecone import Pinecone

pc = Pinecone(api_key=PINECONE_API_KEY)
index = pc.Index("rag-prod")

stats = index.describe_index_stats()
print(stats["dimension"], stats["total_vector_count"])
for ns, info in stats["namespaces"].items():
    print(ns, info["vector_count"])

여기서 나온 dimension이 새 인덱스의 차원이 된다.

3단계, FAISS로 적재하기

import faiss, numpy as np

D = 1536
index = faiss.IndexFlatIP(D)  # cosine을 흉내내려면 정규화 + 내적

vecs = np.asarray(vecs, dtype="float32")
faiss.normalize_L2(vecs)

index = faiss.IndexIDMap2(index)  # 문자열 ID를 모르므로 정수로 매핑
index.add_with_ids(vecs, np.asarray([hash_id(i) for i in ids], dtype="int64"))
faiss.write_index(index, "rag-prod.faiss")

3단계, Chroma로 적재하기

import chromadb

client = chromadb.PersistentClient(path="./chroma-rag-prod")
col = client.get_or_create_collection(
    name="rag-prod",
    metadata={"hnsw:space": "cosine"},  # 거리 측정법을 반드시 명시
)

for ids, vecs, metas, docs in iter_parquet_batches("export/rag-prod"):
    col.add(ids=ids, embeddings=vecs, metadatas=metas, documents=docs)

hnsw:space를 안 쓰면 기본값 L2가 적용돼 결과가 통째로 어긋난다.

recall@k 계산

def recall_at_k(pinecone_ids, new_ids, k=10):
    p = set(pinecone_ids[:k])
    n = set(new_ids[:k])
    return len(p & n) / k

scores = []
for q in load_query_samples(1000):
    pc_top = [m.id for m in index.query(vector=q, top_k=10).matches]
    new_top = chroma_query(col, q, k=10)
    scores.append(recall_at_k(pc_top, new_top))

print(f"mean recall@10 = {sum(scores)/len(scores):.3f}")