Re-Ranking

Re-ranking là bước xếp hạng lại kết quả từ stage 1 (thường là semantic search hoặc hybrid search) bằng một mô hình mạnh hơn — gần như luôn là một cross-encoder Transformer. Nó đưa kết quả liên quan nhất lên đầu và là bước chuẩn trong mọi pipeline RAG chất lượng cao.

Định nghĩa toán học. Cho query q và document d, cross-encoder tính một score thực:

Query và document được concat rồi đi cùng lúc qua Transformer. Mỗi token query có thể attend đến mỗi token document (và ngược lại), nắm bắt tương tác chi tiết mà bi-encoder bỏ lỡ — ví dụ: q "quyền lao động" × d "Điều 5 quy định các quyền cơ bản của người lao động" sẽ match rất mạnh, trong khi d "giá vàng tăng mạnh — người lao động khóc ròng" match yếu.

Bi-encoder, ngược lại, mã hóa riêng:

Vì độc lập, ta có thể precompute Enc(d) cho cả corpus, rồi lookup cực nhanh bằng ANN (HNSW, IVF-PQ). Giá phải trả: không có tương tác token-to-token, dẫn tới sai lệch khi nhiều từ khóa bề mặt nhưng ngữ nghĩa lệch.

Code mẫu 1 — Cohere Rerank (API managed). Đây là cách nhanh nhất để có một pipeline rerank hoạt động. Không cần GPU, không cần tải model; bạn chỉ truyền query và danh sách doc, service trả về score:

# pip install cohere
import cohere

co = cohere.Client("YOUR_COHERE_API_KEY")

query = "quyền lao động Việt Nam"
documents = [
    "Luật lao động 2019 quy định quyền cơ bản của người lao động...",
    "Giá vàng hôm nay tăng mạnh — người lao động khóc ròng",
    "Hợp đồng lao động — mẫu và hướng dẫn ký kết",
    "Công ước ILO 87 và 98 về quyền tự do hiệp hội ở Việt Nam",
    # ... top-100 từ stage 1 (bi-encoder / BM25 / hybrid)
]

result = co.rerank(
    query=query,
    documents=documents,
    model="rerank-v3.5",   # đa ngôn ngữ, bao gồm tiếng Việt
    top_n=5,                # chỉ lấy top-5 sau rerank
)

for hit in result.results:
    score = hit.relevance_score
    text = documents[hit.index]
    print(f"{score:.3f}\t{text[:60]}...")

# Output (ví dụ):
# 0.942   Luật lao động 2019 quy định quyền cơ bản của người...
# 0.834   Công ước ILO 87 và 98 về quyền tự do hiệp hội...
# 0.471   Hợp đồng lao động — mẫu và hướng dẫn ký kết
# 0.041   Giá vàng hôm nay tăng mạnh — người lao động khóc...

Code mẫu 2 — BGE-Reranker local (open-source). Khi bạn muốn tự kiểm soát (on-prem, nhạy cảm dữ liệu, chi phí dài hạn), một cross-encoder open-source như BGE-Reranker-v2-m3 là lựa chọn cân bằng giữa chất lượng và tốc độ. Chú ý batch để tận dụng GPU:

# pip install sentence-transformers torch
from sentence_transformers import CrossEncoder
import torch

model = CrossEncoder(
    "BAAI/bge-reranker-v2-m3",
    max_length=512,
    device="cuda" if torch.cuda.is_available() else "cpu",
)

query = "quyền lao động Việt Nam"
candidates = [
    "Luật lao động 2019 quy định quyền cơ bản của người lao động...",
    "Giá vàng hôm nay tăng mạnh — người lao động khóc ròng",
    "Công ước ILO 87 và 98 về quyền tự do hiệp hội ở Việt Nam",
    # ... top-100 từ stage 1
]

# Tạo các cặp (query, doc) — batch tất cả vào 1 forward pass
pairs = [(query, doc) for doc in candidates]

# predict trả về logit thực. Sigmoid để về xác suất.
scores = model.predict(pairs, batch_size=32, show_progress_bar=False)

# Sắp xếp giảm dần theo score, lấy top-5
ranked = sorted(
    zip(candidates, scores),
    key=lambda x: x[1],
    reverse=True,
)[:5]

for doc, s in ranked:
    print(f"{s:+.3f}\t{doc[:60]}...")

# Gợi ý production:
#   1. Luôn batch (batch_size 16–64 trên T4, 64–128 trên A100).
#   2. Cache score cho (query, doc_id) nếu query lặp.
#   3. Với max_length ngắn hơn (256), tốc độ tăng ~2x, chất lượng
#      giảm nhẹ trên tài liệu dài — hãy A/B test trên data của bạn.

Khi nào dùng. Hãy bật re-ranking khi:

• RAG với LLM — context chất lượng trực tiếp quyết định chất lượng câu trả lời.
• Ngôn ngữ hoặc domain đặc thù (tiếng Việt, y khoa, pháp luật) khiến embedding thuần không đủ tinh tế.
• Bi-encoder của bạn chưa fine-tune — rerank có thể cứu 10–20% NDCG ngay mà không cần train.

Khi nào bỏ qua. Không phải lúc nào cũng cần rerank. Bỏ qua khi:

• Latency SLA rất chặt (< 50 ms) và bạn không thể batch đủ lớn.
• Corpus bé (< 10K) và bi-encoder đã fine-tune tốt trên domain.
• Use case là autocomplete / suggest — người dùng gõ liên tục, chi phí rerank nhân lên nhanh.

Trong thực tế: một pipeline RAG điển hình năm 2024–2025 trông như sau: query rewrite → hybrid search (BM25 + bi-encoder) → top-100 → cross-encoder rerank → top-5 → LLM. Chỉ chi phí và latency từ rerank thường chiếm 20–40% toàn pipeline, nhưng chất lượng câu trả lời cuối cùng cải thiện rõ rệt — và đó là lý do nó trở thành mặc định.