Text Chunking

Chunking (chia nhỏ) là bước tiền xử lý trong pipeline RAG, chia văn bản dài thành các đoạn nhỏ (chunk) phù hợp với giới hạn context của embedding model. Mỗi chunk sau đó được nhúng thành vector và lưu trong vector database.

Nhìn thoáng qua thì chunking đơn giản — chỉ là cắt chuỗi. Nhưng chất lượng chunking quyết định chất lượng toàn hệ thống RAG: chunk cắt kém → embedding thiếu ngữ cảnh → search trả chunk không liên quan → LLM hallucinate hoặc trả lời thiếu chính xác. Nghiên cứu thực nghiệm cho thấy chỉ cần thay đổi chunk_size từ 256 → 512, recall@10 có thể dao động 15-25% trên cùng một dataset.

Kích thước chunk tối ưu bị ràng buộc cứng bởi embedding model:

all-MiniLM-L6-v2: max 256 token. text-embedding-3-small: max 8192 token. bge-m3: max 8192 token. Thực tế, 256-1024 token/chunk thường cho kết quả tốt nhất cho RAG.

Overlap giữa các chunk giúp bảo toàn ngữ cảnh ở ranh giới. Nếu một câu quan trọng nằm vắt ngang 2 chunk, không có overlap thì nó bị chia đôi — cả 2 chunk đều mất ý. Với overlap O ký tự, câu đó xuất hiện trong ít nhất một chunk đầy đủ (miễn là câu ngắn hơn O). Công thức số chunk:

Trong đó L là độ dài tổng, S là chunk size, O là overlap. Overlap càng lớn, số chunk càng nhiều → chi phí lưu trữ và embedding tăng theo.

from langchain.text_splitter import RecursiveCharacterTextSplitter

# Đọc Bộ luật Lao động
with open("bo_luat_lao_dong_2025.txt", encoding="utf-8") as f:
    text = f.read()  # ~200 trang

# Recursive Text Splitting (mặc định LangChain)
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,        # ~500 ký tự/chunk
    chunk_overlap=50,      # 50 ký tự chồng lấp (~10%)
    separators=[           # Thứ tự ưu tiên, từ lớn đến nhỏ
        "\n\n",          # Paragraph break
        "\n",             # Line break
        ". ",              # Sentence
        ", ",              # Clause
        " ",               # Word
        "",                # Fallback: cắt theo ký tự
    ],
    length_function=len,   # Có thể thay bằng tiktoken encoder
    is_separator_regex=False,
)

chunks = splitter.split_text(text)
print(f"Tổng {len(chunks)} chunks từ {len(text)} ký tự")
# Ví dụ: ~400 chunks, mỗi chunk ~500 ký tự

# Variant dùng token thay cho ký tự
from langchain.text_splitter import TokenTextSplitter

token_splitter = TokenTextSplitter(
    chunk_size=256,
    chunk_overlap=32,
    encoding_name="cl100k_base",  # tiktoken encoding của GPT-4
)
token_chunks = token_splitter.split_text(text)
# Đảm bảo chunk luôn ≤ 256 token thật, không lệch do tách từ

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings

# Semantic chunking dựa trên embedding của từng câu
semantic_splitter = SemanticChunker(
    OpenAIEmbeddings(model="text-embedding-3-small"),
    breakpoint_threshold_type="percentile",
    # Cắt khi similarity giảm xuống dưới percentile 95 của khoảng cách
    breakpoint_threshold_amount=95,
    # Có thể đổi sang "standard_deviation" hoặc "interquartile"
)
semantic_chunks = semantic_splitter.split_text(text)

# Kiểm tra độ dài chunk không đồng đều — đó là hành vi mong đợi
lengths = [len(c) for c in semantic_chunks]
print(f"min={min(lengths)}, max={max(lengths)}, avg={sum(lengths)//len(lengths)}")

# Biến thể parent-child: index chunk nhỏ, trả về parent lớn
from langchain.retrievers import ParentDocumentRetriever
from langchain.storage import InMemoryStore
from langchain_community.vectorstores import Chroma

parent_splitter = RecursiveCharacterTextSplitter(chunk_size=1600)
child_splitter  = RecursiveCharacterTextSplitter(chunk_size=256)

retriever = ParentDocumentRetriever(
    vectorstore=Chroma(embedding_function=OpenAIEmbeddings()),
    docstore=InMemoryStore(),
    child_splitter=child_splitter,
    parent_splitter=parent_splitter,
)
retriever.add_documents(docs)
# Search dùng child chunk (precision cao), trả về parent chunk (context đủ)

Ứng dụng thực tế

• Trợ lý pháp lý:chunking Bộ luật theo điều/khoản rồi embed, cho phép luật sư hỏi nhanh "quy định hiện hành về thử việc?" và hệ thống trả về đúng điều khoản kèm số hiệu.
• Wiki nội bộ: chia Wiki công ty thành chunk, nhân viên mới tra cứu chính sách ngay trên Slack bot mà không cần lục từng trang Confluence.
• Y tế: chunking hồ sơ bệnh án + guidelines để hỗ trợ bác sĩ rà soát nhanh (luôn đi kèm audit trail và trích dẫn nguồn để tránh rủi ro pháp lý).
• Nghiên cứu học thuật: chunking paper PDF, cho phép Semantic Scholar trả lời câu hỏi cụ thể thay vì chỉ list paper — chunk theo section (Abstract, Methods, Results).
• Ngân hàng:chunking hợp đồng tín dụng + T&C; khi khách hỏi điều khoản, chatbot trích đúng đoạn và số điều, kèm confidence score.
• E-commerce:chunking mô tả sản phẩm + review để xây dựng semantic search cho website — khách tìm "áo khoác chống nước đi phượt" sẽ trúng đúng sản phẩm.
• Giáo dục:chunking giáo trình, bài giảng để xây tutor AI — học sinh hỏi "định lý Pythagoras áp dụng thế nào?", bot trích đúng ví dụ trong sách giáo khoa.

Các pitfall hay gặp

• Đặt chunk_size bằng đơn vị ký tự nhưng embedding model tính theo token → chunk thực có thể vượt max_seq_length mà không hay.
• Quên metadata (nguồn, section, page) → không trích được nguồn khi trả lời, giảm tin cậy.
• Overlap quá lớn (> 40%) làm vector database phình to và chunk trùng lặp khi retrieve.
• Chunking 1 lần rồi giữ nguyên cả đời; thực tế cần re-chunk khi đổi embedding model hoặc thêm loại tài liệu mới.
• Bỏ qua bảng, công thức, code block — các đoạn này cần chiến lược riêng (giữ nguyên khối, không cắt).