Bag of Words

Định nghĩa và lịch sử: từ Harris đến sklearn

Bag of Words (BoW) là phương pháp biểu diễn văn bản dưới dạng vector đếm tần suất của từng từ trong một từ vựng cố định V, bỏ qua hoàn toàn thứ tự xuất hiện. Đây là baseline điển hìnhvà đồng thời là "cánh cửa" đưa văn bản vào thế giới toán học của Machine Learning.

Ý tưởng "bag of words" bắt nguồn từ bài báo Distributional Structure (1954) của nhà ngôn ngữ học Zellig Harris, với nguyên lý "các từ xuất hiện trong bối cảnh tương tự nhau có xu hướng cùng nghĩa". Đến thập niên 1970, BoW trở thành mô hình chuẩn trong Information Retrieval — hệ thống tìm kiếm SMART của Gerard Salton (1971) và sau đó TF-IDF (Spärck Jones, 1972) là các cột mốc lớn.

Ngày nay, mỗi khi bạn gọi sklearn.feature_extraction.text.CountVectorizer, bạn đang dùng thuật toán này gần như nguyên vẹn sau 70 năm. Dù các mô hình transformer đã vượt xa, BoW vẫn là baseline bắt buộc và cực kỳ cạnh tranh trong nhiều bài toán phân loại văn bản.

Công thức toán học

Cho từ vựng $V = \{w_1, w_2, \ldots, w_{|V|}\}$, mỗi tài liệu d được biểu diễn bằng vector:

Trong đó $c(w_i, d)$ là số lần từ $w_i$ xuất hiện trong d. Độ tương đồng giữa hai tài liệu dùng cosine:

Cài đặt với scikit-learn (CodeBlock #1)

Đây là ví dụ đầy đủ: đọc corpus tiếng Việt, xây BoW, so sánh cosine similarity giữa query và 3 tài liệu.

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Corpus tiếng Việt (3 tài liệu)
docs = [
    "phở ngon tuyệt vời phở rất ngon quán đẹp phục vụ nhanh",
    "giao hàng nhanh sản phẩm tốt đóng gói đẹp rất hài lòng",
    "dở tệ không ngon dịch vụ tệ phục vụ chậm không hài lòng",
]

# CountVectorizer xây BoW
vectorizer = CountVectorizer(
    lowercase=True,
    token_pattern=r"\S+",   # tiếng Việt đã tokenize sẵn
    min_df=1,
    # ngram_range=(1, 2),   # bật bigram để bắt 'không_tốt'
)
X = vectorizer.fit_transform(docs)   # sparse matrix (3, |V|)

print("Kích thước vocab:", len(vectorizer.vocabulary_))
print("Shape:", X.shape, "| Sparsity:", 1 - X.nnz / np.prod(X.shape))

vocab = vectorizer.get_feature_names_out()
print("Vocab đầu:", vocab[:15])
print(X.toarray()[:, :15])

# Query & cosine similarity
query = "phở ngon phục vụ nhanh"
q_vec = vectorizer.transform([query])
sims = cosine_similarity(q_vec, X).flatten()
ranking = np.argsort(sims)[::-1]

print("\n=== Xếp hạng ===")
for rank, idx in enumerate(ranking, 1):
    print(f"#{rank}  sim={sims[idx]:.3f}  ← {docs[idx]}")

# Thử với bigram để bắt 'không tốt'
bigram_vec = CountVectorizer(token_pattern=r"\S+", ngram_range=(1, 2))
X_bigram = bigram_vec.fit_transform(docs)
print("\n|V| với bigram:", X_bigram.shape[1])

Chạy đoạn code trên bạn sẽ thấy: query "phở ngon phục vụ nhanh" tương đồng cao nhất với D1 (review quán phở) như kỳ vọng. Nhưng D3 (review tệ, cũng có "phục vụ") vẫn có cosine > 0 vì chia sẻ một vài từ chung — đó là hạn chế kinh điển của BoW không hiểu ngữ nghĩa.

Cài đặt tay không thư viện (CodeBlock #2)

Để chắc rằng mình hiểu từng bước, sau đây là cài đặt thuần Python — chính là thuật toán mà demo phía trên đang chạy. Độ phức tạp O(N · L) với L là độ dài trung bình của mỗi tài liệu.

from collections import Counter
from math import sqrt

def tokenize(text): return text.lower().strip().split()

def build_vocab(docs):
    vocab = set()
    for d in docs: vocab.update(tokenize(d))
    return sorted(vocab)

def vectorize(text, vocab):
    counts = Counter(tokenize(text))
    return [counts[w] for w in vocab]

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    na = sqrt(sum(x * x for x in a))
    nb = sqrt(sum(y * y for y in b))
    return 0.0 if na * nb == 0 else dot / (na * nb)

docs = [
    "phở ngon tuyệt vời phở rất ngon quán đẹp phục vụ nhanh",
    "giao hàng nhanh sản phẩm tốt đóng gói đẹp rất hài lòng",
    "dở tệ không ngon dịch vụ tệ phục vụ chậm không hài lòng",
]
vocab = build_vocab(docs)
X = [vectorize(d, vocab) for d in docs]
qv = vectorize("phở ngon phục vụ nhanh", vocab)

for i, row in enumerate(X, 1):
    print(f"D{i}: cos={cosine(qv, row):.3f}")

# Ma trận cosine NxN giữa các document
print("\nCosine matrix:")
for i, a in enumerate(X, 1):
    print(f"D{i}: {[f'{cosine(a, b):.2f}' for b in X]}")

Trên corpus này sklearn và cài tay cho kết quả giống nhau (vì tokenizer đơn giản). Khi chuyển sang corpus thật, sklearn thắng nhờ sparse matrix và tối ưu C-level — nhưng cài tay dạy bạn cách debug từng bước.

Ứng dụng thực tế

• Spam filter: Naive Bayes + BoW vẫn là backend chuẩn của nhiều hệ thống email filter — nhanh, rẻ, đủ tốt.
• Phân loại tin tức: Logistic Regression + BoW với bigram thường đạt 85-92% macro-F1 trên tiếng Việt 5 chủ đề.
• Phát hiện ngôn từ thù hằn (hate speech): TF-IDF + SVM vẫn là baseline cứng cho bài toán này ở Kaggle.
• Information Retrieval: Elasticsearch, Solr, Lucene đều dùng BoW + BM25 (một biến thể TF-IDF) để tính điểm.
• Feature extraction cho topic modeling: LDA (Latent Dirichlet Allocation) chạy trực tiếp trên ma trận BoW.

Những sai lầm điển hình (pitfalls)

• Dùng MultinomialNB trên BoW có giá trị âm — Naive Bayes yêu cầu counts ≥ 0.
• Bỏ stopword quá tay trong sentiment analysis — "không" là stopword nhưng cực kỳ quan trọng cho phủ định.
• Để max_features quá nhỏ với corpus lớn — mất hết từ có ý nghĩa.
• So sánh model có vocab khác nhau bằng chỉ số tuyệt đối — cosine chỉ có ý nghĩa khi vocab giống nhau.
• Quên dtype=np.float32: mặc định sklearn trả float64, tăng 2× bộ nhớ.

Từ BoW đến các mô hình hiện đại

BoW là tổ tiên của một cây phả hệ dài: TF-IDF (giảm trọng số từ phổ biến) → Word Embeddings (word2vec, GloVe — từ thành vector dày có nghĩa) → Attention → Transformer → BERT, GPT. Mỗi bước tiến đều giải quyết một hạn chế của BoW: TF-IDF giảm trọng số từ phổ biến, embeddings thêm ngữ nghĩa, transformer thêm ngữ cảnh và thứ tự.

Dù vậy, BoW vẫn xứng đáng là "bài học đầu tiên" của NLP: nó dạy bạn tư duy biến văn bản thành số, tư duy vector hóa, tư duy sparse matrix, và tư duy similarity. Mọi mô hình hiện đại đều kế thừa các ý tưởng này — chỉ là đổi cách đếm (count → embed → attend) và đổi không gian (sparse V-chiều → dense 768-chiều).