Reasoning Models

Mô hình suy luận (Reasoning Models) như o1/o3 (OpenAI), DeepSeek-R1 và Claude với extended thinking là một paradigm mới: tăng test-time compute (compute tại thời điểm inference) thay vì chỉ tăng training compute. Cốt lõi là sinh chuỗi chain-of-thought nội bộ, rất dài (hàng nghìn đến hàng chục nghìn tokens), trước khi xuất đáp án cuối. DeepSeek-R1 còn được train bằng GRPO — một biến thể PPO không cần critic.

Định nghĩa hình thức. Gọi x là prompt,y là đáp án cuối, z là thinking trace ẩn. LLM thường mô hình:

Reasoning model mô hình có biến ẩn trung gian:

Trong thực tế, thay vì cộng tất cả z, model sample một z bằng autoregressive decoding (có thể hàng nghìn token), rồi condition y trên cả x và z. Khi z đủ dài và đúng hướng, p(y | x, z) chính xác hơn nhiều so với p(y | x) trực tiếp.

Scaling laws cũ vs mới. Trục scaling thứ hai là một trong những phát hiện lớn nhất của o1:

Cơ chế cốt lõi. Bốn "thao tác nhận thức" mà thinking trace cho phép:

• Decomposition: chia bài lớn thành bài con — giải hệ → đặt biến → viết phương trình → thế → rút.
• Self-verification: kiểm tra đáp án vừa tính ngược trở lại các ràng buộc ban đầu.
• Backtracking: phát hiện mâu thuẫn → thử hướng khác thay vì ép đưa ra đáp án sai.
• Analogical reasoning: nhận ra bài này giống một bài khác đã biết → áp dụng công thức / strategy tương tự.

Training pipeline tiêu biểu.

Bước 1: SFT trên corpus thinking trace (có thể từ expert, distilled từ model mạnh, hoặc R1-Zero style — không có SFT, chỉ RL từ base). Bước 2: RL với PRM/ORM — model tự khám phá chiến lược mới, xuất hiện hành vi phản xạ như "wait", "let me check", v.v.

Code mẫu 1 — Claude extended thinking API.

# pip install anthropic
import anthropic

client = anthropic.Anthropic()

# Standard — trả lời nhanh
standard = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Giải hệ: x+y+z=120; 35x+42y+38z=4620; y=x+z"}
    ],
)
# Latency ~1s, cost ~$0.01

# Extended thinking — bật thinking budget
reasoning = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=16000,
    thinking={
        "type": "enabled",
        "budget_tokens": 10000,  # tối đa 10K thinking tokens
    },
    messages=[
        {"role": "user", "content": "Giải hệ: x+y+z=120; 35x+42y+38z=4620; y=x+z"}
    ],
)
# Latency ~15s, cost ~$0.30
# Accuracy trên bài logic: 95% vs 55%

# Inspect thinking
for block in reasoning.content:
    if block.type == "thinking":
        print("THINKING:", block.thinking[:200], "...")
    elif block.type == "text":
        print("ANSWER:", block.text)

# Tip: dùng stream=True để xem thinking trực tiếp
# Tip: thinking budget càng cao, accuracy càng tăng (đến một ngưỡng)

Code mẫu 2 — Routing thông minh. Trong production, routing là đòn bẩy chi phí lớn nhất. Ví dụ heuristic đơn giản phân loại câu hỏi cần reasoning hay không:

import re
from openai import OpenAI

client = OpenAI()

REASONING_TRIGGERS = [
    r"\bprove\b", r"\bchứng minh\b", r"\bgiải hệ\b",
    r"thuật toán", r"độ phức tạp", r"logic",
    r"\d+\s*[+\-*/]\s*\d+",  # có biểu thức số học
    r"bước", r"tại sao",
]

def needs_reasoning(prompt: str) -> bool:
    """Heuristic: bật reasoning nếu câu hỏi có tín hiệu phân tích."""
    low = prompt.lower()
    score = sum(1 for pat in REASONING_TRIGGERS if re.search(pat, low))
    return score >= 2 or len(prompt) > 400

def answer(prompt: str) -> str:
    if needs_reasoning(prompt):
        # Câu khó → reasoning model
        resp = client.chat.completions.create(
            model="o1-mini",  # hoặc "o3-mini", "deepseek-reasoner"
            messages=[{"role": "user", "content": prompt}],
            # o-series không hỗ trợ system prompt & temperature
        )
    else:
        # Câu dễ → fast model
        resp = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.3,
        )
    return resp.choices[0].message.content

# Trong thực tế: thay regex heuristic bằng classifier
#   (embedding → logistic regression) để chính xác hơn.

Trong thực tế — ứng dụng:

• Toán olympic và PhD-level science: AIME, IMO, GPQA Diamond. Reasoning models đạt mức top student.
• Coding contests: o3 đã đạt điểm gần vàng trên Codeforces, R1 xếp hạng cao trên LiveCodeBench.
• Agent planning: chia mục tiêu lớn thành subgoal, lên kế hoạch nhiều bước, tự kiểm tra tiến độ.
• Legal / medical diagnostics: phân tích dài với nhiều ràng buộc, cần truy vết logic.

Khi nào KHÔNG dùng:

• Câu hỏi factual đơn giản — Q&A, trivia, ngày tháng, định nghĩa.
• Summarization, translation, style transfer — không cần phân tích nhiều bước.
• Latency SLA khắt khe (< 2s) — reasoning model thường mất 10–60s.
• Streaming UX cần token đầu tiên nhanh — thinking làm TTFT (time to first token) tăng 10–100×.

Tương lai gần: kỳ vọng thấy router thông minh hơn (model tự quyết định bật thinking khi nào), thinking có thể "stream" để giảm latency cảm nhận, và các open-weight reasoning models (Qwen-Reasoning, Llama-Reasoning) sẽ khép khoảng cách với o-series.