Fine-tuning vs Prompting

# Pipeline đề xuất: leo thang từ rẻ đến đắt
# Mỗi bước đều đo trên cùng 1 eval set để so sánh công bằng

from anthropic import Anthropic
from my_eval import evaluate_on_eval_set

client = Anthropic()

# ─── Bước 1: Zero-shot ───
def zero_shot(sample):
    return client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=500,
        messages=[{
            "role": "user",
            "content": f"Phân loại sentiment: {sample['input']}"
        }]
    )

score_zero = evaluate_on_eval_set(zero_shot)
print(f"Zero-shot: {score_zero:.1%}")

# ─── Bước 2: Few-shot (nếu zero-shot chưa đủ) ───
FEW_SHOT_EXAMPLES = [
    {"input": "Giao hàng chậm quá!", "label": "negative"},
    {"input": "Phở ngon tuyệt!", "label": "positive"},
    {"input": "Giá tầm trung, chất lượng ổn.", "label": "neutral"},
]

def few_shot(sample):
    examples = "\n".join(
        f"Input: {e['input']}\nOutput: {e['label']}"
        for e in FEW_SHOT_EXAMPLES
    )
    prompt = f"{examples}\n\nInput: {sample['input']}\nOutput:"
    return client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=50,
        messages=[{"role": "user", "content": prompt}]
    )

score_few = evaluate_on_eval_set(few_shot)
print(f"Few-shot: {score_few:.1%}")

# ─── Bước 3: RAG (nếu cần kiến thức external) ───
# ... (pipeline chunking + embedding + retrieval)

# ─── Bước 4: LoRA (nếu vẫn chưa đủ) ───
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, Trainer

base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B")
peft_config = LoraConfig(
    r=16,             # rank thấp
    lora_alpha=32,    # scaling
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)
model = get_peft_model(base_model, peft_config)
# Chỉ ~0.3% tham số được train!

# trainer.train() với dataset 500-2000 ví dụ
# Sau đó lưu adapter (chỉ vài MB)

# ─── Bước 5: Full fine-tune (cuối cùng) ───
# Chỉ khi các bước trên KHÔNG đạt yêu cầu VÀ có 10k+ ví dụ chất lượng

# Tính toán TCO (Total Cost of Ownership) để chọn chiến lược
# Input: volume dự kiến, chi phí setup, chi phí mỗi request

def total_cost(strategy, monthly_requests, months=12):
    if strategy == "prompting":
        setup = 0
        per_request = 0.01  # USD, prompt dài
    elif strategy == "rag":
        setup = 500  # vector DB setup
        per_request = 0.012  # embedding + LLM
    elif strategy == "lora":
        setup = 500  # train LoRA
        per_request = 0.006  # prompt ngắn hơn
    elif strategy == "full-ft":
        setup = 10000  # full training
        per_request = 0.006
    else:
        raise ValueError(f"Unknown: {strategy}")

    return setup + per_request * monthly_requests * months

# Ví dụ:
for volume in [1_000, 100_000, 10_000_000]:
    print(f"\nVolume: {volume:,}/month")
    for s in ["prompting", "rag", "lora", "full-ft"]:
        cost = total_cost(s, volume)
        print(f"  {s:12} = ${cost:>12,.0f}")

# Output tiêu biểu:
# Volume: 1,000/month — prompting rẻ nhất ($120)
# Volume: 100,000/month — LoRA bắt đầu cạnh tranh
# Volume: 10,000,000/month — Full FT rẻ nhất về tổng thể