BERT

# Cài: pip install transformers torch
from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

# Tải mô hình tiếng Việt tiền huấn luyện
name = "vinai/phobert-base"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForMaskedLM.from_pretrained(name)

# Che một từ trong câu để BERT đoán lại
text = "Hà Nội là thủ đô của <mask>"
inputs = tokenizer(text, return_tensors="pt")

# Tìm vị trí của token [MASK]
mask_idx = (inputs.input_ids == tokenizer.mask_token_id).nonzero(as_tuple=True)[1]

# Chạy forward pass (không tính gradient)
with torch.no_grad():
    logits = model(**inputs).logits

# Lấy top-5 token dự đoán ở vị trí mask
top5 = logits[0, mask_idx].topk(5, dim=-1).indices[0]
for tid in top5:
    print(tokenizer.decode([tid]).strip())
# Kỳ vọng: Việt_Nam, Đông_Dương, Đông_Á, ...

from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    Trainer,
    TrainingArguments,
)
from datasets import load_dataset

# Dữ liệu review phim tiếng Việt (vd uit-vsfc, vlsp)
ds = load_dataset("uit-nlp/vietnamese_students_feedback")

# Khởi tạo tokenizer và mô hình, num_labels=3 (neg/neu/pos)
tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
model = AutoModelForSequenceClassification.from_pretrained(
    "vinai/phobert-base", num_labels=3
)

# Hàm tiền xử lý: tokenize + padding
def preprocess(batch):
    return tok(batch["sentence"], truncation=True, padding="max_length", max_length=128)

ds = ds.map(preprocess, batched=True)
ds = ds.rename_column("sentiment", "labels")

# Cấu hình huấn luyện (lr nhỏ, ít epoch — đặc trưng fine-tune)
args = TrainingArguments(
    output_dir="./out",
    num_train_epochs=3,
    per_device_train_batch_size=16,
    learning_rate=2e-5,
    weight_decay=0.01,
    evaluation_strategy="epoch",
)

trainer = Trainer(model=model, args=args, train_dataset=ds["train"], eval_dataset=ds["validation"])
trainer.train()
# Sau 3 epoch thường đạt ~88% accuracy trên test set

from transformers import AutoTokenizer, AutoModel
import torch

# Tải mô hình PhoBERT
tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
model = AutoModel.from_pretrained("vinai/phobert-base")
model.eval()

def embed(sentences):
    """Trả về vector 768 chiều cho mỗi câu (mean-pooled)."""
    enc = tok(sentences, padding=True, truncation=True, return_tensors="pt", max_length=128)
    with torch.no_grad():
        out = model(**enc).last_hidden_state  # (B, T, 768)
    # Mean pooling, bỏ qua padding
    mask = enc.attention_mask.unsqueeze(-1)  # (B, T, 1)
    pooled = (out * mask).sum(1) / mask.sum(1)
    return torch.nn.functional.normalize(pooled, dim=-1)

queries = ["sông nào chảy qua Huế?", "thủ đô của Việt Nam"]
docs = ["Sông Hương chảy qua thành phố Huế",
        "Hà Nội là thủ đô của Việt Nam",
        "Sài Gòn là thành phố lớn nhất"]

qv = embed(queries)
dv = embed(docs)
scores = qv @ dv.T  # cosine similarity
print(scores.argmax(dim=1))  # tensor([0, 1]) — khớp đúng!