Model Pruning

import torch.nn.utils.prune as prune

# Unstructured pruning. xoá 50% trọng số nhỏ nhất
prune.l1_unstructured(model.layer1, name="weight", amount=0.5)

# Structured pruning. xoá 30% filter kém quan trọng nhất
prune.ln_structured(model.conv1, name="weight", amount=0.3, n=2, dim=0)

# Quy trình: Train → Prune → Fine-tune → (Lặp lại)
for round in range(3):
    train(model, epochs=5)           # Fine-tune phục hồi
    prune.l1_unstructured(model, amount=0.3)  # Cắt thêm