Instance Segmentation

# pip install detectron2 (xem hướng dẫn chính thức cho CUDA version)
import cv2
import numpy as np
from detectron2 import model_zoo
from detectron2.config import get_cfg
from detectron2.engine import DefaultPredictor
from detectron2.utils.visualizer import Visualizer, ColorMode
from detectron2.data import MetadataCatalog

# 1) Cấu hình Mask R-CNN + ResNet-50-FPN đã train trên COCO
cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file(
    "COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"
))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # ngưỡng confidence
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url(
    "COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"
)
# cfg.MODEL.DEVICE = "cpu"  # bỏ comment nếu không có GPU

predictor = DefaultPredictor(cfg)

# 2) Đọc ảnh và chạy inference
image = cv2.imread("duong_pho.jpg")
outputs = predictor(image)

# 3) Các trường quan trọng trong outputs["instances"]
instances = outputs["instances"].to("cpu")
print(f"Số instance phát hiện: {len(instances)}")
print(f"Class IDs: {instances.pred_classes.tolist()}")
print(f"Scores: {instances.scores.tolist()}")
print(f"Boxes shape: {instances.pred_boxes.tensor.shape}")   # (N, 4) xyxy
print(f"Masks shape: {instances.pred_masks.shape}")           # (N, H, W) bool

# 4) Visualize: mỗi instance một màu riêng
metadata = MetadataCatalog.get(cfg.DATASETS.TRAIN[0])
v = Visualizer(
    image[:, :, ::-1],             # BGR → RGB
    metadata=metadata,
    scale=1.0,
    instance_mode=ColorMode.IMAGE, # màu riêng cho từng instance
)
vis = v.draw_instance_predictions(instances)
cv2.imwrite("ket_qua.jpg", vis.get_image()[:, :, ::-1])

# 5) Trích xuất mask nhị phân cho instance đầu tiên
if len(instances) > 0:
    mask_0 = instances.pred_masks[0].numpy()   # bool array (H, W)
    # Ví dụ: tính diện tích mask, lấy contour, apply vào ảnh gốc
    area_px = int(mask_0.sum())
    print(f"Instance #0: diện tích {area_px} pixel")

# pip install git+https://github.com/facebookresearch/segment-anything.git
import cv2
import numpy as np
from segment_anything import sam_model_registry, SamPredictor

# 1) Load SAM ViT-H (checkpoint ~2.4GB)
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to("cuda")  # hoặc "cpu"
predictor = SamPredictor(sam)

# 2) Set image (chạy image encoder 1 lần, cache feature)
image = cv2.imread("duong_pho.jpg")
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
predictor.set_image(image_rgb)

# 3) Prompt 1: click vào tâm xe máy
input_point = np.array([[200, 300]])     # (x, y)
input_label = np.array([1])              # 1 = foreground, 0 = background

masks, scores, logits = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    multimask_output=True,               # trả về 3 mask ứng viên
)

best_idx = int(np.argmax(scores))
best_mask = masks[best_idx]              # (H, W) bool
print(f"Mask tốt nhất: score={scores[best_idx]:.3f}")

# 4) Prompt 2: bounding box (khi bạn đã có box từ model khác)
input_box = np.array([150, 200, 350, 400])   # xyxy
masks_from_box, _, _ = predictor.predict(
    box=input_box,
    multimask_output=False,
)

# 5) Kết hợp nhiều click (refinement)
input_point = np.array([[200, 300], [220, 310]])
input_label = np.array([1, 1])               # cả 2 là foreground
refined_masks, refined_scores, _ = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    multimask_output=False,
)

# 6) Automatic mask generation — phân đoạn MỌI đối tượng trong ảnh
from segment_anything import SamAutomaticMaskGenerator
mask_gen = SamAutomaticMaskGenerator(sam)
auto_masks = mask_gen.generate(image_rgb)
print(f"SAM tìm được {len(auto_masks)} mask tự động")
for i, m in enumerate(auto_masks[:5]):
    print(f"  #{i}: area={m['area']}, score={m['predicted_iou']:.2f}")