Trustworthy Language Models

# Đo confidence bằng self-consistency
import openai

def get_confidence(question: str, n_samples: int = 5):
    """Chạy n_samples lần, đếm tỷ lệ nhất quán"""
    answers = []
    for _ in range(n_samples):
        response = openai.chat.completions.create(
            model="gpt-4",
            messages=[{"role": "user", "content": question}],
            temperature=0.7,  # Cho phép đa dạng
        )
        answers.append(response.choices[0].message.content)

    # Đếm câu trả lời phổ biến nhất
    from collections import Counter
    most_common = Counter(answers).most_common(1)[0]
    consistency = most_common[1] / n_samples

    return {
        "answer": most_common[0],
        "confidence": consistency,
        "n_samples": n_samples,
        "all_answers": answers,
    }

# Ví dụ
result = get_confidence("Thủ đô Việt Nam là gì?")
# confidence ~1.0 (tất cả 5 lần đều trả lời "Hà Nội")

result = get_confidence("AI có ý thức không?")
# confidence ~0.4 (câu trả lời khác nhau mỗi lần)