Quay lại trang chủ9/9 trong danh mục
Orchestration (LangChain, LlamaIndex)
Điều phối — Nhạc trưởng của hệ thống AI
Nâng caoai-agents
1Dự đoán1/8
Hệ thống có 5 Agent, 10 công cụ, 3 database. Agent A cần kết quả Agent B trước khi chạy. Agent C và D chạy song song. Ai quản lý tất cả?
2Khám phá2/8
Hình minh họa
Kiến trúc Orchestration
Tầng điều phối kết nối agents, tools, và dịch vụ.
Frameworks phổ biến:
LangGraph
Graph-based workflow. Nodes = actions, edges = transitions. Stateful, flexible.
3Khoảnh khắc aha3/8
Orchestration không phải thêm 1 layer phức tạp — nó là thứ biến hỗn loạn thành trật tự. Không có nhạc trưởng, 50 nhạc công chơi 50 bản khác nhau. Có nhạc trưởng, cùng 50 nhạc công tạo nên giao hưởng hoàn hảo. Khi mỗi agent chạy vòng lặp ReAct riêng và cả hệ multi-agent cần phối hợp, orchestration quyết định ai làm gì, khi nào, theo thứ tự nào, và xử lý ra sao khi có lỗi.
4Thử thách4/8
Workflow: A → B → C. Bước B thất bại 3 lần liên tiếp. Orchestrator nên làm gì?
5Lý thuyết5/8
Giải thích
Orchestration là tầng quản lý cấp cao, đảm nhận 4 nhiệm vụ:
- Routing: Xác định Agent/tool nào xử lý mỗi bước. Có thể dùng LLM router hoặc rule-based.
- State Management: Theo dõi tiến trình: đang ở bước nào, kết quả trung gian là gì, checkpoint để resume.
- Error Handling: Retry → fallback → escalate. Timeout cho mỗi bước. Circuit breaker cho service lỗi.
- Resource Optimization: Song song hoá bước độc lập, rate limiting cho API, cost tracking.
orchestration.py
from langgraph.graph import StateGraph
# LangGraph: graph-based orchestration
graph = StateGraph(AgentState)
# Nodes = actions
graph.add_node("research", research_agent)
graph.add_node("code", coding_agent)
graph.add_node("review", review_agent)
# Edges = transitions (có thể conditional)
graph.add_edge("research", "code")
# Conditional routing: review pass → END, fail → code
graph.add_conditional_edges(
"review",
lambda state: "end" if state["approved"] else "code",
{"end": END, "code": "code"},
)
# Compile và chạy
app = graph.compile()
result = app.invoke({"task": "Viết API endpoint"})Graph vs Chain vs Agent-based
Chain: A → B → C (cố định, đơn giản). Agent-based: LLM tự quyết bước tiếp (linh hoạt, khó kiểm soát). Graph: nodes + conditional edges (cân bằng — linh hoạt VÀ kiểm soát được). LangGraph là trend 2024-2025.
6Tóm tắt6/8
Những điều cần nhớ về Orchestration
- 4 nhiệm vụ: Routing (ai xử lý?), State (đang ở đâu?), Error Handling (fail thì sao?), Resource (tối ưu chi phí/tốc độ).
- Graph-based (LangGraph): nodes = actions, edges = transitions. Hỗ trợ branching, looping, conditional — linh hoạt hơn chain.
- Error strategy: retry (có limit) → fallback (plan B) → escalate (human). Checkpoint để resume từ bước cuối thành công.
- Frameworks: LangGraph (graph), CrewAI (role-based), AutoGen (conversation). Chọn theo use case.
7Kiểm tra7/8
Kiểm tra hiểu biết
Câu 1/4
Tầng orchestration giải quyết vấn đề gì mà Agent đơn lẻ không xử lý được?