# Analytics & Optimization — Đo lường và cải tiến liên tục

> **Tóm tắt:** "What gets measured gets improved." Tài liệu này mô tả hệ thống đo lường performance AI, A/B testing prompt, và feedback loop tự động để chatbot càng ngày càng thông minh hơn.

---

## 1. Dashboard KPIs

### Metrics quan trọng nhất

| Metric | Công thức | Target | Cảnh báo |
|--------|----------|--------|----------|
| **Response Time** | P95 latency | < 2s | > 3s = chậm |
| **Resolution Rate** | Câu hỏi AI trả lời được / tổng | > 85% | < 70% = có bug |
| **Conversion Rate** | Số đơn / số chat sessions | > 10% | < 5% = prompt cần sửa |
| **Hallucination Rate** | Số lần bịa / tổng responses | < 2% | > 5% = critical |
| **Customer Satisfaction** | CSAT score (1-5) | > 4.2 | < 3.5 = cần sửa gấp |
| **Cost per Chat** | Tổng API cost / số sessions | < 2,000 VNĐ | > 5,000 VNĐ = tối ưu model |

### Metrics theo Mode

| Mode | Metric riêng | Target |
|------|-------------|--------|
| BROWSE | % chuyển sang IDENTIFYING | > 40% |
| IDENTIFYING | Số câu hỏi trung bình để đủ Insight | < 3 câu |
| CONSIDERING | % gọi ProductSearch thành công | > 90% |
| CLOSING | % chốt đơn thành công | > 30% |
| RETENTION | % khách quay lại trong 30 ngày | > 20% |

---

## 2. Langfuse Integration — Tracing & Observability

### Mỗi chat session được trace:

```
Session abc-123
├── Classifier (50ms) → intent=product_search, mode=CONSIDERING
│   ├── tokens_in: 450
│   └── tokens_out: 120
├── Tool: ProductSearch (200ms) → 5 products found
├── Tool: StockCheck (100ms) → 3 in stock
├── Stylist (800ms) → response generated
│   ├── tokens_in: 1200
│   └── tokens_out: 350
└── Enrichment (50ms) → 3 products enriched with real price/image
    Total: 1200ms | Cost: $0.003
```

### Alert Rules

| Condition | Alert | Channel |
|-----------|-------|---------|
| P95 latency > 3s | 🔴 Performance | Slack #alerts |
| Hallucination detected | 🔴 Critical | Slack + Email |
| Classifier accuracy < 85% | 🟡 Warning | Slack #ai-ops |
| Daily cost > budget | 🟡 Warning | Slack + Dashboard |

---

## 3. A/B Testing Prompts

### Quy trình test prompt mới

```
1. Viết prompt variant B
2. Deploy song song: 50% traffic → A, 50% → B
3. Chạy 3-7 ngày
4. So sánh metrics: Conversion, CSAT, Latency, Cost
5. Winner → promote to 100%
```

### Ví dụ A/B test thực tế

| | Prompt A (hiện tại) | Prompt B (thử) |
|---|---|---|
| **Thay đổi** | "Bạn là AI Stylist thân thiện" | "Bạn là chuyên gia thời trang, tư vấn như bạn thân" |
| **Conversion** | 8.2% | **11.5%** ✅ |
| **CSAT** | 4.1 | **4.4** ✅ |
| **Cost** | $0.003/chat | $0.003/chat (bằng nhau) |
| **Kết luận** | — | **Winner → Deploy** |

---

## 4. Feedback Loop — Tự cải tiến

### Vòng lặp học tập

```
Khách phản hồi  ──→  [Classify feedback type]  ──→  [Auto-Train System]
    │                                                       │
    │  "Bot nói sai giá"  → Bug report → Fix Enrichment    │
    │  "Bot hơi lạnh"     → Tone issue → Sửa Stylist prompt │
    │  "Tìm không ra SP"  → Search miss → Review Cascading  │
    │                                                       │
    └──────────────────←──  Updated prompt/logic  ←─────────┘
```

### Phân loại feedback tự động

| Loại | Keyword | Auto-action |
|------|---------|-------------|
| **Price Error** | "sai giá", "giá khác" | Alert + check Enrichment |
| **Tone Issue** | "lạnh quá", "robot quá" | Queue for prompt review |
| **Search Miss** | "không thấy", "tìm không ra" | Log + review search params |
| **Hallucination** | "bịa", "không có SP này" | 🔴 Critical alert |
| **Positive** | "hay", "giỏi", "cảm ơn" | Track + celebrate |

---

## 5. Cost Optimization

| Kỹ thuật | Savings | Cách làm |
|---------|---------|----------|
| **Early Exit** | -40% cost | Câu chào → trả lời ngay, không qua Stylist |
| **Model tiering** | -50% cost | Classifier dùng Flash (rẻ), Stylist dùng Sonnet (đắt hơn nhưng chỉ khi cần) |
| **Semantic Cache** | -20% cost | Câu hỏi giống nhau → trả cache, không gọi LLM |
| **Prompt compression** | -15% tokens | InsightJSON thay chat history |
| **Batch processing** | -10% cost | n8n workflows chạy batch giờ thấp điểm |

---

## References

1. Langfuse Documentation — *"Tracing & Evaluation for LLM Apps"*
2. Google (2024) — *"A/B Testing for AI Systems"*
3. Canifa Engineering — Auto-Train feedback pipeline
