Skip to content

C
chatbot-canifa-feedback
Commit 42963a54 authored by Vũ Hoàng Anh's avatar Vũ Hoàng Anh
Browse files
Options

refactor: clean up test scripts, dead code, and temporary files

parent 2b624706
Hide whitespace changes
Inline Side-by-side
Showing with 362 additions and 5548 deletions
.agent/workflows/auto-tdd-sandbox.md deleted 100644 → 0
View file @ 2b624706
---
name: "TDD Auto-Sandbox Loop"
description: "Vòng lặp tự động hóa việc phát triển tính năng bằng cách viết Script thử nghiệm (Test-Driven Sandbox), cho AI tự chạy, tự đọc lỗi, tự sửa code đến khi đầu ra chuẩn 100% trước khi ghép vào ứng dụng chính."
---
# TDD Auto-Sandbox Loop (Vòng lặp Tự Động Thử Nghiệm)
Sử dụng workflow này khi User yêu cầu: **"Xây dựng một tính năng mới", "Kiểm tra và sửa lỗi logic", "Tạo luồng kết nối DB mới (chọc SQL)"**, hoặc User trực tiếp gọi lệnh `/auto-tdd`.
## MỤC TIÊU
- TUYỆT ĐỐI KHÔNG sửa file API lõi (`router.py`, `engine.py`,...) ngay lập tức để tránh làm "chết" server hoặc sập Production.
- Mô phỏng và chạy thử nghiệm mọi logic mới hoàn toàn độc lập trong thư mục Sandbox (`backend/scripts/`).
- Tận dụng khả năng "chữa lành" (self-healing) của AI: Tự chạy script -> Tự đọc lỗi -> Tự fix code -> Lặp lại đến khi kết quả Data (Output) chính xác tuyệt đối.
- Chỉ "Cấy" (Inject) code vào Source chính khi User đã xác nhận hoặc Output Sandbox đã đạt 100% tỉ lệ thành công.
---
## 🛠 CÁC BƯỚC THỰC HIỆN BẮT BUỘC
### Bước 1: Phân tích & Viết Script Rác (Sandbox Setup)
1. Xác định rõ Input (Đầu vào) và Expected Output (Kết quả mong muốn) của User.
2. Tạo 1 file Python độc lập trong thư mục `backend/scripts/` có tên phản ánh tính năng.
*(Ví dụ: `backend/scripts/test_fetch_stock_logic.py`, `backend/scripts/scratch_sql_query.py`)*
3. Setup file này sao cho nó **có thể tự chạy được (`__main__`)**, tự import các common function, DB connections cần thiết từ hệ thống, và trả log kết quả ra cửa sổ Console (sử dụng in mã UTF-8 bằng `sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')`).
### Bước 2: Kích hoạt Vòng Lặp Chữa Lành (Self-Healing Auto-Run)
- **// turbo-all**
1. AI sử dụng công cụ Tự chạy Command (Terminal) để thực thi file python rác vừa tạo.
2. **KẾT QUẢ > LỖI (Exception/Syntax Error):** AI đọc Terminal Error -> Hiểu nguyên nhân -> Tự sửa lại file Test -> Chạy lệnh lại.
3. **KẾT QUẢ > SAI LOGIC (Data rác, không map đúng Rule):** AI phân tích Output thực tế vs Output kì vọng -> Tìm hiểu Rule hệ thống -> Tự sửa lại file Test -> Chạy lệnh lại.
4. Quá trình này **không cần sự can thiệp của User**, AI liên tục chạy lệnh và fix đến khi nào màn hình kết quả Terminal (Data in ra) đúng 100% logic.
### Bước 3: Show kết quả cho User Duyệt
- Sau khi có cái "Mộc xanh" trên Terminal (Output chuẩn).
- AI chụp (hoặc copy paste) cái Output Terminal đó gửi cho User kèm lời báo cáo: *"Script đã chạy thành công, log data chuẩn. Bro check xem ưng ý chưa để tôi cấy vào hệ thống chính?"*
- Nếu User OK -> Lên Bước 4.
- Nếu User muốn điều chỉnh -> Lại vòng về Bước 2.
### Bước 4: Cấy Ghép Vào Hệ Thống (Production Injection)
- Mở file hệ thống lõi (ví dụ: `worker/stylist_engine.py`, `api/router.py`).
- Triển khai chức năng đã TEST THÀNH CÔNG từ file Sandbox vào hàm chuẩn.
- Lưu ý khi cấy phải giữ nguyên toàn bộ chuẩn biến số của hàm hiện tại.
- Xóa các lệnh in rác (`print`) ở Sandbox và thay bằng `logger.info()` chuẩn.
### Bước 5: Cleanup & Commit
- Cleanup code thừa, chuyển file rác trong `scripts/` về trạng thái đọc tắt comment nếu cần thiết (hoặc đổi tên thành `archive_...` nếu Task yêu cầu luỹ kế) để giữ gọn Project backend.
## ⚠️ QUY TẮC SỐNG CÒN CỦA WORKFLOW
- **CHẶN SỬA MÙ:** Cấm sửa trực tiếp hệ thống logic vòng lặp lớn (như thuật toán Fashion Stylist Engine) khi chưa chạy Test Script Sandbox để kiểm chứng 1 input nhỏ lẻ!
- **ENCODING LUÔN LUÔN UTF-8:** Database Canifa chứa rất nhiều Tiếng Việt có dấu, khi in `print()` ra Windows Powershell thường bị lỗi charmap. Phải cài cắm header cho file Sandbox:
```python
import sys, io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
```
- **TỰ CHỦ ĐỘNG:** Đừng rụt rè gõ ra để hỏi User là lỗi này phải sửa sao. Dùng Tool `run_command` fix liên tục cho đến khi gõ chạy Terminal ngon êm ru nhé!
.agent/workflows/backend-junk-cleanup.md deleted 100644 → 0
View file @ 2b624706
---
description: Vòng lặp Dọn dẹp Rác Backend - Tự động quét và gom nhóm các file log, scratch script, temp output vào đúng thư mục chuẩn.
---
# Backend Junk Cleanup Workflow (Dọn Rác)
**CONCEPT:** Workflow này dùng để ra lệnh cho AI (như tao) tự động dọn dẹp các thư mục làm việc, đặc biệt là thư mục `backend`, tránh việc xả rác file tạm, file log và script nháp lung tung.
## CÁC BƯỚC THỰC HIỆN
### 🧹 Bước 1: Quét và Định vị Rác
Sử dụng tool `list_dir` để soi thư mục Root của `backend` (hoặc thư mục được chỉ định). Hãy tìm các loại file sau:
1. **Scratch Scripts:** Các file Python bắt đầu bằng `scratch_`, `test_`, `eval_`, `dump_`... (chỉ dùng để test nháp 1 lần).
2. **Output/Logs:** Các file `*.json`, `*.txt` do AI/Agent nhả ra trong lúc test (vd: `response.json`, `audit_out.txt`, `log.txt`).
3. **Runners:** Các file script điều khiển như `run.txt`, `*.sh`, `*.ps1`.
### 📂 Bước 2: Tạo cấu trúc thư mục Scripts chuẩn
Nếu chưa có, hãy tạo cấu trúc thư mục sau bên trong `backend/`:
- `scripts/`
- `scripts/scratch/` (để chứa các đoạn code test/nháp)
- `scripts/outputs/` (để chứa các file log, json output rác)
### 🚚 Bước 3: Di chuyển file
Sử dụng tool `run_command` (với lệnh PowerShell) để dọn dẹp:
1. **Move** tất cả file thuộc nhóm **Scratch Scripts** vào `scripts/scratch/`.
2. **Move** tất cả file thuộc nhóm **Output/Logs** vào `scripts/outputs/`.
3. **Move** tất cả **Runners** vào `scripts/` (trừ khi nó cần nằm ở ngoài phục vụ Docker thì giữ lại 1 bản).
> [!WARNING] Cẩn thận rác thật với hàng xịn
> Tuyệt đối không chạm vào các file cấu hình quan trọng như `.env`, `requirements.txt`, `server.py`, `worker.py`, hay `config.py`.
### ✅ Bước 4: Kiểm tra lại (Verification)
Chạy lại lệnh `ls` hoặc `list_dir` trong thư mục gốc.
Nếu chỉ còn lại các file chính thức yếu nhân của server, hãy thông báo: "🎉 Chúc mừng bro, nhà đã sạch bóng!"
.agent/workflows/cucu_note_e2e_loop.md deleted 100644 → 0
View file @ 2b624706
---
name: CuCu Note Full Feature E2E & DB Migration Loop
description: An autonomous workflow for the AI Agent to test all features of CuCu Note using the Browser tool, apply surgical code fixes, and run SQLite migrations where necessary.
---
# Mục tiêu chung
Thực hiện chạy kiểm thử "End-to-End" toàn bộ các tính năng của `CuCu Note` bằng cách thao tác trực tiếp trên giao diện Browser (sử dụng Browser Tool của Agent). Nếu phát hiện lỗi, Agent sẽ tự động dò lại code, sửa lỗi (Surgical Changes) hoặc bổ sung Database Migration, sau đó test lại cho tới khi chạy thành công 100%.
# Nguyên tắc hành động của Agent
Agent PHẢI CHẤP HÀNH 4 nguyên tắc sau trong mỗi vòng lặp thực thi:
1. **Khởi động và Test bằng Browser Tool:**
- Mặc định Backend (cổng 5000) và Frontend (Vite) đã chạy (Nếu chưa chạy, gọi lệnh chạy ngầm).
- Truy cập vào ứng dụng bằng `browser_subagent` và thao tác click/gõ phím như một User thật. Không chạy bằng script npm test ảo.
2. **Phát hiện lỗi và "Sửa theo kiểu Phẫu thuật" (Surgical Changes - CLAUDE.md):**
- Khi phát hiện luồng bị nghẽn mặt UI hoặc Backend báo lỗi 500.
- CHỈ SỬA TRÚNG CÁI CHỖ HỎNG.
- **CẤM** đụng chạm, refactor, hay "tối ưu" những đoạn code đang chạy ngon lành. Không động vào code cũ nếu nó không trực tiếp gây ra lỗi hiện tại.
3. **Cơ chế Khắc phục Database (Migration):**
- Rất nhiều tính năng hiện tại bị lỗi là do Database SQLite đang **thiếu bảng** (ví dụ thiếu `cuccu_inbox`, `cuccu_attachments`, `cuccu_teams_...`).
- Nếu lỗi trả về từ API/Backend là do thiếu DB/Column, Agent **PHẢI** tạo các Script Migration (code Python) ném vào thư mục `miniapp/cuccu_note/backend/db/migrate`.
- Chạy script migrate này trước khi test lại.
4. **Vòng lặp Vô hạn (Loop until Done):**
- Quy trình phải là: **[Test bằng Browser] -> [Thấy Lỗi] -> [Tìm nguyên nhân: API/DB/UI] -> [Sửa Code / Viết Migrate] -> [Test Lại bằng Browser]**.
- Nếu Xong -> Đánh dấu X vào ô Checkbox (Tích `[x]`) ở danh sách bên dưới và tiếp tục tính năng mới.
---
# Danh sách kiểm thử (Agent tự động tích [x] sau khi pass)
Dưới đây là các User Flow cần được mô phỏng test bằng Browser Tool:
## Core Database Setup
- [ ] Rà soát source file `sqlite_client.py` để lấy danh sách toàn bộ constants Tables (VD: TABLE_TEAMS, TABLE_INBOX,...). So khớp với `memos.db` và chạy script tạo Migration Tool cho các bảng còn thiếu.
- [ ] Database đã được migrate đầy đủ các bảng cần thiết.
## 1. Xác thực & Phân quyền (Auth)
- [ ] Đăng ký tài khoản User mới qua giao diện.
- [ ] Login (Đăng nhập) thành công và điều hướng vào trang Dashboard/Home.
- [ ] Truy xuất thông tin Profile cá nhân.
## 2. Quản lý Ghi chú (Memo Management)
- [ ] Viết một Memo mới, nhấn Submit và đảm bảo Memo hiện lên Timeline.
- [ ] Chỉnh sửa (Edit) nội dung Memo vừa tạo.
- [ ] Thay đổi trạng thái Visibility (Private / Public / Workspace).
- [ ] Pin (Ghim) một Memo và un-pin nó.
- [ ] Đính kèm file (Upload ảnh/tài liệu) vào Memo.
## 3. Quản lý Cộng đồng / Đội nhóm (Teams)
- [ ] Chuyển hướng sang page Teams / Workspace.
- [ ] Tạo một Team mới với Tên và Mô tả.
- [ ] Viết một Memo mới ở phạm vi không gian Team (Workspace Memo).
## 4. Tương tác Mạng Xã Hội (Reactions & Comments)
- [ ] Thả cảm xúc (Reaction - Emoji) vào một bài Memo có sẵn.
- [ ] Viết một bình luận (Comment) phản hồi vào Memo của người khác.
## 5. Trung tâm Thông báo (Inbox System)
- [ ] Agent tự kích hoạt một thông báo đẩy về hệ thống.
- [ ] Truy cập mục The Inbox, đảm bảo thông báo hiển thị.
- [ ] Click Mark as Read (Đánh dấu đã đọc).
## 6. Tính năng Trí Tuệ Nhân Tạo (Chatbot)
- [ ] Mở mục Chatbot (Panel hoặc Page riêng).
- [ ] Chat với AI một câu chào hỏi đơn giản, đợi AI Loading và hiển thị luồng stream.
- [ ] Viết một truy vấn RAG kêu AI tổng hợp nội dung các Memo bạn vừa tự tạo ở Bước 2. Đảm bảo trả kết quả chuẩn.
---
*(Lặp lại cho đến khi toàn bộ tích `[x]` được hoàn thiện! Cuối cùng in ra thông báo hoàn thành.)*
.agent/workflows/fashion-rules-verification.md deleted 100644 → 0
View file @ 2b624706
# D:\cnf\chatbot-canifa-feedback\.agent\workflows\fashion-rules-verification.md
# Fashion Rules Verification Loop
## Mục đích
Tự động hóa việc kiểm thử hàng loạt (batch testing) các luật phối đồ (fashion rules) trên danh mục sản phẩm. Đảm bảo rằng Engine recommend các sản phẩm chính xác theo Giới tính (Gender), Dịp mặc (Occasion) và Luật kết hợp (Pairing Rules) đã được cấu hình trong database.
## Quy trình (Workflow)
**Mục tiêu:** Kiểm tra N sản phẩm (ví dụ: 100) để xác minh:
1. Sản phẩm có nhận diện đúng Giới tính và Phân loại (Product Line) không.
2. Kết quả recommend có chứa các Dịp mặc (Occasion) được phép theo luật hay không.
3. Các sản phẩm gợi ý (Target Items) có thuộc đúng Product Line quy định trong `chatbot_fashion_rules` hay không.
### Bước 1: Viết script kiểm thử tự động
Bạn có thể tự động sinh ra một file script bằng Python để fetch catalog trực tiếp thông qua `StylistEngine` và test:
- **Input:** Lấy ngẫu nhiên X sản phẩm từ catalog, đảm bảo có đủ giới tính (Nữ, Nam, Unisex, Bé Gái, Bé Trai).
- **Process:** Khởi tạo `StylistEngine`, gọi `compute_dynamic_rule_matches(code)`.
- **Verify:**
- Truy vấn luật trực tiếp từ hàm `_fetch_rules_with_reason(anchor_cat, gender)`.
- Đối chiếu kết quả recommend từ engine so với tập luật này.
- Ghi nhận: Dịp nào thiếu SP recommend (do catalog không có màu phù hợp), item nào bị recommend sai category (Vi phạm luật).
- **Output:** In ra báo cáo tóm tắt (Tổng số, Số SP pass, Số lượng lỗi if any).
### Bước 2: Chạy script và nhận report
// turbo
```bash
cd backend
python test_fashion_rules_batch.py --limit 100
```
### Bước 3: Đánh giá và Sửa lỗi
- Nếu phát hiện Occasion rỗng, nguyên nhân có thể do catalog thiếu sản phẩm có màu sắc phù hợp quy tắc phối, hoặc luật quá khắt khe.
- Nếu phát hiện Item recommend sai `product_line`, cần check lại hàm query rule của Engine hoặc việc fallback.
- Chỉnh sửa logic trong `stylist_engine.py` hoặc thêm/sửa rules trong bảng `chatbot_fashion_rules`. Lặp lại Bước 2.
.agent/workflows/fashion-stylist-ralph-loop.md deleted 100644 → 0
View file @ 2b624706
# Fashion Stylist Engine — Ralph Loop
# `/fashion-stylist-ralph-loop`
Vòng lặp tự động kiểm tra `StylistEngine` + `fashion_rules.json`:
- **Bước 1**: Chạy script test → in ra report từng anchor product_line
- **Bước 2**: AI Judge đọc report → chấm PASS / FAIL từng tiêu chí
- **Bước 3**: Nếu FAIL → AI Builder tự sửa `fashion_rules.json` hoặc `stylist_engine.py`
- **Lặp lại** cho đến khi `PASS_EVAL`
## Chuẩn bị (chỉ làm 1 lần)
// turbo
Tạo script test nếu chưa có:
```powershell
# Kiểm tra xem script đã tồn tại chưa
Test-Path "D:\cnf\chatbot-canifa-feedback\backend\scripts\test_stylist_engine.py"
```
## Bước 1 — Tạo test script
// turbo
```powershell
New-Item -ItemType Directory -Force -Path "D:\cnf\chatbot-canifa-feedback\backend\scripts" | Out-Null
```
Tạo file `D:\cnf\chatbot-canifa-feedback\backend\scripts\test_stylist_engine.py`:
```python
"""
Test StylistEngine — kiểm tra fallback rules, gender filter, occasion pairing.
Usage: python scripts/test_stylist_engine.py
"""
import sys, json
sys.path.insert(0, "D:/cnf/chatbot-canifa-feedback/backend")
from worker.stylist_engine import StylistEngine
# ── Danh sách anchor cần test ───────────────────────────────
ANCHORS_TO_TEST = [
("Áo Sơ mi", "nữ"),
("Áo Polo", "nam"),
("Áo phông", "unisex"),
("Áo kiểu", "nữ"),
("Blazer", "nữ"),
("Cardigan", "nữ"),
("Áo nỉ có mũ", "nam"),
("Quần jean", "nữ"),
("Quần Khaki", "nam"),
("Quần soóc", "nữ"),
("Chân váy", "nữ"),
("Váy liền", "nữ"),
("Áo khoác gió", "nam"),
("Áo bra active", "nữ"),
("Quần leggings", "nữ"),
]
# ── Luật tối thiểu: anchor này PHẢI có occasion này trong kết quả ─
REQUIRED_OCCASIONS = {
"Áo Sơ mi": ["di_lam", "di_choi"],
"Áo Polo": ["di_lam", "hang_ngay"],
"Áo phông": ["hang_ngay"],
"Áo kiểu": ["di_choi", "di_tiec"],
"Blazer": ["di_lam"],
"Cardigan": ["hang_ngay"],
"Áo nỉ có mũ": ["hang_ngay"],
"Quần jean": ["hang_ngay", "di_choi"],
"Quần Khaki": ["di_lam", "hang_ngay"],
"Quần soóc": ["hang_ngay"],
"Chân váy": ["di_lam", "di_choi"],
"Váy liền": ["di_choi"],
"Áo khoác gió": ["the_thao"],
"Áo bra active": ["the_thao"],
"Quần leggings": ["the_thao"],
}
# ── Luật cứng: các kết hợp TUYỆT ĐỐI KHÔNG được phép ────────
FORBIDDEN_PAIRS = [
# (anchor_pl, target_pl)
("Quần mặc nhà", "Áo Sơ mi"),
("Áo mặc nhà", "Quần jean"),
("Bộ mặc nhà", "Chân váy"),
("Quần soóc", "Áo khoác chần bông"), # mùa hè + đồ đông
("Áo bra active","Blazer"),
]
def run_test():
engine = StylistEngine()
# Override catalog với mock nhỏ để test fallback rules (không cần DB thật)
mock_catalog = []
fallback = engine.rules.get("fallback_occasion_rules", {})
roles = engine.rules.get("product_line_to_role", {})
# Build mock catalog từ fallback rules
fake_id = 1000
for anchor, occ_map in fallback.items():
for occ, targets in occ_map.items():
for tgt in targets:
role = roles.get(tgt, None)
if not role:
continue
mock_catalog.append({
"code": f"MOCK-{fake_id}",
"name": f"{tgt} (Mock)",
"color": "Trắng",
"product_line": tgt,
"gender": "unisex",
"age_group": "người lớn",
"image": "",
"occasion_tags": [occ],
"style_tags": ["Basic"],
"material_tags": ["cotton"],
"season_tags": [],
})
fake_id += 1
print(f"Mock catalog: {len(mock_catalog)} items từ fallback rules\n")
results = []
for anchor_pl, gender in ANCHORS_TO_TEST:
# Build fake source product
src_role = roles.get(anchor_pl)
source = {
"code": f"ANCHOR-{anchor_pl}",
"name": f"{anchor_pl} (Anchor)",
"color": "Đen",
"product_line": anchor_pl,
"gender": gender,
"age_group": "người lớn",
"image": "",
"occasion_tags": [],
"style_tags": ["Basic"],
"material_tags": ["cotton"],
"season_tags": [],
}
full_catalog = [source] + mock_catalog
try:
matches = engine._compute_matches(source, full_catalog)
except Exception as e:
results.append({"anchor": anchor_pl, "status": "ERROR", "detail": str(e), "occasions": {}})
continue
# Kiểm tra required occasions
found_occs = set(matches.keys())
required = set(REQUIRED_OCCASIONS.get(anchor_pl, []))
missing_occs = required - found_occs
# Kiểm tra forbidden pairs
violations = []
for occ, role_data in matches.items():
for role, items in role_data.items():
for item in items:
tgt_pl = item.get("product_line", "")
if (anchor_pl, tgt_pl) in FORBIDDEN_PAIRS:
violations.append(f"{anchor_pl} + {tgt_pl} tại {occ}")
total_matches = sum(len(items) for rd in matches.values() for items in rd.values())
if missing_occs or violations:
status = "FAIL"
elif total_matches == 0:
status = "EMPTY"
else:
status = "PASS"
results.append({
"anchor": anchor_pl,
"gender": gender,
"status": status,
"total_matches": total_matches,
"found_occasions": sorted(found_occs),
"missing_occasions": sorted(missing_occs),
"violations": violations,
})
# ── In report ────────────────────────────────────────────
print("=" * 65)
print(" FASHION STYLIST ENGINE — TEST REPORT")
print("=" * 65)
pass_count = fail_count = empty_count = error_count = 0
for r in results:
s = r["status"]
icon = {"PASS": "✅", "FAIL": "❌", "EMPTY": "⚠️", "ERROR": "💥"}.get(s, "?")
print(f"\n{icon} [{s}] {r['anchor']} ({r.get('gender','')})")
if s == "PASS":
occ_str = ", ".join(r.get("found_occasions", []))
print(f" Occasions: {occ_str} | Matches: {r.get('total_matches',0)}")
pass_count += 1
elif s == "FAIL":
if r.get("missing_occasions"):
print(f" ❌ Thiếu occasion: {r['missing_occasions']}")
if r.get("violations"):
for v in r["violations"]:
print(f" ❌ Vi phạm forbidden pair: {v}")
fail_count += 1
elif s == "EMPTY":
print(f" ⚠️ Không có match nào — kiểm tra fallback_occasion_rules")
empty_count += 1
elif s == "ERROR":
print(f" 💥 Lỗi: {r['detail']}")
error_count += 1
print("\n" + "=" * 65)
total = len(results)
print(f" KẾT QUẢ: {pass_count}/{total} PASS | {fail_count} FAIL | {empty_count} EMPTY | {error_count} ERROR")
print("=" * 65)
if fail_count == 0 and empty_count == 0 and error_count == 0:
print("\nPASS_EVAL")
else:
print(f"\nFAIL_EVAL: {fail_count} FAIL, {empty_count} EMPTY, {error_count} ERROR")
if __name__ == "__main__":
run_test()
```
## Bước 2 — Chạy test lần đầu
// turbo
```powershell
$env:PYTHONPATH = "D:\cnf\chatbot-canifa-feedback\backend"
Set-Location "D:\cnf\chatbot-canifa-feedback\backend"
.\.venv\Scripts\python.exe scripts\test_stylist_engine.py 2>&1 | Tee-Object -FilePath "plan\tmp_fashion_test.txt"
Get-Content "plan\tmp_fashion_test.txt"
```
## Bước 3 — Ralph Loop (tự động sửa nếu FAIL)
Chạy vòng lặp đến khi PASS_EVAL:
```powershell
$ITER = 1
while ($true) {
Write-Host "=== VONG $ITER ===" -ForegroundColor Cyan
# Run test
$env:PYTHONPATH = "D:\cnf\chatbot-canifa-feedback\backend"
Set-Location "D:\cnf\chatbot-canifa-feedback\backend"
.\.venv\Scripts\python.exe scripts\test_stylist_engine.py 2>&1 | Out-File -Encoding utf8 "plan\tmp_fashion_test.txt"
$output = Get-Content "plan\tmp_fashion_test.txt" -Raw
Write-Host $output
if ($output -match "PASS_EVAL") {
Write-Host ">>> PASS! DONE." -ForegroundColor Green
break
}
# Gọi Gemini sửa
$prompt = "@plan\tmp_fashion_test.txt @worker\stylist_engine.py @worker\fashion_rules.json " +
"Doc loi trong file test. Sua worker/stylist_engine.py hoac worker/fashion_rules.json (fallback_occasion_rules) " +
"de fix loi. Chi sua dung chỗ, khong xoa code cu."
gemini --yolo -p $prompt
$ITER++
Start-Sleep -Seconds 5
}
```
## Tiêu chí đánh giá
| Tiêu chí | Pass condition |
|---|---|
| Tất cả anchor có ≥ 1 match | `total_matches > 0` |
| Required occasions có đủ | `missing_occasions = []` |
| Không vi phạm forbidden pairs | `violations = []` |
| Không có lỗi runtime | `status != ERROR` |
## Ghi chú
- Script dùng **mock catalog** từ `fallback_occasion_rules` → không cần kết nối DB thật
- Nếu muốn test với catalog thật từ DB: bỏ mock, dùng `engine._get_catalog()`
- Sau khi engine PASS, chạy `run_fashion_ralph.ps1` để test với data thật từ StarRocks
.agent/workflows/lead-bot-qa-loop.md deleted 100644 → 0
View file @ 2b624706
---
description: Lead Bot QA Loop — Tự động test bot recommend sản phẩm có đúng context không, xác minh với DB, AI judge chấm điểm, đề xuất sửa prompt, lặp lại.
---
# 🔁 Lead Bot QA — Auto-Eval & Self-Improve Loop
**CONCEPT:** Chạy bộ câu hỏi ngữ cảnh (seasonal, situational) → Bot trả sản phẩm → Xác minh DB → AI Judge chấm → Phát hiện lỗi prompt → Đề xuất fix → Loop lại.
Script: `backend/scripts/lead_test/run_eval.py`
Output: `backend/scripts/lead_test/results/eval_YYYY-MM-DD_RX.txt`
---
## 🧠 Ý tưởng cốt lõi (Từ Prompt)
> Bot nhận câu hỏi **gián tiếp / theo ngữ cảnh** → phải **hiểu hoàn cảnh** để recommend đúng loại SP.
> Hiện tại prompt/search tool thiếu **context mapping**: "trời mưa" ≠ keyword "áo mưa" → phải map sang "áo khoác chống thấm / áo gió".
| Câu hỏi người dùng | Bot nên hiểu | Loại SP đúng |
|---|---|---|
| "áo mặc trời mưa" | chống thấm, nhẹ | Áo khoác gió, áo khoác chống thấm |
| "áo thu đông nam" | giữ ấm, thu đông | Áo nỉ, áo khoác len, áo hoodie |
| "váy dự tiệc cuối năm" | lịch sự, sang | Váy liền, đầm dự tiệc |
| "đồ đi làm công sở nữ" | thanh lịch, công sở | Sơmi, áo kiểu, quần âu |
| "áo mặc nhà thoải mái" | thường ngày | Áo phông, quần jogger |
| "đồ đi chơi cuối tuần" | casual, trẻ trung | Áo polo, áo thun, quần jean |
| "đồ đi biển" | thoáng mát, mùa hè | Áo thun cotton, short |
| "váy mặc Tết" | truyền thống, tươi | Áo dài, váy dáng A |
---
## THE LOOP
### ⚡ Phase 1: Chuẩn bị Test Set
1. Đọc `test_cases.json` — 20 câu hỏi chia 4 nhóm:
- `seasonal` (mùa, thời tiết)
- `occasion` (dịp: Tết, tiệc, đi làm, đi biển)
- `demographic` (nam/nữ/trẻ em + hoàn cảnh)
- `vague` (câu mơ hồ nhất: "có gì mặc đẹp không")
2. Xác nhận server đang chạy tại `http://localhost:5000`
3. Tạo folder `results/` nếu chưa có
*→ Phase 2*
---
### 🤖 Phase 2: Gọi Bot (Bot Call)
Với **mỗi câu hỏi** trong test set:
```
POST /api/agent/chat-lead-flow
body: { user_query: "...", conversation_id: uuid, device_id: "eval-bot" }
→ Nhận: {
ai_response: "...",
products: [{ sku, name, price, product_line, ... }],
lead_stage: { stage, tone_directive }
}
```
- Nếu `products = []` → đánh dấu `NO_PRODUCTS`
- Nếu API lỗi → đánh dấu `API_ERROR`, tiếp tục câu tiếp theo
*→ Phase 3*
---
### 🗄️ Phase 3: Xác minh DB (DB Verify)
Với **mỗi SKU** trong `products[]`:
```
GET /api/product/lookup?skus={sku}
→ Check: product tồn tại trong DB? (200 vs 404)
→ Lấy: product_line_vn, sale_price, size_scale
```
**Đánh giá tương quan:**
- Câu hỏi: "áo mặc trời mưa" → `product_line_vn` trả về là gì?
- `Áo khoác` → ✅ MATCH
- `Áo thun` → ❌ MISMATCH
- Không có SP → ⚠️ NO_PRODUCTS
*→ Phase 4*
---
### 🧑‍⚖️ Phase 4: AI Judge
Gọi LLM (Gemini Flash / GPT-4o-mini) với prompt:
```
Bạn là chuyên gia thời trang đánh giá chatbot bán hàng.
Câu hỏi user: "{question}"
Bot trả lời: "{ai_response}"
Sản phẩm gợi ý: {product_list}
[Loại SP trong DB: {product_lines}]
Đánh giá:
1. Sản phẩm có phù hợp với hoàn cảnh/mùa/dịp trong câu hỏi không? (0-10)
2. Câu trả lời AI có tự nhiên, đúng context không? (0-10)
3. Có thiếu loại SP nào quan trọng không?
4. Pattern lỗi nếu có (bot hay nhầm X → Y trong hoàn cảnh Z)
Trả về JSON: {
"context_score": 0-10,
"response_score": 0-10,
"verdict": "PASS|PARTIAL|FAIL",
"reason": "...",
"pattern_error": "..." | null,
"prompt_fix_hint": "..." | null
}
```
*→ Phase 5*
---
### 📝 Phase 5: Ghi Kết Quả
Ghi vào `results/eval_YYYY-MM-DD_R{round}.txt`:
```
═══════════════════════════════════════
LEAD BOT QA — Round {N} — {datetime}
═══════════════════════════════════════
📊 TỔNG KẾT:
Tổng câu: 20 | PASS: X | PARTIAL: Y | FAIL: Z
Avg Score: {score}/10
Câu không có sản phẩm: {n}
────────────────────────────────────────
📋 CHI TIẾT:
[1] "áo mặc trời mưa"
Verdict : ❌ FAIL (3/10)
Bot trả : Áo thun cotton (product_line: Áo phông)
Lý do : Áo thun không phù hợp điều kiện mưa, cần áo khoác chống thấm
Fix hint: "Thêm context: trời mưa → áo khoác / áo gió vào synonym mapping"
[2] "áo thu đông nam"
Verdict : ✅ PASS (8/10)
Bot trả : Áo khoác nỉ form rộng (product_line: Áo khoác)
Lý do : Đúng loại, đúng mùa
...
────────────────────────────────────────
🔍 PATTERN LỖI PHÁT HIỆN:
1. Bot thiếu mapping: mô tả thời tiết → loại SP tương ứng
2. Bot không ưu tiên mùa vụ khi filter sản phẩm
3. Câu hỏi dịch lễ (Tết, tiệc) → bot hay recommend casual thay formal
💡 ĐỀ XUẤT SỬA PROMPT:
→ lead_search_tool.py line ~45: Thêm context_to_product_line map
→ Stylist prompt: "Ưu tiên áo khoác / áo gió khi user đề cập thời tiết mưa hoặc lạnh"
→ Synonym: "thu đông" → product_line IN ('Áo khoác', 'Áo nỉ', 'Áo len')
═══════════════════════════════════════
```
*→ Phase 6*
---
### 🔧 Phase 6: Xem Kết Quả & Quyết Định
Đọc file kết quả:
- **Avg Score ≥ 8** → ✅ Bot đang tốt, stop loop hoặc test câu khó hơn
- **Avg Score 5-7** → ⚠️ PARTIAL — apply 1-2 fix hint đơn giản → quay Phase 1 (Round N+1)
- **Avg Score < 5** → ❌ FAIL — report đầy đủ pattern lỗi, cần sửa prompt nghiêm túc
**Áp dụng fix (nếu có):**
1. Sửa `lead_search_tool.py`: thêm `context_mapping` dict
2. Sửa `stylist_prompt.py`: thêm seasonal/occasion rules
3. Chạy lại **Round N+1** với cùng test set
> **LOOP TERMINATION:** Dừng khi Score ≥ 8 trên 3 round liên tiếp HOẶC user manually stop.
---
## 📁 File Structure
```
backend/scripts/lead_test/
├── run_eval.py ← Entry point: python run_eval.py [--round N] [--fix]
├── test_cases.json ← 20 câu hỏi + expected_product_types
├── judge.py ← AI Judge logic (Gemini/GPT call)
├── db_verify.py ← Gọi /api/product/lookup check SKU
└── results/
├── eval_2026-04-14_R1.txt
├── eval_2026-04-14_R2.txt
└── summary.json ← Score trend qua các round
```
---
## 🚀 Cách chạy
```bash
# Round 1 — chạy test cơ bản
python backend/scripts/lead_test/run_eval.py
# Round N+1 — sau khi đã sửa prompt
python backend/scripts/lead_test/run_eval.py --round 2
# Xem summary score trend
python backend/scripts/lead_test/run_eval.py --summary
```
.agent/workflows/local-db-proxy-test.md deleted 100644 → 0
View file @ 2b624706
---
name: Local Database Proxy API Tester
description: Vòng lặp test toàn bộ các API endpoint có kết nối Database (Postgres/StarRocks) qua SQLite Mock Proxy để phát hiện lỗi Dialect và sửa Regex.
---
# Local DB Proxy API Test Workflow
Workflow này dùng để tự động dò quét, curl test và vá lỗi cho toàn bộ các API có giao tiếp với Database thông qua lớp mạo danh `sqlite_mock.py`.
## Bước 1: Liệt kê các API giao tiếp với Database
- Quét nhanh thư mục `backend/api` để tìm các route gọi `execute_query` (StarRocks) hoặc `db_pool.get_conn()` (Postgres).
- Lập danh sách các API quan trọng cần test, điển hình:
- `/api/product-desc/list`
- `/api/product-desc/overview`
- `/api/products/filters`
- `/api/products/list`
- Báo cáo/Fashion rules routes.
## Bước 2: Test từng Endpoint (với Uvicorn đang chạy)
Dùng `run_command` để gọi PowerShell `Invoke-RestMethod` (hoặc curl) vào từng endpoint (http://127.0.0.1:5000).
```markdown
// turbo
Invoke-RestMethod -Uri "http://127.0.0.1:5000/api/product-desc/list?limit=10" -Method Get
```
## Bước 3: Đọc Log và Sửa Lỗi (Diagnose & Patch)
Nếu endpoint trả về lỗi `500 Internal Server Error`, Agent bắt buộc phải:
1. Đọc nội dung log lỗi trên Terminal Uvicorn đang rớt.
2. Kiểm tra xem lỗi xuất phát từ SQLite không hiểu cú pháp (ví dụ: thiếu Regex `?` hoặc sai tên bảng).
3. Quay lại file `backend/common/sqlite_mock.py` để bổ sung thuật toán `re.sub()` hoặc logic thay thế trong `translate_query()`.
4. Sau khi sửa mô-đun, chờ Uvicorn nháy reload và vòng lại Bước 2 test lại chính Endpoint đó.
## Bước 4: Validation (Xanh lè toàn bộ)
Khi toàn bộ API endpoint liệt kê ở Bước 1 đều trả về HTTP 200 (có chèn Data) với SQLite cục bộ, đánh dấu quá trình test kết thúc thành công.
.agent/workflows/plan-manager.md deleted 100644 → 0
View file @ 2b624706
# Plan Manager Workflow
<!-- Trigger: /plan -->
Quản lý kế hoạch dự án Canifa qua thư mục `backend/plan/`.
Mỗi task = 1 file markdown. Di chuyển qua 3 giai đoạn: ideas → doing → done.
---
## Cấu trúc thư mục
```
backend/plan/
├── ideas/ ← Ý tưởng chưa quyết làm
├── doing/ ← Đang làm, có checklist cụ thể
└── done/ ← Xong, tên file có date prefix
```
---
## Các lệnh bro có thể gõ
| Lệnh | Ý nghĩa |
|------|---------|
| `/plan status` | Xem tổng quan tất cả tasks |
| `/plan add idea [tên] [mô tả]` | Thêm ý tưởng mới vào ideas/ |
| `/plan start [tên]` | Chuyển idea → doing, thêm checklist |
| `/plan done [tên]` | Chuyển doing → done, thêm ngày hoàn thành |
| `/plan show [tên]` | Xem chi tiết 1 task |
| `/plan edit [tên]` | Mở file task để chỉnh sửa |
---
## Khi user gõ `/plan status`
1. Dùng `list_dir` để đọc `backend/plan/ideas/`, `backend/plan/doing/`, `backend/plan/done/`
2. Với mỗi file trong `doing/`, đọc metadata (Priority, Started)
3. Hiển thị bảng tổng quan như sau:
```
💡 IDEAS ([N] ý tưởng)
• tên-task-1 — mô tả ngắn
• tên-task-2 — mô tả ngắn
🔨 DOING ([N] đang làm)
• tên-task — [HIGH] — X ngày
• tên-task — [MED] — Y ngày
✅ DONE ([N] đã xong)
• 2026-04-16 — tên-task
• 2026-04-15 — tên-task
```
---
## Khi user gõ `/plan add idea [tên] [mô tả]`
1. Tạo file `backend/plan/ideas/[tên].md` với nội dung:
```markdown
# 💡 [Tên task]
**Status:** idea
**Added:** [ngày hôm nay]
**Priority:** —
## Mô tả
[mô tả]
## Tại sao cần làm?
—
## Notes
—
```
2. Báo confirm: `✅ Đã thêm idea: [tên]`
---
## Khi user gõ `/plan start [tên]`
1. Đọc file từ `ideas/[tên].md`
2. Thêm/cập nhật các fields:
- `Status: doing`
- `Started: [ngày hôm nay]`
- Thêm section `## Checklist` nếu chưa có
3. Move file → `doing/[tên].md`
4. Xóa file cũ trong `ideas/`
5. Báo confirm
---
## Khi user gõ `/plan done [tên]`
1. Đọc file từ `doing/[tên].md`
2. Cập nhật:
- `Status: done`
- `Completed: [ngày hôm nay]`
3. Move file → `done/[YYYY-MM-DD]-[tên].md`
4. Xóa file cũ trong `doing/`
5. Báo confirm: `✅ Xong! [tên] → done/`
---
## Template file chuẩn (doing)
```markdown
# 🔨 [Tên task]
**Status:** doing
**Priority:** high | medium | low
**Started:** YYYY-MM-DD
**Owner:** —
## Mục tiêu
[Mô tả ngắn gọn cần đạt được gì]
## Checklist
- [ ] Bước 1
- [ ] Bước 2
- [ ] Test
- [ ] Deploy / review
## Context & Notes
[Link, code path, DB table liên quan...]
## Blockers
—
```
---
## Lưu ý thực thi
- Tất cả files nằm tại: `D:\cnf\chatbot-canifa-feedback\backend\plan\`
- Dùng `write_to_file` để tạo/cập nhật file
- Dùng `list_dir` để đọc danh sách
- Dùng `view_file` để đọc nội dung
- Khi move: tạo file mới + xóa file cũ (dùng PowerShell `Remove-Item`)
- Date format: `YYYY-MM-DD` (VD: `2026-04-16`)
.agent/workflows/ralph-loop.md deleted 100644 → 0
View file @ 2b624706
---
description: Ralph Wiggum "Infinite" Loop - A continuous cycle for perfection.
---
# Ralph Wiggum "Infinite" Loop
**CONCEPT:** This is an **INFINITE LOOP**. You do not exit this loop until the task is perfectly verified or the user forcibly stops you.
## THE LOOP
### 🔄 Phase 1: The "Dumb" Questions (Preparation)
**ENTRY POINT.** Always start here.
1. **"What exactly am I trying to do?"** (Explain it to a 5-year-old).
2. **"Do I have all the files and info I need?"** (If not, STOP and read them first).
3. **"What is the stupidest mistake I could make here?"** (Example: wiping the database).
4. **"Is there a simpler way?"** (Don't over-engineer).
*Decision:* If you are confused -> Stay in Phase 1. If clear -> Go to Phase 2.
### 🔄 Phase 2: Micro-Planning
Plan for **ONE** step only.
1. Define the **Single Next Action** (e.g., "Create file X").
2. Define **Success Criteria** for this specific action.
*Action:* Go to Phase 3.
### 🔄 Phase 3: Execution
1. **EXECUTE** the single tool call.
2. **STOP.** Do not do anything else.
*Action:* Go to Phase 4.
### 🔄 Phase 4: Verification
1. **VERIFY** the immediate result (Run code/Read file).
2. **ASK:** "Did it work 100%?"
- **YES:** Loop back to **Phase 1** (To prepare for the *next* micro-step).
- **NO:** Loop back to **Phase 1** (To re-evaluate why it failed).
> **CRITICAL RULE:** NEVER BREAK THE LOOP. Even if you think you are done, loop back to Phase 1 one last time to ask: "Is there absolutely nothing left to do?" Only then can you stop.
backend/agent/tag_search_agent_v2/tag_search_tool.py
View file @ 42963a54
...@@ -160,6 +160,40 @@ SELECT_COLUMNS = """ ...@@ -160,6 +160,40 @@ SELECT_COLUMNS = """
description_text description_text
""" """
# ═══════════════════════════════════════════════
# SQLite local DB path
# ═══════════════════════════════════════════════
import os as _os
_DB_123_PATH = _os.path.normpath(
_os.path.join(_os.path.dirname(__file__), "..", "..", "123.db")
)
# ═══════════════════════════════════════════════
# Occasion tag → ai_matches key mapping
# ═══════════════════════════════════════════════
TAGS_TO_OCCASION: dict[str, str] = {
"occ:di_lam": "di_lam",
"occ:di_choi": "di_choi",
"occ:di_tiec": "di_tiec",
"occ:di_hoc": "di_choi", # map sang gần nhất
"occ:mac_nha": "mac_nha",
"occ:the_thao": "the_thao",
"occ:di_bien": "di_choi", # map sang gần nhất
"occ:du_lich": "di_choi",
"occ:da_ngoai": "di_choi",
"occ:di_ngu": "mac_nha",
"occ:hang_ngay": "hang_ngay",
}
def _resolve_occasion(tags: list[str]) -> str:
"""Chọn occasion key từ tags của user. Fallback: 'hang_ngay'."""
for tag in (tags or []):
occ = TAGS_TO_OCCASION.get(tag.lower())
if occ:
return occ
return "hang_ngay"
# ═══════════════════════════════════════════════ # ═══════════════════════════════════════════════
# Pydantic Schema — AI sẽ fill vào đây # Pydantic Schema — AI sẽ fill vào đây
...@@ -600,7 +634,7 @@ async def _cascading_search(req: TagSearchInput, db) -> tuple[list, int]: ...@@ -600,7 +634,7 @@ async def _cascading_search(req: TagSearchInput, db) -> tuple[list, int]:
def _format_products(products: list, stock_checked: bool = False) -> list[dict]: def _format_products(products: list, stock_checked: bool = False) -> list[dict]:
"""Format output cho AI đọc. Kèm stock info nếu có.""" """Format output cho AI đọc. Kèm stock info + clean_description + outfit nếu có."""
formatted = [] formatted = []
for p in products[:15]: for p in products[:15]:
sale = float(p.get("sale_price") or 0) sale = float(p.get("sale_price") or 0)
...@@ -626,9 +660,246 @@ def _format_products(products: list, stock_checked: bool = False) -> list[dict]: ...@@ -626,9 +660,246 @@ def _format_products(products: list, stock_checked: bool = False) -> list[dict]:
total_qty = p.get("_total_qty", 0) total_qty = p.get("_total_qty", 0)
item["in_stock"] = total_qty > 0 item["in_stock"] = total_qty > 0
item["total_qty"] = total_qty item["total_qty"] = total_qty
item["stock"] = stock_detail # [{"size": "S", "qty": 2}, {"size": "M", "qty": 1}] item["stock"] = stock_detail
# Clean description từ ultra_descriptions (có size guide + styling)
clean_desc = p.get("_clean_description")
if clean_desc:
item["clean_description"] = clean_desc[:800] # giới hạn token
# Outfit matches từ ai_matches
outfit_matches = p.get("_outfit_matches")
if outfit_matches:
item["ai_outfit_suggestions"] = outfit_matches
formatted.append(item) formatted.append(item)
return formatted return formatted
async def _enrich_with_outfit(
products: list[dict],
db,
tags: list[str] | None = None,
) -> list[dict]:
"""
Đọc ultra_descriptions.ai_matches (occasion-aware) → inject outfit suggestions
kèm clean_description vào top 3 SP.
Fallback: nếu ai_matches null → dùng ai_outfit_product_matches cũ.
"""
if not products:
return products
import sqlite3
if not _os.path.exists(_DB_123_PATH):
logger.warning("⚠️ 123.db not found at %s", _DB_123_PATH)
return products
top_products = products[:3]
# Normalize: magento_ref_code "5BP25W003-SK010" → base "5BP25W003"
anchor_base_codes = [
(p.get("internal_ref_code") or p.get("magento_ref_code", "").split("-")[0]).strip()
for p in top_products
]
anchor_base_codes = [c for c in anchor_base_codes if c]
if not anchor_base_codes:
return products
# Resolve occasion từ tags
occasion = _resolve_occasion(tags or [])
try:
conn = sqlite3.connect(_DB_123_PATH)
conn.row_factory = sqlite3.Row
cursor = conn.cursor()
placeholders = ",".join(["?"] * len(anchor_base_codes))
ultra_rows = cursor.execute(
f"""
SELECT base_ref_code, magento_ref_code, ai_matches, clean_description
FROM pg__dashboard_canifa__ultra_descriptions
WHERE base_ref_code IN ({placeholders})
""",
anchor_base_codes,
).fetchall()
conn.close()
except Exception as e:
logger.error("❌ SQLite ultra_desc read error: %s", e)
return products
# Map base_ref_code → ultra data
ultra_map: dict[str, dict] = {}
for row in ultra_rows:
ultra_map[row["base_ref_code"]] = {
"ai_matches": row["ai_matches"],
"clean_description": row["clean_description"],
}
# Collect all match codes cần fetch từ StarRocks
# Structure: {anchor_magento_code: {role: [match_item_dict]}}
matches_by_anchor: dict[str, list] = {}
all_match_codes: set[str] = set()
for p in top_products:
anchor_magento = p.get("magento_ref_code", "")
base = (p.get("internal_ref_code") or anchor_magento.split("-")[0]).strip()
ultra = ultra_map.get(base)
if not ultra or not ultra["ai_matches"]:
# Fallback: sẽ xử lý bên dưới
continue
# Inject clean_description vào anchor product
if ultra["clean_description"]:
p["_clean_description"] = ultra["clean_description"]
try:
ai_matches_json = json.loads(ultra["ai_matches"])
except (json.JSONDecodeError, TypeError):
continue
occasion_data = ai_matches_json.get(occasion) or ai_matches_json.get("hang_ngay", {})
if not occasion_data:
continue
# Flatten all roles: bottom, top, accessories
flat_matches = []
for role_key, role_items in occasion_data.items():
if not isinstance(role_items, list):
continue
for item in role_items:
code = item.get("sku", "") or item.get("code", "")
if not code:
continue
flat_matches.append({
"code": code,
"reason": item.get("reason", ""),
"role": role_key,
})
all_match_codes.add(code)
# Lấy top 4 (đã sort sẵn theo score từ database)
flat_matches = flat_matches[:4]
matches_by_anchor[anchor_magento] = flat_matches[:4]
# Nếu không có ai_matches nào → fallback về logic cũ
if not matches_by_anchor and not all_match_codes:
return await _enrich_with_outfit_legacy(products, db)
# Fetch price + url từ StarRocks cho match codes
match_product_map: dict[str, dict] = {}
if all_match_codes:
try:
phs = ",".join(["%s"] * len(all_match_codes))
sql = f"SELECT {SELECT_COLUMNS} FROM {TABLE_NAME} WHERE magento_ref_code IN ({phs})"
match_products = await db.execute_query_async(sql, params=tuple(all_match_codes))
# Stock check
match_products, _, _, _ = await _enrich_with_stock(match_products)
match_product_map = {p["magento_ref_code"]: p for p in match_products}
except Exception as e:
logger.error("❌ StarRocks match fetch error: %s", e)
# Inject outfit suggestions vào anchor products
for p in products:
anchor_magento = p.get("magento_ref_code", "")
flat = matches_by_anchor.get(anchor_magento, [])
suggestions = []
seen_roles: set[str] = set()
for m in flat:
code = m["code"]
star_p = match_product_map.get(code)
if not star_p:
continue
# Deduplicate by role (1 role = 1 SP duy nhất)
role = m["role"]
if role in seen_roles:
continue
seen_roles.add(role)
suggestions.append({
"sku": code,
"name": star_p.get("product_name", ""),
"color": star_p.get("master_color", ""),
"role": role,
"ai_reason": m["reason"],
"occasion": occasion
})
if suggestions:
p["_outfit_matches"] = suggestions
return products
async def _enrich_with_outfit_legacy(products: list[dict], db) -> list[dict]:
"""
Fallback: logic cũ dùng ai_outfit_product_matches khi ultra_desc chưa có ai_matches.
Giữ nguyên để backward-compatible.
"""
top_products = products[:3]
anchor_codes = [p.get("magento_ref_code") for p in top_products if p.get("magento_ref_code")]
if not anchor_codes:
return products
try:
import sqlite3
conn = sqlite3.connect(_DB_123_PATH)
conn.row_factory = sqlite3.Row
cursor = conn.cursor()
phs = ",".join(["?"] * len(anchor_codes))
rows = cursor.execute(
f"""
SELECT anchor_product_code, match_product_code, match_role, score, ai_reason
FROM pg__dashboard_canifa__ai_outfit_product_matches
WHERE anchor_product_code IN ({phs})
ORDER BY anchor_product_code, score DESC
""",
anchor_codes,
).fetchall()
conn.close()
if not rows:
return products
match_codes = list({row["match_product_code"] for row in rows})
if match_codes:
phs_db = ",".join(["%s"] * len(match_codes))
sql = f"SELECT {SELECT_COLUMNS} FROM {TABLE_NAME} WHERE magento_ref_code IN ({phs_db})"
match_products = await db.execute_query_async(sql, params=tuple(match_codes))
match_products, _, _, _ = await _enrich_with_stock(match_products)
match_product_map = {p["magento_ref_code"]: p for p in match_products}
else:
match_product_map = {}
matches_by_anchor: dict[str, list] = {}
for row in rows:
anchor = row["anchor_product_code"]
mc = row["match_product_code"]
if mc not in match_product_map:
continue
if anchor not in matches_by_anchor:
matches_by_anchor[anchor] = []
mp = match_product_map[mc]
if any(m["sku"] == mc for m in matches_by_anchor[anchor]):
continue
matches_by_anchor[anchor].append({
"sku": mc,
"name": mp.get("product_name"),
"color": mp.get("master_color"),
"price": int(mp.get("sale_price") or 0),
"original_price": int(mp.get("original_price") or 0),
"url": mp.get("product_web_url"),
"image": mp.get("product_image_url_thumbnail"),
"role": row["match_role"],
"ai_reason": row["ai_reason"],
"in_stock": True,
"stock": mp.get("_stock_detail", []),
})
for p in products:
code = p.get("magento_ref_code")
if code in matches_by_anchor:
p["_outfit_matches"] = matches_by_anchor[code][:3]
except Exception as e:
logger.error("❌ Legacy outfit error: %s", e, exc_info=True)
return products
# ═══════════════════════════════════════════════ # ═══════════════════════════════════════════════
...@@ -760,6 +1031,12 @@ async def tag_search_tool( ...@@ -760,6 +1031,12 @@ async def tag_search_tool(
logger.debug("Langfuse stock span init failed: %s", _e) logger.debug("Langfuse stock span init failed: %s", _e)
products, stock_checked, stock_ms, stock_timed_out = await _enrich_with_stock(products) products, stock_checked, stock_ms, stock_timed_out = await _enrich_with_stock(products)
# ═══ [2.5] OUTFIT MATCHING INJECTION ═══
outfit_start = time.time()
products = await _enrich_with_outfit(products, db, tags=tags or [])
outfit_ms = round((time.time() - outfit_start) * 1000, 1)
occasion_used = _resolve_occasion(tags or [])
if stock_span: if stock_span:
try: try:
...@@ -792,12 +1069,14 @@ async def tag_search_tool( ...@@ -792,12 +1069,14 @@ async def tag_search_tool(
"status": "success", "status": "success",
"count": len(formatted), "count": len(formatted),
"tier": tier, "tier": tier,
"occasion_used": occasion_used,
"stock_checked": stock_checked, "stock_checked": stock_checked,
"stock_timed_out": stock_timed_out, "stock_timed_out": stock_timed_out,
"elapsed_ms": total_ms, "elapsed_ms": total_ms,
"timing": { "timing": {
"db_ms": db_ms, "db_ms": db_ms,
"stock_api_ms": stock_ms, "stock_api_ms": stock_ms,
"outfit_api_ms": outfit_ms,
"total_ms": total_ms, "total_ms": total_ms,
}, },
"reasoning": reasoning or "", "reasoning": reasoning or "",
......
backend/fix.py deleted 100644 → 0
View file @ 2b624706
import codecs
import time
filepath = r'd:\cnf\chatbot-canifa-feedback\backend\static\fashion-matches\live-simulator.html'
with open(filepath, 'r', encoding='utf-8') as f:
text = f.read()
count1 = text.count(r'\`')
count2 = text.count(r'\${')
print("Found escaped backticks:", count1)
print("Found escaped dollars:", count2)
text = text.replace(r'\`', '`').replace(r'\${', '${')
with open(filepath, 'w', encoding='utf-8') as f:
f.write(text)
print("Fixed!")
backend/plan/README.md deleted 100644 → 0
View file @ 2b624706
# Plan Manager — Canifa Feedback Backend
## Cấu trúc
```
ideas/ ← Ý tưởng, chưa quyết làm
doing/ ← Đang làm
done/ ← Xong rồi
```
## Cách dùng
Nói với AI: `/plan status`, `/plan add idea`, `/plan start`, `/plan done`
Xem chi tiết: `.agent/workflows/plan-manager.md`
backend/plan/doing/2026-04-21-auto-train-lead.md deleted 100644 → 0
View file @ 2b624706
# Tự Động Test và Train Prompt Lead Bot & Hiển thị Hết Hàng (Vòng lặp Vô Tận)
## 🧠 Ngữ cảnh & Triết lý thiết kế (Cho AI đọc hiểu)
**Tại sao phải làm thế này?**
Thay vì để con người phải ngồi kiểm tra bằng tay từng log lỗi của Lead Bot và lọ mọ copy-paste để sửa System Prompt, ta sẽ tận dụng triết để **Cơ chế Sub-Agent của Claude** (Dựa theo chuẩn Evaluator-Optimizer pattern của Anthropic).
Hệ thống sẽ chạy một **vòng lặp vô tận (infinite loop)**: Test -> Chấm Điểm -> Đề xuất sửa đổi (Prompt/Thuật toán) -> Áp dụng -> Test lại. Nó chỉ dừng lại khi điểm Pass Rate đạt 100%.
**Sự khác biệt của Sub-Agent Pattern (Claude):**
Chúng ta không dùng 1 Prompt nhồi nhét. Chúng ta tách việc ra làm 2 Sub-Agents có Prompt chuyên biệt.
1. **Sub-Agent 1 (The Evaluator - Người chấm thi):** Làm nhiệm vụ cầm bộ `test_cases.json`, đối chiếu với kết quả Bot trả về, chấm điểm cực kỳ khắt khe. Trả về báo cáo lỗi chi tiết.
2. **Sub-Agent 2 (The Optimizer - Coder/Prompt Engineer):** Chỉ đọc báo cáo lỗi của Evaluator, lấy file nguồn (như `prompts.py` hoặc `lead_search_tool.py`) ra và tự đưa ra quyết định: *Sửa System Prompt hay Sửa thuật toán lấy Data?*. Sau đó tự động overwrite file.
---
## 📋 THIẾT KẾ CHI TIẾT CÁC SUB-AGENTS (CÂN LÀM)
### 1. The Evaluator Sub-Agent (Role: Khám bệnh)
**Nhiệm vụ:** Chạy 20 câu test.
**System Prompt của Evaluator:**
```text
Bạn là một AI Evaluator tối cao chuyên đánh giá chất lượng của một Fashion Retail Chatbot (Lead Bot).
Nhiệm vụ của bạn là lấy đầu vào từ User, so sánh với đầu ra của Bot và đối chiếu với Thực tế Data (Stock, Product Line).
Tiêu chí chấm:
1. Context Match (0-10): Bot có hiểu đúng bối cảnh (Ví dụ: "Trời mưa" phải gợi ý áo gió/chống nước, "Đám cưới" phải gợi ý đồ formal/lịch sự).
2. Data Accuracy (0-10): Bot có gợi ý sản phẩm hết hàng mà KHÔNG báo trước cho khách không?
3. Tool Usage (Pass/Fail): Bot có điền đúng các biến số vào Search Tool không?
Nếu phát hiện lỗi, hãy chỉ định rõ:
- Lỗi do System Prompt (Thiếu instruction ngữ cảnh).
- Lỗi do Data/Algorithm (Search tool thiếu cột stock, lấy nhầm category).
Trả về rập khuôn định dạng JSON chứa Feedback và Danh sách các case bị Fail.
```
### 2. The Optimizer Sub-Agent (Role: Bốc thuốc & Phẫu thuật)
**Nhiệm vụ:** Nhận JSON Feedback bên trên. Đọc code hiện hành. Ghi đè file.
**System Prompt của Optimizer:**
```text
Bạn là AI Optimizer. Bạn nhận được một bản án (Feedback) từ Evaluator chỉ ra rằng Lead Bot hiện tại đang hoạt động sai ở một số test case.
Trong tay bạn là mã nguồn hiện tại của System Prompt (`prompts.py`) và Search Algorithm (`lead_search_tool.py`).
Nhiệm vụ:
- Nếu lỗi là do Bot tư duy sai ngữ cảnh (vd: không biết trời mưa phải mặc gì): Hãy Viết lại (Rewrite) file `prompts.py`. Cập nhật thêm instruction, rule để che chắn lỗi này.
- Nếu lỗi là do Data thiếu (vd: Gợi ý sản phẩm hết hàng mà không biết): Hãy đề xuất việc thay đổi file thuật toán SQL `lead_search_tool.py` (vd: Join thêm `stock_quantity` và tự hardcode gắn `[TẠM HẾT HÀNG]` vào tool message) để Bot biết.
BẮT BUỘC trả về nội dung code hoàn chỉnh để tôi tự động ghi đè file. Không được làm hỏng các logic đang hoạt động tốt.
```
---
## 🚀 KẾ HOẠCH HÀNH ĐỘNG (ACTION ITEMS)
- [ ] Nghiên cứu và Cập nhật SQLite Mock (`canifa_ai_dump.sqlite`):
- [Only SQLite] Kiểm tra xem cần chèn cột `stock_quantity` vào SQLite (bảng mock của Postgres / StarRocks) bằng lệnh SQL.
- Cập nhật một số SKU ngẫu nhiên thành `0` để có sản phẩm hiển thị trạng thái "Hết hàng". Tuyệt đối chỉ thao tác với DB trong `backend/database`.
- [ ] Chỉnh sửa Thuật Toán Vòng Lặp (`lead_search_tool.py`):
- Nếu `stock_quantity = 0`, gắn cứng nội dung `(Lưu ý: Mẫu này hiện TẠM HẾT HÀNG)` vào ngay lập tức trong dữ liệu list string trả về cho Prompt/AI.
- [ ] Xây dựng Loop Chạy Vô Tận (Infinite Loop Script):
- Khởi tạo script `auto_train_lead_prompt.py`. Code thuật toán: `while true: run Evaluator -> if pass 100% break -> else run Optimizer -> overwrite files -> reload server -> sleep(3) -> continue`.
- [ ] Tích hợp Entrypoint Script:
- Cập nhật lại `D:\cnf\chatbot-canifa-feedback\backend\plan\run_train_lead.ps1` có hỗ trợ logging vòng lặp rõ ràng.
backend/plan/doing/ai_judge_prompt.md deleted 100644 → 0
View file @ 2b624706
# AI Judge Prompt - Fashion Matches Evaluator
Mày là một Chuyên gia Thời trang và AI Giám khảo (AI Judge) cấp cao.
Nhiệm vụ của mày là kiểm tra kết quả trả về từ thuật toán "Fashion Matches" (Gợi ý đồ bộ) của ứng dụng Canifa.
Luật kiểm tra (Bắt lỗi):
1. **Lỗi mix rác (Demographic Mismatch):** Nếu sản phẩm gốc là đồ Người lớn (ví dụ áo phông Nam, váy Nữ), tuyệt đối KHÔNG ĐƯỢC PHÉP gợi ý đi kèm các món đồ của trẻ em (các món có chữ "bé", "kid" trong tên sản phẩm hoặc metadata tuổi/giới tính).
2. **Lỗi phớt lờ Dịp Mặc (Occasion Ignore):** Đồ mặc nhà (đồ ngủ) không được phối cho dịp "Đi chơi" hay "Đi làm".
Đầu vào (Văn bản JSON hoặc String):
{Kết quả xuất ra từ hệ thống phối đồ cho một số sản phẩm test tiêu biểu}
Nhiệm vụ đầu ra:
- Cẩn thận soi từng dòng kết quả phối. Nếu mày phát hiện bất kỳ món đồ nào dính lỗi 1 hoặc 2, hãy TỪ CHỐI (FAIL) và liệt kê chính xác Tên sản phẩm, Mã sản phẩm và Lý do lỗi để Backend Developer sửa thuật toán.
- Nếu mày đọc hết và thấy KẾT QUẢ ĐÚNG 100% SẠCH SẼ, không dính đồ trẻ em vào người lớn, dịp mặc xếp đúng, MÀY PHẢI IN RA MỘT DÒNG DUY NHẤT LÀ:
`PASS_EVAL`
backend/plan/doing/ai_stylist_plan.md deleted 100644 → 0
View file @ 2b624706
# Ralph Loop: Fix AI Stylist (Demographic Mismatch & Occasion Ignore)
## Mục Tiêu (Goal)
Khắc phục 2 lỗi lõi trong thuật toán phối đồ (worker/stylist_engine.py):
1. **Lỗi mix rác (Demographic Mismatch):** Đồ người lớn bị gợi ý mix chung với đồ trẻ con do query SQL thiếu lọc và do hàm check `_pass_hard_filter` bị lọt khe với các sản phẩm Unisex thiếu `age_group`.
2. **Lỗi phớt lờ Dịp Mặc (Occasion Ignored):** Gợi ý đồ không quan tâm áo/quần đó dành cho "mặc nhà", "đi làm" hay "đi chơi".
## Ranh Giới (Boundaries)
- **FILE ĐƯỢC PHÉP SỬA:** `backend/worker/stylist_engine.py` (Và các query sinh ra từ file này).
- **FILE CẤM ĐỤNG VÀO:** `eval_stylist.py`, `run_ralph_fashion.sh`.
- **YÊU CẦU ĐÔNG MÁC:** Mọi thay đổi đều phải được xác nhận bằng cách chạy `python backend/eval_stylist.py` sao cho trả về PASS (exit=0).
## Các Hàm Chức Năng Cần Khoan Đục Nhất Định:
1. `_pass_hard_filter()`: Phải vá chặt. Nếu nguồn là Người Cụ Thể (Nam/Nữ) -> Phối phải chắc chắn KHÔNG phải đồ có hint trẻ con. Hãy check sâu theo cây category nếu cần.
2. `compute_super_classifications_sql()`: Câu `SELECT` phải bọc thêm query chặn `product_name NOT LIKE '%bé%'` nếu `gender` gốc không phải dành cho trẻ em.
3. `_score()` và `_occasion_score()`: Bỏ comment hàm `_occasion_score()`. Bắt buộc thuật toán phải móc vào `dip_mac` NLP tag của sản phẩm để cộng/điểm.
## Kịch Bản Thoát:
Sau khi `python eval_stylist.py` PASS, hãy tạo file `DONE.flag` tại thư mục này để kết thúc vòng lặp.
## [C?P NH?T T? H? TH?NG] - D? Li?u Chu?n Ha
- build xong local sqlite database v?i T?T C? d? tu?i v occasions (magento_ref_code, product_name, chatbot_fashion_rules d du?c b?c vo).
- Agent c th? tr?c ti?p test k?t h?p thng qua dump_matches.py ho?c eval_stylist.py. DB m?i dang dng canifa_local.sqlite.
backend/plan/doing/fashion-ai-dashboard.md deleted 100644 → 0
View file @ 2b624706
# 🔨 Fashion AI Dashboard — 2-panel UI + Rules + Score Tester
**Status:** doing
**Priority:** high
**Started:** 2026-04-15
**Owner:** team
## Mục tiêu
Dashboard quản lý AI phối đồ cho admin: xem/edit matches, chỉnh rules, test score.
## Checklist
- [x] Thiết kế 2-panel layout (list trái + detail phải)
- [x] API list sản phẩm với `has_ai_matches`
- [x] Tab "Phối đồ AI" — xem matches theo dịp
- [x] Tab "Mô tả SP" — xem description_data
- [x] Tab "Test Score" — nhập mã SP đích, xem điểm breakdown
- [x] Modal Rules — Weights / Color / Style / Roles / Occasion
- [x] API `GET /rules/config` và `PUT /rules/config`
- [x] API `POST /score-test` với breakdown chi tiết
- [x] Engine `_score_breakdown()` và `_build_reason()`
- [x] Batch AI với progress bar polling
- [ ] Validate fashion_rules.json schema trước khi lưu
- [ ] Test batch full catalog (timeout?)
- [ ] Nút Reset rules về mặc định
## Context
- Frontend: `backend/static/fashion-matches/`
- Backend: `backend/api/fashion_matches_route.py`
- Engine: `backend/worker/stylist_engine.py`
- Rules: `backend/worker/fashion_rules.json`
## Blockers
—
backend/plan/doing/lead-agent-postgres-enrich.md deleted 100644 → 0
View file @ 2b624706
# 🔨 Lead Agent — Enrich từ Postgres (ai_description + ai_matches)
**Status:** doing
**Priority:** high
**Started:** 2026-04-16
**Owner:** team
## Mục tiêu
Sau khi search StarRocks xong, batch-fetch thêm `description_data` và `ai_matches`
từ Postgres `ultra_descriptions` để AI có context phong cách + gợi ý phối đồ.
## Checklist
- [x] Thêm `_enrich_from_postgres()` vào `lead_search_tool.py`
- [x] Import `get_pooled_connection_compat`
- [x] Query `dashboard_canifa.ultra_descriptions WHERE magento_ref_code IN (...)`
- [x] Parse `description_data` → compact `ai_description` string
- [x] Merge `ai_matches` vào product item
- [ ] Cập nhật system prompt của lead agent để dùng `ai_description`
- [ ] Test A/B: so sánh response có/không có ai_description
- [ ] Monitor latency (thêm Postgres query ~50-100ms)
## Context
- File: `backend/agent/lead_stage_agent/lead_search_tool.py`
- Hàm: `_enrich_from_postgres()`, `_format_products()`
- DB: Postgres `dashboard_canifa.ultra_descriptions`
- Fields mới trong product item: `ai_description`, `ai_matches`
## Blockers
—
backend/plan/done/2026-04-16-fix-save-description-not-working.md deleted 100644 → 0
View file @ 2b624706
# ✅ Fix: Save description không lưu được + form bị trống sau save
**Status:** done
**Completed:** 2026-04-16
**Priority:** high
## Vấn đề (3 bugs)
### Bug 1: `update_tags` thiếu `conn.commit()`
Tags được update trong transaction nhưng không commit → rollback khi close connection.
### Bug 2: JS shared reference bug
`getSafeDetailData()` trả reference trực tiếp → `gatherInputsIntoData()` mutate ref
→ sau save, code `delete targetData[k]` wipe sạch object rỗng
→ form hiển thị trống, user tưởng không save được.
### Bug 3: `update_tags` chỉ tìm `internal_ref_code`
SP có color suffix (`-SA190`) không được update vì chỉ WHERE `internal_ref_code`.
## Fix
- `backend/common/ultra_desc_db.py`: thêm `conn.commit()` + rollback + magento fallback vào `update_tags()`
- `backend/static/product-desc/product-desc.js`: thay buggy in-memory wipe bằng re-fetch từ server sau save
## Kết quả
- Save thành công ✅
- Form hiển thị đúng data sau save ✅
- Tags lưu xuống DB đúng ✅
backend/plan/done/2026-04-16-fix-search-wrong-db-table.md deleted 100644 → 0
View file @ 2b624706
# ✅ Fix: search product không ra kết quả (wrong DB table)
**Status:** done
**Completed:** 2026-04-16
**Priority:** high
## Vấn đề
Trang product-desc dùng `shared_source.*` nhưng SP mới như `8BK26A001-SA190`
chỉ có trong `test_db.*` → search ra 0 kết quả.
## Fix
- File: `backend/api/product_desc_route.py` line 29
- Đổi `TABLE_NAME = "shared_source.*"` → `TABLE_NAME = "test_db.*"`
- API response trả về cả `products` (old field names) + `items` (new field names)
để backward compat với product-desc.js
## Kết quả
- Search `8BK26A001-SA190` → ra đúng 1 kết quả ✅
- Tất cả các SP khác vẫn hiển thị bình thường (1,890 SP)
backend/plan/done/smart_product_search.md deleted 100644 → 0
View file @ 2b624706
# ✅ Smart Product Search — DONE
**Ngày hoàn thành:** 2026-04-09
## Mô tả
Triển khai tính năng Smart Product Search với tiered relevance ranking cho trang Product Performance.
## Thay đổi
### Backend (`api/product_route.py`)
- Thêm **relevance scoring** bằng SQL CASE WHEN khi có search query
- Tiered scoring: Exact SKU (100) → SKU Prefix (90) → Exact Name (85) → Name StartsWith (70) → Name Contains (50) → Product Line (40) → Partial (30)
- Auto-sort theo `relevance_score DESC, quantity_sold DESC` khi search
- Trả thêm field `sort` và `relevance_score` per product
### Frontend (`product.html` + `product-render.js`)
- Thêm option "🎯 Độ liên quan" trong sort dropdown
- **Auto-switch**: tự chuyển sang sort "Độ liên quan" khi gõ search, reset về "Bán chạy" khi xóa
- **Relevance badge**: hiện badge với điểm (🎯 100, ✓ 70, ~ 30) có màu (xanh > vàng > xám)
- **Highlight**: tô vàng từ khóa tìm kiếm trong tên sản phẩm
## Tham khảo
- `searchRanking.ts` từ obsidian-Smart2Brain (`calculateTitleBoost`)
- Tiered boosting pattern: exact > prefix > startsWith > contains > partial
## Backlog Ideas (chưa làm)
1. **Dashboard stat cards thông minh hơn** — SP bán chạy chưa có mô tả, SP cập nhật gần đây, SP thiếu trường
2. **AI Agent Mode** — Agent tự tìm data (product, size guide, similar SP) trước khi generate mô tả
3. **Conversation Summarization** — tự tóm tắt khi chat quá 80% context window
4. **Tag Boosting** — tìm SP theo tags ưu tiên exact > prefix > partial
5. **Google Drive + n8n Flow** — auto-fill mô tả SP mới từ ảnh trên Drive
backend/plan/guide.md deleted 100644 → 0
View file @ 2b624706
Workflow sẽ là file `.md` nằm trong `.agent/workflows/` — khi bro gõ `/plan` thì tao tự động đọc và chạy theo instructions. Trông như này:
---
## Bro gọi `/plan` → Tao làm những việc này:
```
/plan add idea "Thêm memory cho lead bot"
→ Tạo file ideas/lead-bot-memory.md tự động
/plan start "lead-bot-memory"
→ Move ideas/ → doing/, thêm checklist template
/plan done "lead-bot-memory"
→ Move doing/ → done/2026-04-16-lead-bot-memory.md
/plan status
→ Liệt kê tất cả ideas | doing | done
```
---
## Workflow file trông như này:
```markdown
# Plan Manager Workflow
<!-- /plan-manager -->
Quản lý kế hoạch dự án qua folder structure.
## Commands
### Khi user gõ `/plan status`
1. Đọc tất cả files trong ideas/, doing/, done/
2. Hiển thị bảng tổng quan:
- 💡 X ideas đang pending
- 🔨 Y tasks đang làm
- ✅ Z tasks đã xong
### Khi user gõ `/plan add idea [tên]`
1. Tạo file ideas/[tên].md với template chuẩn
2. Báo confirm
### Khi user gõ `/plan start [tên]`
1. Move file từ ideas/ → doing/
2. Thêm Started date + Checklist section
### Khi user gõ `/plan done [tên]`
1. Move doing/[tên].md → done/YYYY-MM-DD-[tên].md
2. Thêm Completed date
```
---
## Thực tế khi dùng:
```
Bro: /plan status
Tao sẽ list:
┌─────────────────────────────────┐
│ 💡 Ideas (3) │
│ - ai-match-v2 │
│ - memory-system │
│ - export-csv │
│ │
│ 🔨 Doing (2) │
│ - fashion-dashboard [4 days] │
│ - lead-enrich [1 day] │
│ │
│ ✅ Done (8) │
│ - save-desc-fix (Apr 16) │
│ - search-fix (Apr 16) │
└─────────────────────────────────┘
```
---
**Tao tạo luôn chứ bro?** Sẽ tạo:
1. 📁 Folder structure `plan/ideas/`, `plan/doing/`, `plan/done/`
2. 📄 Templates
3. ⚙️ Workflow file `.agent/workflows/plan-manager.md`
4. Điền sẵn vài tasks từ những gì đã làm hôm nay vào `done/`
Tạo tất cả cùng lúc:
Created plan-manager.md
Tạo folder structure + điền sẵn tasks thực tế:
Created README.md
Tạo một vài tasks ideas + doing thực tế, và done từ hôm nay:
Created langfuse-score-observability.md
Created fashion-rules-reset-default.md
Created fashion-ai-dashboard.md
Created lead-agent-postgres-enrich.md
Created 2026-04-16-fix-search-wrong-db-table.md
Created 2026-04-16-fix-save-description-not-working.md
Xong! Bro `/plan status` thử ngay:
---
## 📊 `/plan status` — Hiện tại trông như này:
```
💡 IDEAS (2)
• langfuse-score-observability — track score breakdown trong Langfuse
• fashion-rules-reset-default — nút reset rules về mặc định
🔨 DOING (2)
• fashion-ai-dashboard [HIGH] — đang làm, còn 3 checklist
• lead-agent-postgres-enrich [HIGH] — đang làm, còn 3 checklist
✅ DONE (2, hôm nay)
• 2026-04-16 — fix-search-wrong-db-table
• 2026-04-16 — fix-save-description-not-working
```
---
## Structure đã tạo:
```
D:\cnf\chatbot-canifa-feedback\
├── .agent\workflows\
│ └── plan-manager.md ← workflow file, gõ /plan để dùng
│
└── backend\plan\
├── README.md
├── ideas\
│ ├── langfuse-score-observability.md
│ └── fashion-rules-reset-default.md
├── doing\
│ ├── fashion-ai-dashboard.md
│ └── lead-agent-postgres-enrich.md
└── done\
├── 2026-04-16-fix-search-wrong-db-table.md
└── 2026-04-16-fix-save-description-not-working.md
```
Lần sau bro chỉ cần nói `/plan add idea [tên]` hay `/plan done [tên]` là tao tự động quản lý nhé! 🚀
backend/plan/idea/new.md deleted 100644 → 0
View file @ 2b624706
OK bro! Đây là ý tưởng cụ thể để upgrade dashboard AI Canifa dựa trên những gì hay từ Smart2Brain:
## 🎯 Tính năng đề xuất thêm cho Dashboard AI Canifa
### 1. 🔍 **Smart Product Search** (từ `searchRanking.ts`)
**Hiện tại:** Tìm SP bằng LIKE `%keyword%` — chậm, không thông minh
**Upgrade:** Ranked search với tiered boosting
```
Ưu tiên: Exact SKU match → Prefix match → Tên SP chứa keyword → Fuzzy
VD: Gõ "polo" → Kết quả ưu tiên:
1. [99%] Áo Polo Nam Cổ Bẻ (exact in name)
2. [85%] Áo Polo Active (prefix match)
3. [40%] Set quần áo polo nhí (partial match)
```
---
### 2. 📊 **Dashboard Overview thông minh hơn**
**Thêm stat cards:**
- 📈 SP bán chạy chưa có mô tả (ưu tiên generate)
- 🔄 SP cập nhật gần nhất (timeline)
- ⚠️ SP mô tả lỗi/thiếu trường
---
### 3. 🤖 **AI Agent Mode** (từ `Agent.ts` + Tools pattern)
**Hiện tại:** AI chỉ generate mô tả 1 chiều
**Upgrade:** AI có thể TỰ tìm thêm dữ liệu trước khi viết
```
User: "Generate mô tả cho 1TS26S005"
│
Agent: │→ Tool: search_product("1TS26S005") → lấy data
│→ Tool: get_size_guide("1TS26S005") → lấy bảng size
│→ Tool: get_similar_products() → lấy SP tương tự cho cross-sell
│→ Generate mô tả đầy đủ + chính xác hơn
```
---
### 4. 💬 **Conversation Summarization** (từ `summarization.ts`)
Cho chatbot Canifa — khi chat dài quá 80% context window → tự tóm tắt lịch sử, giữ 12 tin gần nhất + summary. Tránh "quên" context.
---
### 5. 🏷️ **Tag Boosting cho Search** (từ `calculateTagBoost`)
Tìm SP theo tags ưu tiên: exact tag match > prefix > partial
```
Tìm "func:thoang_mat" → boost SP có tag đó lên top
```
---
## ⚡ Ưu tiên triển khai:
| # | Tính năng | Effort | Impact |
|---|----------|--------|--------|
| 1 | Dashboard stat cards mới | 🟢 Thấp | 🟠 Trung bình |
| 2 | Smart search ranking | 🟡 Trung bình | 🔴 Cao |
| 3 | AI Agent Mode | 🔴 Cao | 🔴 Rất cao |
| 4 | Conversation summarization | 🟡 Trung bình | 🟠 Trung bình |
Bro muốn bắt tay làm cái nào trước? Hay muốn mình viết plan chi tiết hơn? 🤙
\ No newline at end of file
backend/plan/ideas/fashion-rules-reset-default.md deleted 100644 → 0
View file @ 2b624706
# 💡 Reset rules về mặc định trong Fashion Dashboard
**Status:** idea
**Added:** 2026-04-16
**Priority:** low
## Mô tả
Thêm nút "Reset về mặc định" trong modal Rules của Fashion Dashboard.
Khi admin chỉnh weight/matrix sai, cần reset an toàn.
## Tại sao cần làm?
Hiện tại nếu lưu rules sai → phải sửa tay file `fashion_rules.json`.
## Notes
- Rules file: `backend/worker/fashion_rules.json`
- API: `PUT /api/fashion-matches/rules/config`
- Cần backup bản gốc vào `fashion_rules.default.json`
backend/plan/ideas/langfuse-score-observability.md deleted 100644 → 0
View file @ 2b624706
# 💡 Observability — Tích hợp score breakdown vào Langfuse
**Status:** idea
**Added:** 2026-04-16
**Priority:** medium
## Mô tả
Ghi dữ liệu breakdown điểm phối đồ (color/style/occasion/role) vào Langfuse
để monitor "tại sao AI recommend SP X với SP Y" trong production.
## Tại sao cần làm?
Hiện tại score tester chỉ có trên UI admin. Muốn track được xu hướng theo thời gian.
## Notes
- Score tester API: `POST /api/fashion-matches/score-test`
- Langfuse SDK v3: dùng `lf.start_as_current_observation`
backend/plan/run_train_lead.ps1 deleted 100644 → 0
View file @ 2b624706
$ErrorActionPreference = "Continue" # Tranh bi dung dot ngot khi python in ra stderr
$env:PYTHONPATH = (Join-Path $PSScriptRoot "..")
$BACKEND_DIR = (Join-Path $PSScriptRoot "..")
$env:PYTHONIOENCODING="utf8"
Write-Host "========================================================" -ForegroundColor Magenta
Write-Host " LEAD BOT AUTO-EVAL LOOP (EVALUATOR-OPTIMIZER) " -ForegroundColor Magenta
Write-Host "========================================================" -ForegroundColor Magenta
# ==================== KHOI DONG BACKEND ====================
$PYTHON_EXEC = Join-Path $BACKEND_DIR ".venv\Scripts\python.exe"
Write-Host ""
Write-Host ">> DANG KHOI DONG UVICORN BACKEND (PORT 5000)..." -ForegroundColor Yellow
$backendProc = Start-Process -FilePath $PYTHON_EXEC -ArgumentList "-m uvicorn server:app --port 5000 --reload" -WorkingDirectory $BACKEND_DIR -PassThru -WindowStyle Normal
Write-Host ">> Cho 8s de server Uvicorn khoi dong hoan toan..." -ForegroundColor Gray
Start-Sleep -Seconds 8
# ==================== CLEAN UP ====================
@("DONE_LEAD.flag","tmp_eval_results.txt","tmp_claude_prompt.txt", "tmp_eval_errors.txt") | ForEach-Object {
if (Test-Path $_) { Remove-Item $_ }
}
$ITERATION = 1
$EVAL_SCRIPT = Join-Path $PSScriptRoot "..\scripts\lead_test\run_eval.py"
# ==================== INFINITE LOOP ====================
try {
while (!(Test-Path "DONE_LEAD.flag")) {
Write-Host ""
Write-Host "========================================" -ForegroundColor Cyan
Write-Host " ITERATION NUM: $ITERATION " -ForegroundColor Cyan
Write-Host "========================================" -ForegroundColor Cyan
# ──────────────────────────────────────────────────────
# PHASE 1: EVALUATOR SUB-AGENT (PYTHON SCRIPT RUN TEST)
# ──────────────────────────────────────────────────────
Write-Host ""
Write-Host "=== PHASE 1: EVALUATOR CHAM BAI ===" -ForegroundColor Yellow
# Chay python thong qua Start-Process de luu log an toan, khong lam crash Powershell script
$evalParams = @{
FilePath = $PYTHON_EXEC
ArgumentList = """$EVAL_SCRIPT"""
NoNewWindow = $true
Wait = $true
RedirectStandardOutput = "tmp_eval_results.txt"
RedirectStandardError = "tmp_eval_errors.txt"
}
Start-Process @evalParams
# Kiem tra ket qua file output
if (Test-Path "tmp_eval_results.txt") {
Get-Content "tmp_eval_results.txt" -Tail 15 | Write-Host -ForegroundColor DarkGray
$rawLog = Get-Content "tmp_eval_results.txt" -Raw
if ($rawLog -match "Server khong" -or $rawLog -match "Server không") {
Write-Host " [WARN] Server uvicorn chua san sang hoac bi ngat. Xin cho..." -ForegroundColor Red
$ITERATION++
Start-Sleep -Seconds 3
continue
}
$failedCount = Select-String -Path "tmp_eval_results.txt" -Pattern "FAIL|PARTIAL" -AllMatches
$isAllPass = ($failedCount -eq $null -or $failedCount.Count -eq 0) -and ($rawLog -match "ROUND \d+ DONE|LOOP HOÀN THÀNH|LOOP HOAN THANH")
if ($isAllPass) {
Write-Host " [RESULT] 100% TEST PASS!" -ForegroundColor Green
New-Item -Path "DONE_LEAD.flag" -ItemType File | Out-Null
break
} else {
Write-Host " [RESULT] CON LOI (Fail/Partial: $($failedCount.Count)). Chuyen cho Optimizer..." -ForegroundColor Red
}
} else {
Write-Host " [WARN] Khong tim thay file ket qua evaluatator. Tra thu file errors.txt:" -ForegroundColor Red
if (Test-Path "tmp_eval_errors.txt") {
Get-Content "tmp_eval_errors.txt" | Write-Host -ForegroundColor Red
}
$ITERATION++
Start-Sleep -Seconds 3
continue
}
# ──────────────────────────────────────────────────────
# PHASE 2: OPTIMIZER SUB-AGENT (CLAUDE CODE CLI)
# ──────────────────────────────────────────────────────
Write-Host ""
Write-Host "=== PHASE 2: OPTIMIZER (CLAUDE CODE CLI) ===" -ForegroundColor Yellow
Write-Host ">> Goi Claude Code CLI doc loi va sua file..." -ForegroundColor Gray
$evalOutput = Get-Content "tmp_eval_results.txt" -Raw
$claudePrompt = @"
Hay dong vai mot AI Optimizer (Prompt Engineer & Backend Dev) bac thay.
Duoi day la Bao Cao Danh Gia Loi tu Evaluator Sub-agent cho cuc Lead Bot cua chung ta tren cong 5000:
===== ERROR REPORT =====
$evalOutput
========================
NHIEM VU CUA BAN (La 1 con Sub-agent sua code):
Phan tich nguyen nhan cot loi khien cac case test bi FAIL/PARTIAL o tren. Dua vao nguyen nhan:
1. Tu dong sua file `$BACKEND_DIR/agent/lead_stage_agent/prompts.py` de va System Prompt hoac xu ly loi.
2. Hoac sua thuat toan `$BACKEND_DIR/agent/lead_stage_agent/lead_search_tool.py` (Vi du: kiem tra loi filter).
3. Nghiem cam KHONG DUOC sua file Script Evaluator `run_eval.py` hay de thi `test_cases.json`.
4. Khong can xin phep, hay tu dong sua file. Sau khi sua xong, giai thich ngan gon 1 dong roi dung.
"@
$claudePrompt | Out-File -Encoding utf8 "tmp_claude_prompt.txt"
try {
$promptStr = Get-Content "tmp_claude_prompt.txt" -Raw
Write-Host "[Gemini] Dang phan tich loi va va lo hong... Xin cho..." -ForegroundColor Cyan
# Goi Gemini bang cmd de thuc thi yolo khong can hoi.
$geminiParams = @{
FilePath = "cmd.exe"
ArgumentList = "/c", "cd /d D:\cnf\chatbot-canifa-feedback && gemini --yolo -p ""@backend\plan\tmp_claude_prompt.txt"""
NoNewWindow = $true
Wait = $true
}
Start-Process @geminiParams
Write-Host ">> Gemini Optimizer da thuc thi hoan tat." -ForegroundColor Green
} catch {
Write-Host " [ERROR] Khong the goi toi Gemini CLI." -ForegroundColor Red
}
Write-Host ">> Cho 5s de uvicorn 5000 hot-reload code moi..." -ForegroundColor Gray
Start-Sleep -Seconds 5
$ITERATION++
}
} finally {
# Don dep
Write-Host ""
Write-Host ">> TAT CON SERVER UVICORN PORT 5000..." -ForegroundColor Yellow
if ($backendProc -and !$backendProc.HasExited) {
Stop-Process -Id $backendProc.Id -Force
}
}
# ==================== DONE THÀNH CÔNG ====================
Write-Host ""
Write-Host "========================================" -ForegroundColor Green
Write-Host " [DONE] HOAN TAT AUTO-TRAIN LOOP! " -ForegroundColor Green
Write-Host " Tong so vong lap da chay: $ITERATION " -ForegroundColor Green
Write-Host "========================================" -ForegroundColor Green
@("tmp_eval_results.txt","tmp_claude_prompt.txt", "tmp_eval_errors.txt") | ForEach-Object {
if (Test-Path $_) { Remove-Item $_ }
}
backend/plan/tmp_claude_prompt.txt deleted 100644 → 0
View file @ 2b624706
Hay dong vai mot AI Optimizer (Prompt Engineer & Backend Dev) bac thay.
Duoi day la Bao Cao Danh Gia Loi tu Evaluator Sub-agent cho cuc Lead Bot cua chung ta tren cong 5000:
===== ERROR REPORT =====
❌ Server không chạy tại http://127.0.0.1:5000. Hãy start backend trước.
========================
NHIEM VU CUA BAN (La 1 con Sub-agent sua code):
Phan tich nguyen nhan cot loi khien cac case test bi FAIL/PARTIAL o tren. Dua vao nguyen nhan:
1. Tu dong sua file $BACKEND_DIR/agent/lead_stage_agent/prompts.py de va System Prompt hoac xu ly loi.
2. Hoac sua thuat toan $BACKEND_DIR/agent/lead_stage_agent/lead_search_tool.py (Vi du: kiem tra loi filter).
3. Nghiem cam KHONG DUOC sua file Script Evaluator un_eval.py hay de thi est_cases.json.
4. Khong can xin phep, hay tu dong sua file. Sau khi sua xong, giai thich ngan gon 1 dong roi dung.
backend/plan/tmp_eval_results.txt deleted 100644 → 0
View file @ 2b624706
❌ Server không chạy tại http://127.0.0.1:5000. Hãy start backend trước.
backend/plan/tmp_fashion_test.txt deleted 100644 → 0
View file @ 2b624706
Binary files a/backend/plan/tmp_fashion_test.txt and /dev/null differ Binary files a/backend/plan/tmp_fashion_test.txt and /dev/null differ
backend/plan/v2_shopping_journey_chips.md deleted 100644 → 0
View file @ 2b624706
# V2 Plan — Smart Shopping Journey Suggestion Chips
> **Mục tiêu**: Không để gãy hành trình mua sắm. Luôn gợi mở phối đồ (cross-sell/upsell). Tiến tới chốt đơn.
>
> **Tham khảo**: Zalando Assistant, feedback anh Tùng (CMi Director), chị Huyền (BA)
---
## 📊 Tổng quan hành trình
```
KHÁM PHÁ → TÌM SẢN PHẨM → ĐI SÂU / SO SÁNH → CHỐT ĐƠN → SAU MUA
↓ ↓ ↓ ↓ ↓
Chips v1 Chips v1 Per-product Journey Post-sale
(done ✅) (done ✅) buttons (v2) chips (v2) chips (v3)
```
---
## 🚀 Phase 1: Per-Product Action Buttons (ưu tiên cao)
### Ý tưởng (từ chị Huyền BA)
Mỗi product card hiển thị thêm 2 nút nhỏ:
| Button | Hành vi | Mục đích |
|--------|---------|----------|
| 💬 **Tư vấn chi tiết** | Gửi: "Tư vấn chi tiết [SKU]" → AI mô tả sâu: chất liệu, form, phối đồ | Giữ khách ở lại, tăng hiểu biết SP |
| 🔍 **Đồ tương tự** | Gửi: "Xem đồ tương tự [SKU]" → AI tìm SP cùng loại khác kiểu/giá | Cross-sell, không mất khách khi SP đầu không ưng |
### Implement
- **Frontend** (`index.html`): Thêm 2 button vào mỗi `.product-card` trong phần render product cards
- **Backend**: Không cần sửa — AI nhận câu hỏi tự nhiên và xử lý
- **Effort**: ~1-2h
### Mockup UI
```
┌─────────────────────────┐
│ [Ảnh SP] │
│ 6TS25S018 │
│ Áo phông nữ │
│ ~~399k~~ 279k │
│ 🛍️ Xem chi tiết │
│ │
│ [💬 Tư vấn] [🔍 Tương tự] │ ← MỚI
└─────────────────────────┘
```
---
## 🧠 Phase 2: Journey-Aware Smart Chips (ưu tiên cao)
### Logic
Chips thay đổi tự động theo giai đoạn mua sắm, dựa vào `user_insight.LAST_ACTION` + `GOAL`:
```python
# LOGIC PHÂN GIAI ĐOẠN:
if chưa_hỏi_SP:
# Giai đoạn KHÁM PHÁ
chips = ["Xem sản phẩm mới", "Đồ đang sale hot", "Tư vấn phối đồ"]
elif vừa_show_SP and chưa_chọn_cụ_thể:
# Giai đoạn TÌM KIẾM
chips = [
"{Loại phối đồ} phối cùng {SP}", # Cross-sell
"Xem thêm màu khác", # Variation
"Check size còn hàng", # Size check
]
elif đã_xem_2_SP_trở_lên:
# Giai đoạn SO SÁNH
chips = [
"So sánh 2 mẫu vừa xem", # Comparison
"Tư vấn size cho tôi", # Size guidance
"Đặt hàng ngay", # Checkout push
]
elif đã_chốt_SP:
# Giai đoạn CHỐT ĐƠN
chips = [
"Phụ kiện kèm theo", # Accessory upsell
"Chính sách vận chuyển", # Shipping info
"Mã giảm giá nào không?", # Promotion
]
```
### Implement
- **Backend** (`controller.py`): Nâng cấp fallback logic → đọc `user_insight` để detect giai đoạn
- **Prompt** (`07_output_format.txt`): Thêm hướng dẫn AI sinh chips theo journey stage
- **Effort**: ~2-3h
---
## 🎯 Phase 3: Checkout Acceleration (ưu tiên trung bình)
### Chips đặc biệt khi gần chốt đơn
| Trigger | Chip hiện ra |
|---------|-------------|
| Khách nói "ưng mẫu này" | `"Đặt hàng online"`, `"Gọi hotline chốt nhanh"` |
| Khách hỏi size xong | `"Thêm vào giỏ"`, `"Xem sản phẩm phối thêm"` |
| Khách xem 3+ SP | `"SP nào hợp nhất với bạn?"` → AI recommend 1 SP tốt nhất |
### Implement
- **Backend**: Thêm logic detect "near-checkout" signals từ `LAST_ACTION`
- **Prompt**: Thêm instruction cho AI khi khách gần chốt đơn → push mạnh hơn
- **Effort**: ~2h
---
## 📦 Phase 4: Post-Purchase (ưu tiên thấp — v3)
Khi khách đã mua xong:
- `"Chính sách đổi trả"`
- `"Kiểm tra đơn hàng"`
- `"Gợi ý outfit cho tuần sau"`
> Cần tích hợp order tracking API → giai đoạn sau.
---
## 📋 Implementation Priority
| # | Task | Effort | Impact | Priority |
|---|------|--------|--------|----------|
| 1 | Per-product buttons (Tư vấn / Tương tự) | 1-2h | ⭐⭐⭐⭐⭐ | 🔴 Triển ngay |
| 2 | Journey-aware smart chips | 2-3h | ⭐⭐⭐⭐ | 🔴 Triển ngay |
| 3 | Checkout acceleration chips | 2h | ⭐⭐⭐⭐ | 🟡 Sau Phase 1+2 |
| 4 | Post-purchase chips | 3h+ | ⭐⭐ | 🟢 v3 |
---
## 🔧 Files cần sửa
### Phase 1 (Per-product buttons)
- `backend/static/index.html` — thêm 2 button vào product card render
### Phase 2 (Journey-aware chips)
- `backend/agent/controller.py` — nâng cấp fallback logic đọc user_insight
- `backend/agent/prompt_module/07_output_format.txt` — thêm hướng dẫn journey chips
### Phase 3 (Checkout acceleration)
- `backend/agent/controller.py` — detect near-checkout signals
- `backend/agent/prompt_module/04a_sales_core.txt` — sales push instructions
---
## ✅ Verification
1. Test hành trình đầy đủ: Chào → Tìm áo → Bấm "Tư vấn chi tiết" → Bấm "Quần phối cùng" → So sánh → Chốt đơn
2. Verify chips thay đổi theo từng giai đoạn
3. Đảm bảo không gãy UX — mọi chip đều dẫn đến bước tiếp theo có ý nghĩa
backend/server.py
View file @ 42963a54
...@@ -91,11 +91,6 @@ async def startup_event(): ...@@ -91,11 +91,6 @@ async def startup_event():
asyncio.create_task(report_worker_loop()) asyncio.create_task(report_worker_loop())
logger.info("✅ Report Queue Worker started (background task)") logger.info("✅ Report Queue Worker started (background task)")
# Thêm worker chạy ngầm tự động đồng bộ Tồn Kho Cache
from api.stock_cache.stock_cache_route import stock_cache_worker_loop
asyncio.create_task(stock_cache_worker_loop())
logger.info("✅ Stock Cache Cron Job started (background task - 3 mins/sync)")
@app.on_event("shutdown") @app.on_event("shutdown")
async def shutdown_event(): async def shutdown_event():
...@@ -226,9 +221,6 @@ app.include_router(mock_auth_router) # Mock Auth (identity linking test) ...@@ -226,9 +221,6 @@ app.include_router(mock_auth_router) # Mock Auth (identity linking test)
from api.feedback_agent.feedback_agent_route import router as feedback_agent_router from api.feedback_agent.feedback_agent_route import router as feedback_agent_router
app.include_router(feedback_agent_router) # Lõi Agent Rút Kinh Nghiệm (Langfuse -> Rules) app.include_router(feedback_agent_router) # Lõi Agent Rút Kinh Nghiệm (Langfuse -> Rules)
from api.stock_cache.stock_cache_route import router as stock_cache_router
app.include_router(stock_cache_router) # API Cache Tồn Kho Redis Crawler
from api.social_inbox.social_inbox_route import router as social_inbox_router from api.social_inbox.social_inbox_route import router as social_inbox_router
app.include_router(social_inbox_router) # Social Inbox (Facebook/Instagram/TikTok → Learning Loop) app.include_router(social_inbox_router) # Social Inbox (Facebook/Instagram/TikTok → Learning Loop)
......
backend/static/main.html
View file @ 42963a54
...@@ -268,10 +268,10 @@ body{margin:0;display:flex;min-height:100vh} ...@@ -268,10 +268,10 @@ body{margin:0;display:flex;min-height:100vh}
<span>Feedback Demo</span> <span>Feedback Demo</span>
<span class="nav-badge badge-new">NEW</span> <span class="nav-badge badge-new">NEW</span>
</a> </a>
<a data-page="http://172.16.2.210:5006/static/index.html" class="nav-item" onclick="navigateTo(this)" title="Chatbot (Dev)"> <a data-page="save/save.html" class="nav-item" onclick="navigateTo(this)" title="Chatbot (Local)">
<span class="nav-icon"><svg width="18" height="18" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><path d="M21 15a2 2 0 0 1-2 2H7l-4 4V5a2 2 0 0 1 2-2h14a2 2 0 0 1 2 2z"/></svg></span> <span class="nav-icon"><svg width="18" height="18" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><path d="M21 15a2 2 0 0 1-2 2H7l-4 4V5a2 2 0 0 1 2-2h14a2 2 0 0 1 2 2z"/></svg></span>
<span>Chatbot (Dev)</span> <span>Chatbot (Local)</span>
<span class="nav-badge badge-beta">DEV</span> <span class="nav-badge badge-beta">LOCAL</span>
</a> </a>
<a data-page="ton-cache.html" class="nav-item" onclick="navigateTo(this)" title="Tồn Cache"> <a data-page="ton-cache.html" class="nav-item" onclick="navigateTo(this)" title="Tồn Cache">
<span class="nav-icon"><svg width="18" height="18" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><ellipse cx="12" cy="5" rx="9" ry="3"/><path d="M3 5V19A9 3 0 0 0 21 19V5"/><path d="M3 12A9 3 0 0 0 21 12"/></svg></span> <span class="nav-icon"><svg width="18" height="18" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round"><ellipse cx="12" cy="5" rx="9" ry="3"/><path d="M3 5V19A9 3 0 0 0 21 19V5"/><path d="M3 12A9 3 0 0 0 21 12"/></svg></span>
......
backend/static/save/save.html
View file @ 42963a54
<!-- <!DOCTYPE html> <!DOCTYPE html>
<html lang="en"> <html lang="en">
<head> <head>
...@@ -25,7 +25,7 @@ ...@@ -25,7 +25,7 @@
<div class="container"> <div class="container">
<div class="chat-internal-wrapper"> <div class="chat-internal-wrapper">
<div class="header"> <div class="header">
<h2>?? Canifa AI Chat</h2> <h2>🤖 Canifa AI Chat</h2>
<div class="config-area" style="flex-wrap: wrap; display: flex; align-items: center; gap: 10px;"> <div class="config-area" style="flex-wrap: wrap; display: flex; align-items: center; gap: 10px;">
<div style="display: flex; gap: 5px; align-items: center;"> <div style="display: flex; gap: 5px; align-items: center;">
<label style="font-size: 0.8em; color: #aaa;">Device ID:</label> <label style="font-size: 0.8em; color: #aaa;">Device ID:</label>
...@@ -43,33 +43,33 @@ ...@@ -43,33 +43,33 @@
</div> </div>
<!-- Action Buttons --> <!-- Action Buttons -->
<button onclick="loadHistory(true)" title="Load History">? History</button> <button onclick="loadHistory(true)" title="Load History">↻ History</button>
<button onclick="togglePromptEditor()" <button onclick="togglePromptEditor()"
style="background: #e6b800; color: #2d2d2d; font-weight: bold;">?? Prompt</button> style="background: #e6b800; color: #2d2d2d; font-weight: bold;">📝 Prompt</button>
<button onclick="clearUI()" style="background: #d32f2f;">? UI</button> <button onclick="clearUI()" style="background: #d32f2f;">✗ UI</button>
</div> </div>
</div> </div>
<div class="chat-box" id="chatBox"> <div class="chat-box" id="chatBox">
<div class="load-more" id="loadMoreBtn" style="display: none;"> <div class="load-more" id="loadMoreBtn" style="display: none;">
<button onclick="loadHistory(false)">Load Older Messages ??</button> <button onclick="loadHistory(false)">Load Older Messages ⬆️</button>
</div> </div>
<div id="messagesArea" style="display: flex; flex-direction: column; gap: 15px;"></div> <div id="messagesArea" style="display: flex; flex-direction: column; gap: 15px;"></div>
</div> </div>
<div class="typing-indicator" id="typingIndicator"> <div class="typing-indicator" id="typingIndicator">
<span style="font-style: normal;">??</span> AI is thinking... <span style="font-style: normal;">🤖</span> AI is thinking...
</div> </div>
<div class="input-area"> <div class="input-area">
<input type="text" id="userInput" placeholder="Type your message..." <input type="text" id="userInput" placeholder="Type your message..."
onkeypress="handleKeyPress(event)" autocomplete="off"> onkeypress="handleKeyPress(event)" autocomplete="off">
<button onclick="sendMessage()" id="sendBtn">? Send</button> <button onclick="sendMessage()" id="sendBtn">▶ Send</button>
<button onclick="resetChat()" id="resetBtn" title="Reset Session" <button onclick="resetChat()" id="resetBtn" title="Reset Session"
style="background: #ffc107; color: #333; font-weight: bold; padding: 0 20px; margin-left: 10px; border: none; border-radius: 8px; cursor: pointer; display: flex; align-items: center; justify-content: center;">?? style="background: #ffc107; color: #333; font-weight: bold; padding: 0 20px; margin-left: 10px; border: none; border-radius: 8px; cursor: pointer; display: flex; align-items: center; justify-content: center;">🔄
Reset</button> Reset</button>
</div> </div>
</div> </div>
...@@ -78,8 +78,8 @@ ...@@ -78,8 +78,8 @@
<!-- Prompt Editor Panel --> <!-- Prompt Editor Panel -->
<div class="prompt-panel" id="promptPanel"> <div class="prompt-panel" id="promptPanel">
<div class="prompt-header"> <div class="prompt-header">
<h3>?? System Prompt</h3> <h3>📝 System Prompt</h3>
<button class="btn-close-panel" onclick="togglePromptEditor()">�</button> <button class="btn-close-panel" onclick="togglePromptEditor()">×</button>
</div> </div>
<textarea id="systemPromptInput" class="prompt-textarea" placeholder="Loading prompt content..." <textarea id="systemPromptInput" class="prompt-textarea" placeholder="Loading prompt content..."
...@@ -88,8 +88,8 @@ ...@@ -88,8 +88,8 @@
<div class="panel-footer"> <div class="panel-footer">
<span class="status-text" id="promptStatus">Ready to edit</span> <span class="status-text" id="promptStatus">Ready to edit</span>
<div style="display: flex; gap: 10px;"> <div style="display: flex; gap: 10px;">
<button class="action-btn btn-reload" onclick="loadSystemPrompt()">? Reset</button> <button class="action-btn btn-reload" onclick="loadSystemPrompt()">↻ Reset</button>
<button class="action-btn btn-save" onclick="saveSystemPrompt()">?? Save & Apply</button> <button class="action-btn btn-save" onclick="saveSystemPrompt()">💾 Save & Apply</button>
</div> </div>
</div> </div>
</div> </div>
...@@ -101,4 +101,4 @@ ...@@ -101,4 +101,4 @@
<script src="/static/save/save.js"></script> <script src="/static/save/save.js"></script>
</body> </body>
</html> --> </html>
\ No newline at end of file \ No newline at end of file
backend/tempjs.js deleted 100644 → 0
View file @ 2b624706
const SVG = {
Init: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><path d="M12 2v4M12 18v4M4.93 4.93l2.83 2.83M16.24 16.24l2.83 2.83M2 12h4M18 12h4M4.93 19.07l2.83-2.83M16.24 7.76l2.83-2.83" stroke="currentColor" stroke-width="2" stroke-linecap="round"/></svg>`,
Doc: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><path d="M14 2H6a2 2 0 00-2 2v16a2 2 0 002 2h12a2 2 0 002-2V8l-6-6z" stroke="currentColor" stroke-width="1.6" stroke-linejoin="round"/><path d="M14 2v6h6M16 13H8M16 17H8M10 9H8" stroke="currentColor" stroke-width="1.6" stroke-linecap="round"/></svg>`,
Database: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><ellipse cx="12" cy="5" rx="9" ry="3" stroke="currentColor" stroke-width="1.6"/><path d="M21 12c0 1.66-4.03 3-9 3s-9-1.34-9-3" stroke="currentColor" stroke-width="1.6"/><path d="M3 5v14c0 1.66 4.03 3 9 3s9-1.34 9-3V5" stroke="currentColor" stroke-width="1.6"/></svg>`,
Score: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><path d="M22 12h-4l-3 9L9 3l-3 9H2" stroke="currentColor" stroke-width="1.6" stroke-linejoin="round"/></svg>`,
Filter: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><path d="M3 6h18M7 12h10M11 18h2" stroke="currentColor" stroke-width="1.6" stroke-linecap="round"/></svg>`,
Check: `<svg viewBox="0 0 24 24" fill="none" width="100%" height="100%"><path d="M22 11.08V12a10 10 0 11-5.93-9.14" stroke="currentColor" stroke-width="1.6" stroke-linecap="round"/><path d="M22 4L12 14.01l-3-3" stroke="currentColor" stroke-width="1.6" stroke-linecap="round"/></svg>`
};
const NODES = [
{ id:"init", step:"01", label:"Khởi động AI Engine", brief:"Chuẩn bị pipeline phối đồ", icon:"Init", color:"#a78bfa" },
{ id:"fetch_product", step:"02", label:"Phân tích SP Gốc", brief:"Nạp metadata, mã màu, type", icon:"Doc", color:"#38bdf8" },
{ id:"fetch_rules", step:"03", label:"Kéo luật phối DB", brief:"Truy vấn chatbot_fashion_rules", icon:"Database", color:"#facc15" },
{ id:"scoring", step:"04", label:"Scoring Engine", brief:"Tính Color Synergy, Material, Occasion", icon:"Score", color:"#fb923c" },
{ id:"dedup", step:"05", label:"Deduplication & Mở rộng", brief:"Lọc trùng, SQL Classifications", icon:"Filter", color:"#f87171" },
{ id:"complete", step:"06", label:"Hoàn tất", brief:"Đóng gói JSON trả frontend", icon:"Check", color:"#34d399" }
];
// Setup Nodes UI
function renderNodes() {
const wrap = document.getElementById('flowNodes');
let html = '';
NODES.forEach((n, idx) => {
html += \`<div id="node-\${n.id}" class="mf-node" style="border-color:\${n.color}55">
<div class="mf-node-icon" style="color:\${n.color};background:\${n.color}15">\${SVG[n.icon]}</div>
<div style="flex:1">
<div style="display:flex;align-items:center;gap:8px;margin-bottom:2px">
<span class="mf-node-step" style="color:\${n.color}">\${n.step}</span>
<span class="mf-node-title">\${n.label}</span>
</div>
<div class="mf-node-brief">\${n.brief}</div>
</div>
</div>\`;
if (idx < NODES.length - 1) {
html += \`<div id="conn-\${n.id}" class="mf-connector"><div class="mf-connector-line"></div></div>\`;
}
});
wrap.innerHTML = html;
}
renderNodes();
// Search Input Logic
let searchTimeout = null;
const searchInput = document.getElementById('searchInput');
const searchResults = document.getElementById('searchResults');
let eventSource = null;
searchInput.addEventListener('input', (e) => {
const q = e.target.value.trim();
if (q.length < 2) {
searchResults.style.display = 'none';
return;
}
clearTimeout(searchTimeout);
searchTimeout = setTimeout(async () => {
try {
const res = await fetch(\`/api/fashion-matches/simulator/search?q=\${encodeURIComponent(q)}\`);
const data = await res.json();
if (data.ok && data.data.length > 0) {
let html = '';
data.data.forEach(item => {
html += \`
<div class="search-item" onclick="startSimulation('\${item.code}')">
<img src="\${item.image || ''}" class="search-item-img" onerror="this.src='data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHdpZHRoPSIxMDAlIiBoZWlnaHQ9IjEwMCUiIGZpbGw9IiNlMmU4ZjAiPjxyZWN0IHdpZHRoPSIxMDAlIiBoZWlnaHQ9IjEwMCUiLz48L3N2Zz4='">
<div class="search-item-info">
<div class="search-item-name">\${item.name}</div>
<div class="search-item-code">\${item.code} • \${item.color}</div>
</div>
</div>
\`;
});
searchResults.innerHTML = html;
searchResults.style.display = 'block';
} else {
searchResults.innerHTML = '<div style="padding: 16px; font-size: 11px; color:#94a3b8; text-align:center;">Không tìm thấy sản phẩm...</div>';
searchResults.style.display = 'block';
}
} catch (err) {
console.error(err);
}
}, 300);
});
document.addEventListener('click', (e) => {
if (!e.target.closest('.search-box')) {
searchResults.style.display = 'none';
}
});
searchInput.addEventListener('keydown', (e) => {
if (e.key === 'Enter') {
e.preventDefault();
const firstResult = searchResults.querySelector('.search-item');
if (firstResult && searchResults.style.display !== 'none') {
firstResult.click();
} else {
const q = e.target.value.trim();
if (q) startSimulation(q);
}
}
});
// Logger
const term = document.getElementById('logTerminal');
function logTerminal(msg, type = 'normal') {
const time = new Date().toLocaleTimeString('vi-VN', {hour12: false});
const div = document.createElement('div');
div.className = \`log-line \${type}\`;
div.innerHTML = \`<span class="log-time">[\${time}]</span> \${msg}\`;
term.appendChild(div);
term.scrollTop = term.scrollHeight;
}
// Reset UI
function resetUI() {
document.querySelectorAll('.mf-node').forEach(el => {
el.classList.remove('active', 'done');
});
document.querySelectorAll('.mf-connector').forEach(el => {
el.classList.remove('active');
});
term.innerHTML = '';
document.getElementById('finalResult').classList.remove('show');
document.getElementById('outfitGrid').innerHTML = '';
}
// Start Stream
function startSimulation(code) {
searchResults.style.display = 'none';
searchInput.value = code;
if (eventSource) {
eventSource.close();
}
resetUI();
logTerminal(\`Starting simulator for \${code}...\`);
eventSource = new EventSource(\`/api/fashion-matches/simulator/stream?code=\${encodeURIComponent(code)}\`);
eventSource.onmessage = (event) => {
const data = JSON.parse(event.data);
if (data.error) {
logTerminal(data.status, 'error');
eventSource.close();
return;
}
// Un-activate all nodes, mark previous as done
document.querySelectorAll('.mf-node').forEach(el => {
if (el.classList.contains('active')) {
el.classList.remove('active');
el.classList.add('done');
}
});
const currentNode = document.getElementById(\`node-\${data.node}\`);
if (currentNode) {
currentNode.classList.add('active');
}
// Line connector active
if (data.step > 1) {
const prevId = NODES[data.step - 2].id;
const conn = document.getElementById(\`conn-\${prevId}\`);
if (conn) conn.classList.add('active');
}
// Log terminal
let logType = 'normal';
if (data.step === 6) logType = 'success';
logTerminal(data.status, logType);
// Render payload if step 6
if (data.step === 6 && data.payload && data.payload.ai_matches) {
renderFinalResults(data.payload.ai_matches);
eventSource.close();
}
};
eventSource.onerror = (err) => {
logTerminal("Connection closed or error", "error");
eventSource.close();
};
}
function renderFinalResults(matches) {
const grid = document.getElementById('outfitGrid');
let html = '';
for (const [role, items] of Object.entries(matches)) {
if (!items || items.length === 0) continue;
html += \`<div class="outfit-card">
<div class="outfit-role">Phối với \${role}</div>
<div class="product-combo">\`;
items.forEach(p => {
html += \`
<div class="product-mini">
<img src="\${p.image_url || ''}" onerror="this.src='data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHdpZHRoPSIxMDAlIiBoZWlnaHQ9IjEwMCUiIGZpbGw9IiNlMmU4ZjAiPjxyZWN0IHdpZHRoPSIxMDAlIiBoZWlnaHQ9IjEwMCUiLz48L3N2Zz4='">
<div class="product-mini-name">\${p.name || 'Không có tên'}</div>
<div class="product-mini-code">\${p.sku || p.code || ''}</div>
<div class="product-mini-code" style="color:var(--primary);margin-top:4px">Điểm: \${(p.score || 0).toFixed(1)}</div>
</div>
\`;
});
html += \`</div></div>\`;
}
grid.innerHTML = html;
document.getElementById('finalResult').classList.add('show');
}
backend/worker/stylist_engine.py
View file @ 42963a54
...@@ -122,11 +122,11 @@ class StylistEngine: ...@@ -122,11 +122,11 @@ class StylistEngine:
# Fetch allowed mappings from DB: {occasion_tag: set(target_category)} # Fetch allowed mappings from DB: {occasion_tag: set(target_category)}
allowed_by_occ = self._fetch_allowed_mappings(anchor_cat, gender) allowed_by_occ = self._fetch_allowed_mappings(anchor_cat, gender)
# ── FALLBACK: DB table trống → dùng hardcoded rules từ fashion_rules.json ── # ── FALLBACK: DB table trống → dùng hardcoded rules từ fashion_rules.json (Đã comment theo yêu cầu) ──
# if not allowed_by_occ:
# allowed_by_occ = self._get_fallback_mappings(anchor_cat)
if not allowed_by_occ: if not allowed_by_occ:
allowed_by_occ = self._get_fallback_mappings(anchor_cat) logger.warning("[Stylist] No rules for anchor '%s'", anchor_cat)
if not allowed_by_occ:
logger.warning("[Stylist] No rules (DB + fallback) for anchor '%s'", anchor_cat)
return {} return {}
# Initialize buckets only for occasions that have rules # Initialize buckets only for occasions that have rules
...@@ -179,27 +179,32 @@ class StylistEngine: ...@@ -179,27 +179,32 @@ class StylistEngine:
return result return result
def _fetch_allowed_mappings(self, anchor_cat: str, gender: str = "") -> dict: def _fetch_allowed_mappings(self, anchor_cat: str, gender: str = "") -> dict:
"""Fetch {occasion_tag: set(target_category)} from chatbot_fashion_rules. """Fetch {occasion_tag: set(target_category)} from SQLite: pg__dashboard_canifa__ai_outfit_rules."""
Filters by gender_target: returns rules matching (gender, 'all'). import sqlite3
""" db_path = os.path.join(os.path.dirname(os.path.dirname(__file__)), "123.db")
conn = None conn = None
try: try:
conn = get_pooled_connection_compat() conn = sqlite3.connect(db_path)
cur = conn.cursor() cur = conn.cursor()
gender_key = self._normalize_gender(gender) gender_key = self._normalize_gender(gender)
try: sqlite_gender_map = {
cur.execute( "nu": "women",
"""SELECT occasion_tag, target_category FROM dashboard_canifa.chatbot_fashion_rules "nam": "men",
WHERE UPPER(anchor_category) = UPPER(%s) "be_gai": "girl",
AND (gender_target = %s OR gender_target = 'all')""", "be_trai": "boy",
(anchor_cat, gender_key) "unisex": "unisex"
) }
except Exception: target_gender = sqlite_gender_map.get(gender_key, "unisex")
# Fallback: column may not exist yet
cur.execute( cur.execute(
"SELECT occasion_tag, target_category FROM dashboard_canifa.chatbot_fashion_rules WHERE UPPER(anchor_category) = UPPER(%s)", """SELECT occasion, target_category
(anchor_cat,) FROM pg__dashboard_canifa__ai_outfit_rules
) WHERE UPPER(anchor_category) = UPPER(?)
AND (gender = ? OR gender = 'unisex')""",
(anchor_cat, target_gender)
)
mapping: dict[str, set[str]] = {} mapping: dict[str, set[str]] = {}
for row in cur.fetchall(): for row in cur.fetchall():
occ, tgt = row[0], row[1] occ, tgt = row[0], row[1]
...@@ -216,25 +221,21 @@ class StylistEngine: ...@@ -216,25 +221,21 @@ class StylistEngine:
conn.close() conn.close()
def _get_fallback_mappings(self, anchor_cat: str) -> dict: def _get_fallback_mappings(self, anchor_cat: str) -> dict:
"""Fallback: đọc fallback_occasion_rules từ fashion_rules.json. """Fallback: đọc fallback_occasion_rules từ fashion_rules.json. (Đã comment)"""
Trả về {occasion_tag: set(target_category_lower)} — cùng format với _fetch_allowed_mappings(). # fallback = self.rules.get("fallback_occasion_rules", {})
""" # occ_map = fallback.get(anchor_cat, {})
fallback = self.rules.get("fallback_occasion_rules", {}) # if not occ_map:
occ_map = fallback.get(anchor_cat, {}) # for key, val in fallback.items():
if not occ_map: # if key.lower() == anchor_cat.lower():
# Thử case-insensitive match # occ_map = val
for key, val in fallback.items(): # break
if key.lower() == anchor_cat.lower(): # if not occ_map:
occ_map = val # return {}
break # result: dict[str, set[str]] = {}
if not occ_map: # for occ, targets in occ_map.items():
logger.debug("[Stylist] No fallback rules for anchor '%s'", anchor_cat) # result[occ] = set(t.lower() for t in targets)
return {} # return result
result: dict[str, set[str]] = {} return {}
for occ, targets in occ_map.items():
result[occ] = set(t.lower() for t in targets)
logger.info("[Stylist] Using fallback rules for '%s': %d occasions", anchor_cat, len(result))
return result
...@@ -338,34 +339,39 @@ class StylistEngine: ...@@ -338,34 +339,39 @@ class StylistEngine:
return "unisex" return "unisex"
def _fetch_rules_with_reason(self, anchor_cat: str, gender: str = "") -> list[dict]: def _fetch_rules_with_reason(self, anchor_cat: str, gender: str = "") -> list[dict]:
"""Fetch full rules including occasion_tag, match_role, target_category, ai_reason. """Fetch full rules including occasion, match_role, target_category, ai_reason from SQLite."""
Filters by gender_target. import sqlite3
""" db_path = os.path.join(os.path.dirname(os.path.dirname(__file__)), "123.db")
conn = None conn = None
try: try:
conn = get_pooled_connection_compat() conn = sqlite3.connect(db_path)
cur = conn.cursor() cur = conn.cursor()
gender_key = self._normalize_gender(gender) gender_key = self._normalize_gender(gender)
try: sqlite_gender_map = {
cur.execute( "nu": "women",
"""SELECT occasion_tag, match_role, target_category, ai_reason "nam": "men",
FROM dashboard_canifa.chatbot_fashion_rules "be_gai": "girl",
WHERE UPPER(anchor_category) = UPPER(%s) "be_trai": "boy",
AND (gender_target = %s OR gender_target = 'all')""", "unisex": "unisex"
(anchor_cat, gender_key) }
) target_gender = sqlite_gender_map.get(gender_key, "unisex")
except Exception:
cur.execute( cur.execute(
"SELECT occasion_tag, match_role, target_category, ai_reason FROM dashboard_canifa.chatbot_fashion_rules WHERE UPPER(anchor_category) = UPPER(%s)", """SELECT occasion, match_role, target_category, ai_reason
(anchor_cat,) FROM pg__dashboard_canifa__ai_outfit_rules
) WHERE UPPER(anchor_category) = UPPER(?)
AND (gender = ? OR gender = 'unisex')""",
(anchor_cat, target_gender)
)
rules = [] rules = []
for row in cur.fetchall(): for row in cur.fetchall():
rules.append({ rules.append({
"occ": row[0], "occ": row[0],
"role": row[1], "role": row[1],
"target_cat": row[2], "target_cat": row[2],
"ai_reason": row[3], "ai_reason": row[3] or "",
}) })
cur.close() cur.close()
return rules return rules
......
check_db_values.py deleted 100644 → 0
View file @ 2b624706
import sqlite3
import os
db_path = "backend/database/canifa_ai_dump.sqlite"
if not os.path.exists(db_path):
print(f"DB not found at {db_path}")
exit(1)
conn = sqlite3.connect(db_path)
cur = conn.cursor()
cur.execute("SELECT name FROM sqlite_master WHERE type='table';")
tables = cur.fetchall()
print("Tables:", [t[0] for t in tables])
# Check distinct values for gender_by_product and age_by_product
table_name = "sr__test_db__magento_product_dimension_with_text_embedding"
try:
cur.execute(f"SELECT DISTINCT gender_by_product FROM {table_name}")
genders = cur.fetchall()
print("Genders:", [g[0] for g in genders])
cur.execute(f"SELECT DISTINCT age_by_product FROM {table_name}")
ages = cur.fetchall()
print("Ages:", [a[0] for a in ages])
except Exception as e:
print(f"Error querying table {table_name}: {e}")
conn.close()
plan/doings/cuccu-note-feature-parity.md deleted 100644 → 0
View file @ 2b624706
# 🔧 DOING: CuCu Note — Feature Parity & Beyond
> Cập nhật: 2026-04-19 | Owner: Dev Team
> Đây là file theo dõi tiến độ **đang làm**. Khi task xong → chuyển sang `/done`.
---
## 🔥 Epic 1 — Reactions & Comments → ✅ CODE XONG (Chờ Test)
### Backend `memo_routes.py` + `services.py`
- [x] `POST /memos/{id}/reactions` — Thêm emoji reaction
- [x] `DELETE /memos/{id}/reactions/{type}` — Xoá reaction
- [x] `GET /memos/{id}/comments` — Lấy danh sách comment
- [x] `POST /memos/{id}/comments` — Tạo comment mới
- [x] `MemoResponse` trả về kèm `reactions[]` list
- [x] Batch fetch reactions (hiệu năng, tránh N+1)
- [x] `list_comments()` method trong `MemoService`
### Frontend `memoService.ts`
- [x] `upsertMemoReaction()` → gọi API thật (bỏ mock)
- [x] `deleteMemoReaction()` → gọi API thật (bỏ mock)
- [x] `createMemoComment()` → POST `/memos/{id}/comments`
- [x] `listMemoComments()` → GET `/memos/{id}/comments`
### Cần Test
- [ ] Thêm reaction ❤️ vào memo → hiển thị ngay lập tức
- [ ] Xoá reaction → biến mất khỏi UI
- [ ] Comment vào memo → hiện trong MemoDetail
- [ ] Nested comment (reply to comment)
---
## 🔔 Epic 2 — Inbox & Notifications → ❌ CHƯA LÀM
### Backend `user_routes.py`
- [ ] `GET /users/{id}/notifications` — Lấy danh sách inbox
- [ ] `PATCH /users/{id}/notifications/{notif_id}` — Đánh dấu đã đọc
- [ ] `DELETE /users/{id}/notifications/{notif_id}` — Xoá thông báo
- [ ] Tự động tạo Notification khi có comment mới vào memo → gửi cho owner
### Frontend `userService.ts`
- [ ] `listUserNotifications()` → gọi API thật (bỏ stub empty)
- [ ] `updateUserNotification()` → gọi API thật
- [ ] `deleteUserNotification()` → gọi API thật
- [ ] Badge số đỏ trên Bell icon hoạt động với data thật
---
## 📊 Epic 3 — Heatmap Activity Calendar → ❌ Cần Verify
### Backend
- [ ] Verify `GET /users/{id}/stats` trả đúng `memoDisplayTimestamps[]`
- [ ] Test backend với user có nhiều memos
### Frontend
- [ ] Kiểm tra `ActivityCalendar` component render đúng từ data thật
- [ ] Test calendar highlight đúng ngày có ghi chú
---
## 🔑 Epic 4 — Personal Access Token (PAT) → ❌ CHƯA LÀM
### Backend
- [ ] `POST /users/{id}/access-tokens` — Tạo token mới
- [ ] `GET /users/{id}/access-tokens` — List tokens
- [ ] `DELETE /users/{id}/access-tokens/{tokenId}` — Thu hồi token
- [ ] Middleware nhận PAT trong `Authorization: Bearer <pat>` header
### Frontend
- [ ] `createPersonalAccessToken()` → API thật
- [ ] `listPersonalAccessTokens()` → API thật
- [ ] Settings UI hiển thị list tokens với nút revoke
---
## 🔗 Epic 5 — Webhooks → ❌ CHƯA LÀM
### Backend
- [ ] `GET /users/{id}/webhooks`
- [ ] `POST /users/{id}/webhooks`
- [ ] `DELETE /users/{id}/webhooks/{id}`
- [ ] Trigger webhook khi tạo/xoá Memo mới
### Frontend
- [ ] Settings > Webhooks tab hoạt động
---
## 🌐 Epic 6 — SSO / OAuth (Để Sau) → ❌ CHƯA LÀM
- [ ] OAuth callback handler
- [ ] IDP config lưu vào DB
- [ ] Nút "Đăng nhập với Google/GitHub" trên trang Auth
---
## 📝 Epic 7 — Advanced Note-Taking UX (Mới Thêm) → ❌ CHƯA LÀM
### 1. Trải nghiệm Editor (Slash Commands & Clipboard)
- [ ] Tính năng Kéo thả / Paste ảnh trực tiếp vào khung text (upload qua clipboard).
- [ ] Slash Commands (`/`) mở menu chọn (Heading, Checklist, Code Block, Quote).
- [ ] Auto-Suggest Tags (`#`): Hiện popup gợi ý các tag đã tồn tại.
### 2. Ghi chú liên kết (Bi-directional Linking)
- [ ] Gõ `[[` để gợi ý tên memo khác.
- [ ] Render link `[[memo_id]]` thành link bấm được (Zettelkasten style).
### 3. Rich Media & Cải tiến View
- [ ] Link Bookmark Preview: Tự động fetch metadata (Title, Image, Desc) cho URL.
- [ ] Voice Memos: Nút ghi âm trực tiếp, lưu file audio.
- [ ] Inline Editing: Bấm đúp vào memo để sửa ngay trên luồng, không nhảy modal.
- [ ] Focus/Zen Mode: Nút ẩn nhanh sidebar để tập trung gõ.
---
## 🎯 Epic 8 — Inbound Webhooks & CRM Inbox (Trung Tâm Hứng Feedback) → ✅ CODE XONG + TEST PASS
### 1. Kênh Thu Thập (Inbound Webhook API) 📥
- [x] Backend: Viết Endpoint `POST /api/v1/inbound_webhooks/{workspace_id}` để hứng payload.
- [x] Backend: Logic bóc tách JSON và tự động đẻ ra Memo mới trong Workspace.
- [x] Backend: Optional webhook secret verification qua `X-Webhook-Secret` header.
- [x] Backend: Memo từ webhook mặc định `is_read=False`.
- [ ] Frontend: Thêm màn hình `Settings > Webhooks (Inbound)` để phát sinh và quản lý link URL. **→ Defersau**
- [ ] Frontend: Hiển thị Log history của các webhook. **→ Defer sau**
### 2. Quản lý Hộp Thư UI (Inbox Unread / Read) 📬
- [x] Backend: Thêm trường `is_read BOOLEAN DEFAULT 0` vào DB Model của Memo (với auto-migration).
- [x] Backend: Thêm endpoint `GET /users/{user_id}/inbox/unread_count` trả về số lượng unread.
- [x] Backend: Thêm endpoint `GET /users/{user_id}/inbox/memos` list các unread memos.
- [x] Backend: Hỗ trợ filter theo `workspace_id` cho inbox endpoints.
- [x] Frontend: Cải tiến UI thanh Sidebar, thêm mục `Inbox` kèm Badge số lượng (kết hợp notifications + unread memos).
- [x] Frontend: Trang `Inboxes.tsx` với 2 tabs: Notifications và Unread Memos.
- [x] Frontend: Nút check ✅ (Mark as Read) cho unread memos, dùng PATCH `/memos/{id}` với `{ "is_read": true }`.
- [x] i18n: Thêm keys: `inbox.notifications`, `inbox.unread-memos`, `inbox.no-unread-memos`, `inbox.mark-as-read`.
### 3. Database & Performance
- [x] Thêm index `idx_memos_is_read` cho truy vấn unread nhanh.
- [x] Thêm index `idx_memos_workspace` cho workspace isolation.
- [x] Migration tự động: ALTER TABLE thêm `is_read` nếu column chưa tồn tại.
---
## 📋 Ghi Chú Kỹ Thuật
- **Auth:** JWT nội bộ, `user_id` lấy từ `request.state` (set bởi middleware)
- **DB:** MongoDB, collections: `memos`, `reactions`, `activities`, `inbox`
- **Backend:** FastAPI + Python 3.11+
- **Frontend:** React + Vite + TailwindCSS + shadcn/ui
- **API Prefix:** `/api/v1/`
plan/doings/cuccu-note-sqlite-migration.md deleted 100644 → 0
View file @ 2b624706
# Kế Hoạch Chuyển Đổi CuCu Note sang SQLite (A-Z)
## 🎯 Mục Tiêu
Thay thế hoàn toàn MongoDB bằng SQLite cho hệ thống backend của CuCu Note.
- **Vị trí Database:** `C:\canifa-idea\chatbot-canifa-feedback\miniapp\cuccu_note\backend\database\cuccu_note.db`
- **Driver sử dụng:** `aiosqlite` (để hỗ trợ async/await chuẩn xác với FastAPI).
- **Mục đích:** Zero-setup, dễ dàng khởi chạy trên local Windows, phù hợp scale của note-taking app.
---
## 🏗️ Giai Đoạn 1: Initialization & Schema Design
*Thiết lập cơ sở dữ liệu và cấu trúc các bảng.*
### 1.1 Khởi tạo Database Layer
- Tạo thư mục `database` bên trong `backend/`.
- Thêm `aiosqlite` vào `requirements.txt`.
- Tạo file `common/sqlite_client.py` để thay thế `mongodb.py`. Cấu hình connection logic.
### 1.2 Thiết kế Schema (Schema Mapping)
Chuyển đổi các Collections của MongoDB thành các Tables của SQLite. Cần khởi tạo trong hàm `init_db()`.
Dưới đây là các bảng chính cần tạo (`CREATE TABLE IF NOT EXISTS`):
1. **`users`**
- `id` (INTEGER PRIMARY KEY AUTOINCREMENT)
- `email` (TEXT UNIQUE)
- `password_hash` (TEXT)
- `nickname` (TEXT)
- `created_at` (TIMESTAMP)
2. **`memos`**
- `id` (INTEGER PRIMARY KEY AUTOINCREMENT)
- `creator_id` (INTEGER, FK -> users.id)
- `content` (TEXT)
- `visibility` (TEXT: PUBLIC/PRIVATE/PROTECTED)
- `row_status` (TEXT: NORMAL/ARCHIVED)
- `pinned` (BOOLEAN)
- `created_at` (TIMESTAMP)
- `updated_at` (TIMESTAMP)
3. **`memo_relations`** (Backlinks / Linked notes)
- `memo_id` (INTEGER, FK -> memos.id)
- `related_memo_id` (INTEGER, FK -> memos.id)
- `relation_type` (TEXT: REFERENCE/COMMENT)
4. **`reactions`**
- `id` (INTEGER PRIMARY KEY AUTOINCREMENT)
- `memo_id` (INTEGER, FK -> memos.id)
- `creator_id` (INTEGER, FK -> users.id)
- `reaction_type` (TEXT e.g. 'THUMBS_UP')
5. **`comments`** (Cây bình luận dạng Flat list hoặc Adjacency list)
- Thực chất, **Memos** lưu comment bằng cách tạo một memo con, và liên kết bằng `memo_relations` có `type='COMMENT'`. Giữ nguyên pattern này để đồng bộ với Frontend. Cần confirm xem frontend cần bảng comments không hay chỉ cần Relations.
6. **`attachments`** (File/Ảnh đính kèm)
- `id` (INTEGER PRIMARY KEY)
- `memo_id` (INTEGER)
- `filename` (TEXT)
- `type` (TEXT)
- `size` (INTEGER)
- `url` (TEXT)
7. **`inbox` / `notifications`**
- `id` (INTEGER PRIMARY KEY)
- `user_id` (INTEGER)
- `type` (TEXT: MEMO_COMMENT, MENTION...)
- `status` (TEXT: UNREAD/READ/ARCHIVED)
- `payload` (JSON TEXT)
---
## 🛠️ Giai Đoạn 2: Xây Dựng ORM/Query Adapter (services.py)
*Viết lại `services.py` để sử dụng SQL thay vì MongoDB Query.*
### 2.1 Cập nhật `mongodb.py` -> `sqlite.py`
Thay thế con trỏ MongoDB bằng các async queries của SQLite.
- Xóa: `mongodb_client.memos.find()`
- Thay bằng: `async with db.execute("SELECT * FROM memos WHERE ...")`
### 2.2 Xử lý kiểu dữ liệu (Data Type Migration)
- **ID:** Đổi từ `ObjectId` (chuỗi 24 ký tự) sang **Integer/Text**. Cần cẩn thận ở API Params vì gRPC/REST hiện tại trả về chuỗi. Ở DB có thể dùng Integer, nhưng convert sang String khi trả về API.
- **Datetime:** SQLite chỉ hỗ trợ lưu dưới dạng ISO-8601 String (`YYYY-MM-DD HH:MM:SS`) hoặc Timestamp. Cần viết helper `parse_time` và `format_time` để map với `datetime` object của Python.
- **JSON Fields:** Các trường như tags, metadata phải serialize/deserialize bằng `json.dumps()` và `json.loads()` khi lưu vào cột `TEXT` của SQLite.
### 2.3 Ánh xạ các logic tìm kiếm
- Viết lại hàm `list_memos`: Thay `$match`, `$sort`, `$regex` bằng `WHERE`, `ORDER BY`, `LIKE`.
---
## 🔌 Giai Đoạn 3: Đấu Nối API & Test
*Kiểm tra độ chẩn xác sau khi đổi DB Engine.*
1. **Test Startup:** Khởi động server (`uvicorn server:app`). Verify file `cuccu_note.db` được hệ thống tạo tự động vào `backend/database/cuccu_note.db`.
2. **Test CRUD Memos:**
- Tạo memo -> Verify DB.
- Sửa nội dung -> Verify updated_at.
- List memo -> Kiểm tra xem parse thời gian và JSON đúng không.
3. **Test Relations (Comments/Reactions):**
- React vào Memo (Lệnh SQL INSERT phải vào đúng bảng).
- Test Join Query nếu cần load số lượng comments.
4. **Xóa MongoDB Dependencies:** Sau khi test mọi thứ ổn định, gỡ `motor` ra khỏi `requirements.txt`.
---
## 🚀 Hướng Dẫn Cho Agent / AI
Nếu AI nhận file này để tiếp tục code, hãy follow flow:
1. Tạo thư mục `database/` và init script table creation (`sqlite_client.py`).
2. Mở file `services.py` -> Chuyển từ class `MemoService` gọi mongodb sang gọi `sqlite_client` execute SQL query cho từng hàm: Gồm `create_memo`, `list_memos`, `update_memo`, `delete_memo`.
3. Làm tương tự tới các services khác (`Reaction`, `Notification`, ...).
4. Khởi chạy uvicorn, POST/GET bằng Python requests/pytest hoặc giao diện web để xác thực.
---
## 🤖 Cẩm Nang Ép Khuôn Cho AI (Execution Protocol & Anti-Traps)
*Nếu AI được giao nhiệm vụ này, BẮT BUỘC phải đọc kỹ các lỗi thường gặp (traps) sau để không làm code bị crash.*
### 🚨 5 Cạm Bẫy API Cần Né Khi Sang SQLite:
1. **Trap `row_factory`:** Motor trả về Type `Dict`. SQLite mặc định trả về `Tuple`.
-> **FIX:** Bắt buộc cấu hình `db.row_factory = aiosqlite.Row` ngay trong lúc tạo pool connection để có thể access theo kiểu `row["id"]`.
2. **Trap JSON Arrays:** SQLite không có kiểu Mảng (Array/List). Các trường như Tags, Payload...
-> **FIX:** Phải gọi `json.dumps(tags)` lúc `INSERT`, và gọi `json.loads(row["tags"])` lúc `SELECT`.
3. **Trap ID Casting:** Frontend và Pydantic schemas hiện tại nhận ID là chuỗi (`"1"`). SQLite trả về số nguyên (`1`).
-> **FIX:** Ép kiểu `str(row["id"])` ở tất cả mọi nơi trả về Response schema.
4. **Trap Booleans:** SQLite lưu boolean dạng số (`0` hoặc `1`).
-> **FIX:** Lúc fetch ra phải cast: `bool(row["pinned"])`.
5. **Trap Datetime Serialization:** Pydantic đôi khi không đọc được datetime ISO tùy biến.
-> **FIX:** Lưu timestamp float (unix epoch) hoặc ISO cứng. Hàm utc_now() phải nhất quán ghi xuống TEXT ISO.
### 📜 AI Execution Workflow (Khuyên Dùng)
Đừng refactor tất cả các service cùng một lúc! Hãy làm theo Trình tự:
1. Code `init_db()` trong file `common/sqlite_client.py` chạy độc lập trước.
2. Viết xong `AuthService` và `MemoService` -> Chạy Server test Endpoint `POST /api/v1/memos` ngay lập tức!
3. Nếu thành công, mới bắt đầu code nối tiếp các Service nhỏ lẻ lại (Reactions, Comments, Inbox).
4. Data từ MongoDB cũ: Bỏ trắng, chúng ta làm fresh DB hoàn toàn để giảm nợ kỹ thuật.
### 🧪 Automated Testing Protocol (BẮT BUỘC CHO AI)
Trách nhiệm của AI không dừng lại ở việc viết code. Mày **PHẢI** tự động chạy Test để chứng minh code chạy được!
1. Quét kho tàng test cũ: Trong `backend/tests/` đã có sẵn các file như `test_memos.py`, `test_api_integration.py`. Đừng xóa chúng, hãy SỬA để chúng chạy với SQLite.
2. **Setup Test Database:**
- Đừng test đè lên `database/cuccu_note.db`.
- Hãy cấu hình SQLite để dùng `database/test.db` hoặc database trong RAM (`sqlite:///:memory:`) khi biến môi trường `ENV=test` được bật. Điểu chỉnh lại `conftest.py` tương ứng.
3. **Lện Chạy Tự Động:** AI bắt buộc phải gọi Terminal / Run Command lệnh sau để tự nghiệm thu:
```bash
cd C:\canifa-idea\chatbot-canifa-feedback\miniapp\cuccu_note\backend
.\.venv\Scripts\activate
pytest tests/test_memos.py -v
pytest tests/test_api_integration.py -v
```
4. Chỉ khi Pass **100%** Test thì mày (AI) mới được phép báo cáo là Task hoàn thành. Đóng ticket và dời file này vào thư mục `done/`.
plan/done/docx-frontend-detailed-plan.md deleted 100644 → 0
View file @ 2b624706
# 📄 DOCX Document Management - Frontend Vite Implementation Plan
> **Focus:** Frontend UI/UX cho Document page trong Cuccu Note (Vite + React + TypeScript + TailwindCSS)
> **Created:** 2026-04-19
> **Status:** 🎨 DESIGN PHASE → Ready to implement
---
## 🎯 Mục tiêu nghiệp vụ (Business Goal)
Cho phép user:
1. **Upload** file DOCX (drag-drop, multi-file)
2. **Preview** nội dung DOCX trước khi import
3. **Import** DOCX thành Memo với formatting được giữ nguyên
4. **Quản lý** thư viện DOCX (list, view, download, delete)
5. **AI Enhance** (optional): Auto-tag, summarize, structure detection
---
## 🗂️ File Structure (Vite + React)
```
frontend/src/
├── pages/
│ ├── DocumentsPage.tsx # Main page /documents
│ └── DocumentDetailPage.tsx # /documents/:id (preview)
├── components/
│ └── DOCX/
│ ├── UploadArea/
│ │ ├── index.tsx # Main upload dropzone
│ │ ├── FileDropzone.tsx
│ │ ├── UploadProgress.tsx
│ │ └── ValidationErrors.tsx
│ ├── PreviewPanel/
│ │ ├── index.tsx # Preview extracted content
│ │ ├── DocumentPreview.tsx
│ │ ├── MarkdownRenderer.tsx
│ │ └── MetadataDisplay.tsx
│ ├── ImportForm/
│ │ ├── index.tsx
│ │ ├── TitleInput.tsx
│ │ ├── TagSelector.tsx
│ │ ├── WorkspaceSelect.tsx
│ │ └── VisibilitySelect.tsx
│ ├── AIEnhancePanel/
│ │ ├── index.tsx
│ │ ├── SuggestionCard.tsx
│ │ ├── TagSuggestions.tsx
│ │ ├── SummarySuggestion.tsx
│ │ └── StructureDetection.tsx
│ ├── DocumentCard/
│ │ ├── index.tsx
│ │ ├── DocumentThumbnail.tsx
│ │ └── DocumentActions.tsx
│ ├── DocumentList/
│ │ ├── index.tsx
│ │ ├── DocumentGridView.tsx
│ │ ├── DocumentTableView.tsx
│ │ └── FilterBar.tsx
│ └── common/
│ ├── LoadingSpinner.tsx
│ └── ErrorBoundary.tsx
├── hooks/
│ ├── useDocumentUpload.ts
│ ├── useDocuments.ts
│ ├── useDocumentDetail.ts
│ ├── useImportDocument.ts
│ └── useAIEnhance.ts
├── service/
│ ├── docxService.ts
│ └── types.ts
├── utils/
│ ├── docxParser.ts (client-side preview, optional)
│ └── fileHelpers.ts
└── locales/
├── en.json (add document keys)
└── vi.json (add document keys)
```
---
## 🎨 UI/UX Design System
### Color Palette (dùng existing theme)
- Primary: `oklch(0.6 0.2 250)` (màu primary của Cuccu)
- Background: `oklch(0.97 0.01 250)` (light) / `oklch(0.15 0.01 250)` (dark)
- Border: `oklch(0.8 0.02 250)`
- Muted: `oklch(0.7 0.02 250)`
### Typography
- Font: Inter (sans) + JetBrains Mono (code)
- Headings: `text-xl font-semibold`
- Body: `text-sm text-foreground`
### Components Style
- Card: `rounded-xl border border-border bg-background shadow-sm`
- Button: `px-4 py-2 rounded-md font-medium transition-colors`
- Input: `flex h-10 w-full rounded-md border border-input bg-background px-3 py-2`
---
## 📱 Page 1: Documents Library (`/documents`)
### Layout Structure:
```
┌─────────────────────────────────────────────────────────────┐
│ [Sidebar] [Main Content Area] │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌─ Page Header ──────────────────────────────────────────┐│
│ │ 📄 Documents [Upload New DOCX] ││
│ └────────────────────────────────────────────────────────┘│
│ │
│ ┌─ Filter Bar ───────────────────────────────────────────┐│
│ │ 🔍 Search documents... [All▼] [Pending] [Imported]││
│ └────────────────────────────────────────────────────────┘│
│ │
│ ┌─ Documents Grid/List ──────────────────────────────────┐│
│ │ ┌─────────────┐ ┌─────────────┐ ││
│ │ │ 📄 Report │ │ 📄 Notes │ ││
│ │ │ meeting.doc │ │ project.doc │ ││
│ │ │ 2.4 MB │ │ 1.1 MB │ ││
│ │ │ ✅ Imported │ │ ⏳ Pending │ ││
│ │ │ [View] [DL] │ │ [Preview] │ ││
│ │ └─────────────┘ └─────────────┘ ││
│ │ (hoặc Table view với columns: Name, Size, Date, Status││
│ └────────────────────────────────────────────────────────┘│
│ │
│ ┌─ Empty State ──────────────────────────────────────────┐│
│ │ [Empty illustration] ││
│ │ No documents yet. Upload your first DOCX! ││
│ └────────────────────────────────────────────────────────┘│
└─────────────────────────────────────────────────────────────┘
```
### State Management:
```typescript
interface DocumentsState {
documents: Document[];
viewMode: 'grid' | 'table';
filter: 'all' | 'pending' | 'imported';
searchQuery: string;
isLoading: boolean;
pagination: { page: number; total: number; limit: number };
}
```
---
## 📄 Page 2: Document Detail & Preview (`/documents/:id`)
### Layout:
```
┌─────────────────────────────────────────────────────────────┐
│ [Sidebar] [Main] │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌─ Document Header ─────────────────────────────────────┐│
│ │ 📄 meeting_notes.docx [Edit] [DL] ││
│ │ 2.4 MB • Uploaded 3 days ago • Status: Processed ││
│ └────────────────────────────────────────────────────────┘│
│ │
│ ┌─ Two Column Layout ───────────────────────────────────┐│
│ │ Left (40%) Right (60%) ││
│ │ ┌─ Preview ──────────┐ ┌─ Extracted Content ────┐││
│ │ │ [Thumbnail] │ │ # Meeting Notes ││
│ │ │ First page image │ │ ││
│ │ │ │ │ **Date:** Jan 15, 2024 ││
│ │ │ 📊 5 pages │ │ ││
│ │ │ 🏷️ 3 tags │ │ ## Attendees ││
│ │ │ ✍️ John Doe │ │ - Alice ││
│ │ └────────────────────┘ │ - Bob ││
│ │ │ ││
│ │ │ ## Action Items ││
│ │ │ - [ ] Task 1 ││
│ │ │ - [x] Task 2 ││
│ │ │ ││
│ │ │ [Editable textarea] ││
│ │ └─────────────────────────┘│
│ └────────────────────────────────────────────────────────┘│
│ │
│ ┌─ Import Actions ───────────────────────────────────────┐│
│ │ Title: [Meeting Notes - Jan 15, 2024] ││
│ │ Tags: [project] [meeting] [+] ││
│ │ Workspace: [PERSONAL▼] Visibility: [PRIVATE▼] ││
│ │ ││
│ │ [✨ AI Enhance] [Import as Memo] [Back to Library] ││
│ └────────────────────────────────────────────────────────┘│
└─────────────────────────────────────────────────────────────┘
```
---
## ⚡ Component Details
### 1. **UploadArea** (`components/DOCX/UploadArea/index.tsx`)
**Props:**
```typescript
interface UploadAreaProps {
onUpload: (files: File[]) => Promise<UploadResult[]>;
maxSize?: number; // bytes, default 50MB
maxFiles?: number;
accept?: string[]; // ['.docx']
disabled?: boolean;
}
```
**Implementation:**
```tsx
export const UploadArea: React.FC<UploadAreaProps> = ({
onUpload,
maxSize = 50 * 1024 * 1024,
maxFiles = 5,
accept = ['.docx'],
}) => {
const [isDragging, setIsDragging] = useState(false);
const [uploading, setUploading] = useState(false);
const [progress, setProgress] = useState<Record<string, number>>({});
const onDrop = useCallback(async (acceptedFiles: File[]) => {
setIsDragging(false);
setUploading(true);
// Validate each file
const validFiles: File[] = [];
const errors: string[] = [];
acceptedFiles.forEach(file => {
if (!accept.includes('.' + file.name.split('.').pop())) {
errors.push(`${file.name}: Invalid file type`);
} else if (file.size > maxSize) {
errors.push(`${file.name}: Too large (max ${maxSize/1024/1024}MB)`);
} else {
validFiles.push(file);
}
});
if (validFiles.length > 0) {
await onUpload(validFiles);
}
setUploading(false);
}, [onUpload, maxSize, accept]);
return (
<Dropzone
onDrop={onDrop}
onDragEnter={() => setIsDragging(true)}
onDragLeave={() => setIsDragging(false)}
accept={{ 'application/vnd.openxmlformats-officedocument.wordprocessingml.document': ['.docx'] }}
multiple={maxFiles > 1}
disabled={uploading || disabled}
>
{({ getRootProps, getInputProps }) => (
<div
{...getRootProps()}
className={cn(
"border-2 border-dashed rounded-xl p-12 text-center cursor-pointer transition-colors",
isDragging ? "border-primary bg-primary/5" : "border-border",
uploading && "opacity-50 pointer-events-none"
)}
>
<input {...getInputProps()} />
<UploadCloud className="w-12 h-12 mx-auto mb-4 text-muted-foreground" />
<p className="text-lg font-medium mb-2">
{uploading ? 'Uploading...' : 'Drop DOCX files here'}
</p>
<p className="text-sm text-muted-foreground mb-4">
or click to browse • Max {maxSize/1024/1024}MB per file
</p>
{uploading && (
<Progress value={Object.values(progress).reduce((a, b) => a + b, 0) / Object.keys(progress).length} />
)}
{errors.length > 0 && (
<Alert variant="destructive" className="mt-4">
<AlertCircle className="h-4 w-4" />
<AlertTitle>Upload Errors</AlertTitle>
<AlertDescription>
<ul className="list-disc pl-4">
{errors.map((err, i) => <li key={i}>{err}</li>)}
</ul>
</AlertDescription>
</Alert>
)}
</div>
)}
</Dropzone>
);
};
```
---
### 2. **PreviewPanel** (`components/DOCX/PreviewPanel/index.tsx`)
Hiển thị nội dung đã parse:
```tsx
interface PreviewPanelProps {
document: Document;
parsedContent?: ParsedDocxContent;
editable?: boolean;
onChange?: (content: string) => void;
}
export const PreviewPanel: React.FC<PreviewPanelProps> = ({
document,
parsedContent,
editable = false,
onChange,
}) => {
const [content, setContent] = useState(parsedContent?.content || '');
useEffect(() => {
if (parsedContent) {
setContent(parsedContent.content);
}
}, [parsedContent]);
return (
<div className="h-full flex flex-col">
{/* Thumbnail */}
{document.thumbnail_url && (
<div className="mb-4 p-4 border rounded-lg bg-muted/20">
<img
src={document.thumbnail_url}
alt={`${document.filename} preview`}
className="max-w-full h-auto mx-auto"
/>
<p className="text-xs text-center mt-2 text-muted-foreground">
First page preview
</p>
</div>
)}
{/* Metadata */}
<div className="flex gap-4 mb-4 text-sm text-muted-foreground">
<span>📄 {document.file_size ? formatBytes(document.file_size) : 'N/A'}</span>
<span>📑 {parsedContent?.metadata?.pages || '?'} pages</span>
<span>✍️ {parsedContent?.metadata?.author || 'Unknown'}</span>
</div>
{/* Content Editor/Viewer */}
<div className="flex-1 border rounded-lg overflow-hidden">
{editable ? (
<textarea
value={content}
onChange={(e) => {
setContent(e.target.value);
onChange?.(e.target.value);
}}
className="w-full h-full p-4 resize-none focus:outline-none font-mono text-sm"
placeholder="Document content will appear here..."
/>
) : (
<div className="p-4 h-full overflow-y-auto">
<MarkdownRenderer content={content} />
</div>
)}
</div>
</div>
);
};
```
---
### 3. **ImportForm** (`components/DOCX/ImportForm/index.tsx`)
Form nhập metadata trước khi import:
```tsx
interface ImportFormProps {
document: Document;
parsedContent: ParsedDocxContent;
onSubmit: (data: ImportFormData) => Promise<void>;
onCancel: () => void;
aiSuggestions?: AISuggestions;
}
export const ImportForm: React.FC<ImportFormProps> = ({
document,
parsedContent,
onSubmit,
onCancel,
aiSuggestions,
}) => {
const [title, setTitle] = useState(
aiSuggestions?.title || parsedContent.metadata?.title || document.original_name.replace('.docx', '')
);
const [tags, setTags] = useState<string[]>(aiSuggestions?.tags || []);
const [workspaceId, setWorkspaceId] = useState<string>('PERSONAL');
const [visibility, setVisibility] = useState<'PRIVATE' | 'PROTECTED' | 'PUBLIC'>('PRIVATE');
const handleSubmit = async (e: React.FormEvent) => {
e.preventDefault();
await onSubmit({
title,
tags,
workspace_id: workspaceId,
visibility,
content: parsedContent.content, // Already edited if PreviewPanel editable
});
};
return (
<form onSubmit={handleSubmit} className="space-y-4">
{/* Title */}
<div>
<label className="block text-sm font-medium mb-1">Title</label>
<input
type="text"
value={title}
onChange={(e) => setTitle(e.target.value)}
className="w-full h-10 px-3 py-2 border rounded-md focus:outline-none focus:ring-2 focus:ring-primary"
placeholder="Memo title"
required
/>
</div>
{/* Tags */}
<div>
<label className="block text-sm font-medium mb-1">Tags</label>
<TagSelector
selected={tags}
onChange={setTags}
suggestions={aiSuggestions?.tags}
/>
</div>
{/* Workspace & Visibility */}
<div className="grid grid-cols-2 gap-4">
<div>
<label className="block text-sm font-medium mb-1">Workspace</label>
<select
value={workspaceId}
onChange={(e) => setWorkspaceId(e.target.value)}
className="w-full h-10 px-3 py-2 border rounded-md bg-background"
>
<option value="PERSONAL">Personal</option>
<option value="AI_SALES_CRM">AI Sales CRM</option>
</select>
</div>
<div>
<label className="block text-sm font-medium mb-1">Visibility</label>
<select
value={visibility}
onChange={(e) => setVisibility(e.target.value as any)}
className="w-full h-10 px-3 py-2 border rounded-md bg-background"
>
<option value="PRIVATE">Private</option>
<option value="PROTECTED">Protected</option>
<option value="PUBLIC">Public</option>
</select>
</div>
</div>
{/* Actions */}
<div className="flex gap-2 pt-4">
<Button type="submit" className="flex-1">
📥 Import as Memo
</Button>
<Button type="button" variant="outline" onClick={onCancel}>
Cancel
</Button>
</div>
</form>
);
};
```
---
### 4. **AIEnhancePanel** (`components/DOCX/AIEnhancePanel/index.tsx`)
Slide-over panel với suggestions:
```tsx
export const AIEnhancePanel: React.FC<{
open: boolean;
onClose: () => void;
suggestions: AISuggestions;
onApply: (applied: Partial<AISuggestions>) => void;
}> = ({ open, onClose, suggestions, onApply }) => {
const [selected, setSelected] = useState({
tags: suggestions.tags.map(() => true),
summary: true,
structure: true,
});
return (
<Drawer open={open} onClose={onClose} side="right">
<DrawerContent className="w-full max-w-md">
<DrawerHeader>
<DrawerTitle>✨ AI Suggestions</DrawerTitle>
<DrawerDescription>
AI has analyzed your document and made these suggestions
</DrawerDescription>
</DrawerHeader>
<div className="p-4 space-y-6 overflow-y-auto">
{/* Auto-Tags */}
<div>
<h4 className="font-medium mb-2 flex items-center gap-2">
<Hash className="w-4 h-4" />
Suggested Tags
</h4>
<div className="flex flex-wrap gap-2">
{suggestions.tags.map((tag, idx) => (
<Badge
key={tag}
variant={selected.tags[idx] ? "default" : "outline"}
className="cursor-pointer"
onClick={() => {
const newSelected = [...selected.tags];
newSelected[idx] = !newSelected[idx];
setSelected({ ...selected, tags: newSelected });
}}
>
{tag}
</Badge>
))}
</div>
</div>
{/* Summary */}
{suggestions.summary && (
<div>
<h4 className="font-medium mb-2 flex items-center gap-2">
<FileText className="w-4 h-4" />
Summary
</h4>
<Card>
<CardContent className="p-3 text-sm text-muted-foreground">
{suggestions.summary}
</CardContent>
</Card>
</div>
)}
{/* Structure */}
{suggestions.structure && suggestions.structure.length > 0 && (
<div>
<h4 className="font-medium mb-2 flex items-center gap-2">
<List className="w-4 h-4" />
Detected Structure
</h4>
<ul className="space-y-1">
{suggestions.structure.map((section, idx) => (
<li key={idx} className="text-sm flex items-center gap-2 p-2 rounded hover:bg-muted">
<ChevronRight className="w-3 h-3" />
<span className="font-mono">{section.heading}</span>
<span className="text-xs text-muted-foreground">(lines {section.start}-{section.end})</span>
</li>
))}
</ul>
</div>
)}
</div>
<DrawerFooter>
<Button onClick={() => onApply({
tags: suggestions.tags.filter((_, idx) => selected.tags[idx]),
summary: selected.summary ? suggestions.summary : undefined,
structure: selected.structure ? suggestions.structure : undefined,
})}>
Apply Selected
</Button>
<Button variant="outline" onClick={onClose}>Skip</Button>
</DrawerFooter>
</DrawerContent>
</Drawer>
);
};
```
---
### 5. **DocumentCard** (`components/DOCX/DocumentCard/index.tsx`)
```tsx
export const DocumentCard: React.FC<{
document: Document;
onView: (id: string) => void;
onDownload: (id: string) => void;
onDelete: (id: string) => void;
onImport?: (id: string) => void;
viewMode: 'grid' | 'table';
}> = ({ document, onView, onDownload, onDelete, onImport, viewMode }) => {
if (viewMode === 'grid') {
return (
<Card className="group hover:shadow-md transition-shadow">
<CardHeader className="pb-3">
<div className="flex items-start justify-between">
<div className="flex items-center gap-2 min-w-0">
<File className="w-8 h-8 flex-shrink-0 text-blue-500" />
<div className="min-w-0">
<CardTitle className="text-sm truncate">
{document.original_name}
</CardTitle>
<CardDescription className="text-xs">
{formatBytes(document.file_size)} • {formatDistanceToNow(new Date(document.uploaded_at))}
</CardDescription>
</div>
</div>
<DropdownMenu>
<DropdownMenuTrigger asChild>
<Button variant="ghost" size="sm" className="h-8 w-8 p-0">
<MoreVertical className="w-4 h-4" />
</Button>
</DropdownMenuTrigger>
<DropdownMenuContent align="end">
<DropdownMenuItem onClick={() => onView(document.id)}>
<Eye className="w-4 h-4 mr-2" /> View
</DropdownMenuItem>
<DropdownMenuItem onClick={() => onDownload(document.id)}>
<Download className="w-4 h-4 mr-2" /> Download
</DropdownMenuItem>
{document.status === 'pending' && onImport && (
<DropdownMenuItem onClick={() => onImport(document.id)}>
<Import className="w-4 h-4 mr-2" /> Import
</DropdownMenuItem>
)}
<DropdownMenuSeparator />
<DropdownMenuItem onClick={() => onDelete(document.id)} className="text-destructive">
<Trash2 className="w-4 h-4 mr-2" /> Delete
</DropdownMenuItem>
</DropdownMenuContent>
</DropdownMenu>
</div>
</CardHeader>
<CardContent className="pt-0">
<div className="flex items-center gap-2 text-xs">
<Badge variant={document.status === 'imported' ? 'default' : 'secondary'}>
{document.status === 'imported' ? '✅ Imported' : '⏳ Pending'}
</Badge>
{document.memo_id && (
<span className="text-muted-foreground">→ Memo created</span>
)}
</div>
</CardContent>
</Card>
);
}
// Table view
return (
<div className="flex items-center py-3 border-b last:border-0 hover:bg-muted/50">
<div className="flex-1 min-w-0 flex items-center gap-3">
<File className="w-5 h-5 flex-shrink-0 text-blue-500" />
<div>
<p className="font-medium truncate">{document.original_name}</p>
<p className="text-xs text-muted-foreground">
{formatBytes(document.file_size)} • {formatDistanceToNow(new Date(document.uploaded_at))}
</p>
</div>
</div>
<Badge variant={document.status === 'imported' ? 'default' : 'secondary'} className="mr-4">
{document.status}
</Badge>
<div className="flex gap-1">
<Button size="sm" variant="ghost" onClick={() => onView(document.id)}>
<Eye className="w-4 h-4" />
</Button>
<Button size="sm" variant="ghost" onClick={() => onDownload(document.id)}>
<Download className="w-4 h-4" />
</Button>
{document.status === 'pending' && onImport && (
<Button size="sm" onClick={() => onImport(document.id)}>
<Import className="w-4 h-4 mr-2" /> Import
</Button>
)}
<Button size="sm" variant="ghost" onClick={() => onDelete(document.id)} className="text-destructive">
<Trash2 className="w-4 h-4" />
</Button>
</div>
</div>
);
};
```
---
## 🔌 API Service Layer
**File:** `src/service/docxService.ts`
```typescript
import { ApiDocument, ApiDocxParseResult, ImportFormData } from './types';
export const docxService = {
// Upload DOCX
uploadDocument: async (file: File): Promise<ApiDocument> => {
const formData = new FormData();
formData.append('file', file);
const res = await fetch('/api/v1/documents/docx/upload', {
method: 'POST',
headers: getAuthHeaders(),
body: formData,
});
if (!res.ok) throw new Error(`Upload failed: ${res.statusText}`);
return res.json();
},
// Get document with parsed content
getDocument: async (id: string): Promise<{
document: ApiDocument;
parsed_content?: ApiDocxParseResult;
}> => {
const res = await fetch(`/api/v1/documents/docx/${id}`, {
headers: getAuthHeaders(),
});
if (!res.ok) throw new Error(`Fetch failed: ${res.statusText}`);
return res.json();
},
// List documents
listDocuments: async (params: {
page?: number;
limit?: number;
status?: 'pending' | 'imported' | 'all';
}): Promise<{
documents: ApiDocument[];
total: number;
page: number;
limit: number;
}> => {
const searchParams = new URLSearchParams();
if (params.page) searchParams.append('page', params.page.toString());
if (params.limit) searchParams.append('limit', params.limit.toString());
if (params.status && params.status !== 'all') searchParams.append('status', params.status);
const res = await fetch(`/api/v1/documents/docx?${searchParams}`, {
headers: getAuthHeaders(),
});
if (!res.ok) throw new Error(`List failed: ${res.statusText}`);
return res.json();
},
// Import as memo
importDocument: async (id: string, data: ImportFormData): Promise<ApiMemo> => {
const res = await fetch(`/api/v1/documents/docx/${id}/import`, {
method: 'POST',
headers: {
...getAuthHeaders(),
'Content-Type': 'application/json',
},
body: JSON.stringify(data),
});
if (!res.ok) throw new Error(`Import failed: ${res.statusText}`);
return res.json();
},
// Delete document
deleteDocument: async (id: string): Promise<void> => {
const res = await fetch(`/api/v1/documents/docx/${id}`, {
method: 'DELETE',
headers: getAuthHeaders(),
});
if (!res.ok) throw new Error(`Delete failed: ${res.statusText}`);
},
// AI Enhance (optional)
enhanceDocument: async (id: string): Promise<AISuggestions> => {
const res = await fetch(`/api/v1/documents/docx/${id}/enhance`, {
method: 'POST',
headers: getAuthHeaders(),
});
if (!res.ok) throw new Error(`Enhance failed: ${res.statusText}`);
return res.json();
},
};
```
---
## 🧩 Hooks
**`src/hooks/useDocuments.ts`:**
```typescript
export const useDocuments = (params: {
status?: 'pending' | 'imported' | 'all';
page?: number;
}) => {
const queryClient = useQueryClient();
return useQuery({
queryKey: ['documents', params],
queryFn: () => docxService.listDocuments(params),
staleTime: 30000,
});
};
```
**`src/hooks/useDocumentUpload.ts`:**
```typescript
export const useDocumentUpload = () => {
const queryClient = useQueryClient();
return useMutation({
mutationFn: (file: File) => docxService.uploadDocument(file),
onSuccess: () => {
queryClient.invalidateQueries({ queryKey: ['documents'] });
},
});
};
```
**`src/hooks/useImportDocument.ts`:**
```typescript
export const useImportDocument = () => {
const queryClient = useQueryClient();
const navigate = useNavigate();
return useMutation({
mutationFn: ({ id, data }: { id: string; data: ImportFormData }) =>
docxService.importDocument(id, data),
onSuccess: (memo) => {
queryClient.invalidateQueries({ queryKey: ['documents'] });
navigate(`/memos/${memo.id}`); // Redirect to new memo
},
});
};
```
---
## 🌐 i18n Keys (thêm vào en.json & vi.json)
```json
{
"document": {
"title": "Documents",
"upload": "Upload DOCX",
"upload_drop": "Drop DOCX files here",
"upload_btn": "Select Files",
"preview": "Preview",
"import": "Import as Memo",
"delete": "Delete",
"download": "Download",
"view": "View",
"back_to_library": "Back to Library",
"empty_title": "No Documents",
"empty_desc": "Upload DOCX files to convert them into memos",
"status": {
"pending": "Pending",
"processed": "Processed",
"imported": "Imported",
"error": "Error"
},
"metadata": {
"pages": "Pages",
"author": "Author",
"size": "Size"
},
"import_form": {
"title": "Memo Title",
"tags": "Tags",
"workspace": "Workspace",
"visibility": "Visibility",
"import_btn": "Import as Memo"
},
"ai_enhance": {
"title": "AI Suggestions",
"tags": "Suggested Tags",
"summary": "Summary",
"structure": "Detected Structure",
"apply": "Apply Selected",
"skip": "Skip"
}
}
}
```
---
## 🛠️ Implementation Steps (Frontend)
### **Day 1: Setup & Basic Components**
1. Tạo `pages/DocumentsPage.tsx` skeleton với layout
2. Tạo `components/DOCX/UploadArea/` với react-dropzone
3. Tạo `service/docxService.ts` với API methods
4. Tạo `hooks/useDocumentUpload.ts`, `useDocuments.ts`
5. Tạo types trong `service/types.ts`
6. Add i18n keys
### **Day 2: Document List & Card**
1. Implement `DocumentCard` component (grid & table view)
2. Implement `DocumentList` với filter/search
3. Connect to API, show loading/error states
4. Add view mode toggle (grid/table)
### **Day 3: Preview & Parsing**
1. Tạo `PreviewPanel` component với markdown renderer
2. Add client-side DOCX parser (dùng `mammoth` hoặc `docx-preview` npm package)
3. Show thumbnail (convert first page to image using `docx-to-pdf` + `pdf-to-image` on backend, hoặc simple placeholder)
### **Day 4: Import Flow**
1. Tạo `ImportForm` component
2. Implement `useImportDocument` hook
3. Connect import → create memo → redirect
4. Test full flow: upload → preview → edit → import → memo detail
### **Day 5: AI Enhancement (Optional)**
1. Tạo `AIEnhancePanel` slide-over
2. Implement `useAIEnhance` hook
3. Backend endpoint `/api/v1/documents/docx/{id}/enhance` (mock if no AI)
4. Connect suggestions UI
### **Day 6: Polish & Testing**
1. Add loading states, error handling
2. Responsive design (mobile)
3. Accessibility (keyboard nav, ARIA)
4. Unit tests cho components
5. E2E test với Playwright
---
## 📦 NPM Dependencies Cần Thêm
```json
{
"dependencies": {
"react-dropzone": "^14.2.3",
"react-markdown": "^9.0.1",
"remark-gfm": "^4.0.0",
"react-syntax-highlighter": "^15.5.0",
"date-fns": "^3.6.0",
"lucide-react": "^0.300.0",
"zustand": "^4.5.0" // hoặc dùng react-query + context
},
"devDependencies": {
"@types/react-dropzone": "^14.1.0",
"@types/react-syntax-highlighter": "^15.5.0"
}
}
```
---
## 🎯 Success Criteria
- ✅ User can upload .docx file (drag-drop)
- ✅ Upload shows progress bar
- ✅ Document list displays all uploads
- ✅ Preview shows extracted markdown content
- ✅ Import creates new memo with correct content
- ✅ Document status updates to "imported"
- ✅ Delete removes document & cleanup
- ✅ Search & filter works
- ✅ Responsive on mobile
---
## 📝 Notes
1. **DOCX Parsing:** Frontend có thể parse DOCX bằng `mammoth` browser version, nhưng để chính xác nên để backend parse (dùng `python-docx`). Frontend chỉ cần hiển thị preview từ API.
2. **Thumbnail:** Backend cần tạo thumbnail (first page as image) khi upload. Có dùng `docx2pdf` + `pdf-to-image` hoặc đơn giản là icon.
3. **AI Enhancement:** Nếu không có OpenAI key, dùng rule-based (detect headings by font size, extract keywords).
4. **Storage:** Backend lưu file vào `./uploads/documents/{user_id}/{uuid}.docx`. Trong production nên dùng S3.
5. **Security:** Validate file type, scan virus, rate limit upload.
---
**Đây là full frontend plan bro!** Tôi đã chia từng component, props, hooks, UI wireframe đầy đủ.
**Bạn muốn tôi bắt đầu code implement ngay không?** Tôi sẽ tạo:
1. `frontend/src/pages/DocumentsPage.tsx`
2. `frontend/src/components/DOCX/...`
3. `frontend/src/hooks/useDocument*.ts`
4. `frontend/src/service/docxService.ts`
Chỉ cần bạn nói **"GO"** tôi bắt đầu! 🚀
plan/done/epic-8-inbound-webhooks-crm-inbox-done.md deleted 100644 → 0
View file @ 2b624706
# ✅ DONE: Epic 8 — Inbound Webhooks & CRM Inbox
> **Completion Date:** 2026-04-19
> **Owner:** Dev Team (Claude Code)
> **Status:** ✅ Code Complete + All Tests Passing
---
## 📋 Executive Summary
Epic 8 đã hoàn thành thành công. Cả 2 thành phần chính đều đã được implement và test:
1. **Inbound Webhook API** — Hệ thống thu thập feedback từ bên ngoài qua webhook
2. **CRM Inbox UI** — Giao diện quản lý hộp thư với unread/read memos
**Tổng kết test:**
- ✅ `tests/test_inbox.py`: **5/5 passed**
- ✅ `tests/test_memos.py`: **15/15 passed** (không regress)
- ✅ `tests/test_workspace_stats.py`: **1/1 passed**
---
## 🔧 Backend Implementation
### 1. Database Schema Changes
**File:** `common/sqlite_client.py`
- Thêm column `is_read BOOLEAN DEFAULT 0` vào table `cuccu_memos`
- Thêm column `workspace_id` đã có từ trước, giờ có auto-migration
- Thêm indexes:
- `idx_memos_is_read` cho query unread nhanh
- `idx_memos_workspace` cho workspace isolation
- Migration logic tự động kiểm tra và ALTER TABLE nếu column thiếu
```sql
CREATE TABLE IF NOT EXISTS cuccu_memos (
...
workspace_id TEXT DEFAULT 'PERSONAL',
is_read BOOLEAN DEFAULT 0
);
```
### 2. Schema Updates
**File:** `common/memos_core/schemas.py`
```python
class MemoBase(BaseModel):
...
is_read: Optional[bool] = None
class MemoUpdate(BaseModel):
...
is_read: Optional[bool] = None
```
### 3. Service Layer Updates
**File:** `common/memos_core/services.py`
- `MemoService.list_memos()`: Thêm parameter `is_read: bool | None = None` và filter trong query
- `MemoService.create_memo()`: Xử lý `payload.is_read`, default=True cho user-created, False cho webhook
- `MemoService.update_memo()`: Hỗ trợ update `is_read` field
### 4. Inbound Webhook Endpoint
**File:** `api/inbound_webhook_routes.py` (NEW)
```python
@router.post("/inbound_webhooks/{workspace_id}")
async def receive_webhook(...):
# Optional secret verification
if WEBHOOK_SECRET:
verify X-Webhook-Secret header
# Format payload to markdown
content = format_payload_to_markdown(payload)
# Create memo with is_read=False
memo = await memo_service.create_memo(
MemoCreate(
content=content,
workspace_id=workspace_id,
is_read=False, # Mặc định unread
...
),
user_id=None # anonymous/system
)
return {"success": True, "memo": memo}
```
**Payload Formatting Logic:**
- Nếu có `title` + `body` → `# Title\n\nBody`
- Nếu có `content` → dùng trực tiếp
- Còn lại → format như bullet list với bold keys
### 5. Inbox User Endpoints
**File:** `api/memos/user_routes.py`
```python
# GET /users/{user_id}/inbox/unread_count
@router.get("/{user_id}/inbox/unread_count")
async def get_inbox_unread_count(...):
query = {"creator_id": user_id, "is_read": 0}
if workspace_id:
query["workspace_id"] = workspace_id
count = await mongodb_client.count_documents(query)
return {"unread_count": count}
# GET /users/{user_id}/inbox/memos
@router.get("/{user_id}/inbox/memos")
async def list_inbox_unread_memos(...):
memos = await get_memo_service().list_memos(
user_id=user_id,
workspace_id=workspace_id,
is_read=False
)
return memos
```
**Security:** Verify `user_id` match với authenticated user (từ auth middleware).
### 6. Config
**File:** `config.py`
- Thêm `WEBHOOK_SECRET` environment variable (optional)
---
## 🖥️ Frontend Implementation
### 1. Type Definitions
**File:** `src/types/proto/api/v1/memo_service_pb.ts`
```typescript
export interface Memo {
...
isRead?: boolean; // field 20
}
```
**File:** `src/service/types.ts`
```typescript
export interface ApiMemo {
...
is_read?: boolean;
}
```
**File:** `src/service/converters.ts`
```typescript
if (raw.is_read !== undefined) {
result.isRead = raw.is_read;
}
```
### 2. Memo Service Updates
**File:** `src/service/memoService.ts`
- `createMemo()`: Include `is_read?: boolean` in payload
- `updateMemo()`: Include `is_read?: boolean` in payload
- **NEW** `markAsRead(memoName: string, isRead: boolean)`: PATCH `/memos/{id}` with `{ "is_read": isRead }`
### 3. Custom Hooks
**File:** `src/hooks/useUserQueries.ts`
```typescript
// Hook for unread count với workspace filter
export function useInboxUnreadCount(workspaceId?: string) {
const userId = useAuth().user?.id || "1";
return useQuery({
queryKey: ["inboxUnreadCount", userId, workspaceId],
queryFn: () => userServiceClient.getInboxUnreadCount(userId, workspaceId),
refetchInterval: 60000, // refetch mỗi 60s
});
}
// Hook for mark as read mutation
export function useMarkMemoAsRead() {
const queryClient = useQueryClient();
return useMutation({
mutationFn: ({ memoName, isRead }) =>
memoServiceClient.markAsRead(memoName, isRead),
onSuccess: () => {
// Invalidate tất cả cache liên quan
queryClient.invalidateQueries({ queryKey: ["memos"] });
queryClient.invalidateQueries({ queryKey: ["inboxUnreadCount"] });
},
});
}
```
### 4. Inbox Page
**File:** `src/pages/Inboxes.tsx` (Significantly updated)
**State:** `filter` = `"notifications"` | `"unread"`
**Data fetching:**
- Notifications: `useNotifications()` (existing)
- Unread memos: `useMemos({ isRead: false })`
**UI Structure:**
```
Header: "Inbox" + badge (notificationCount + unreadMemoCount)
Tabs:
[🔔 Notifications (N)] [📥 Unread Memos (M)]
Content:
- If notifications tab: List MemoCommentMessage components
- If unread memos tab: List memo cards với:
* Content preview
* Tags (max 3 shown)
* Mark-as-read button (check icon)
```
**Mark-as-read handling:**
```typescript
const handleMarkAsRead = (memo: Memo) => {
if (memo.name) {
markAsReadMutation.mutate({ memoName: memo.name, isRead: true });
}
};
```
### 5. Navigation Badge
**File:** `src/components/Navigation.tsx`
```typescript
const { data: unreadMemosCount = 0 } = useInboxUnreadCount();
const totalInboxCount = notificationUnreadCount + unreadMemosCount;
// Badge hiển thị tổng số
{totalInboxCount > 0 && (
<span className="...">{totalInboxCount}</span>
)}
```
### 6. i18n Updates
**Files:** `src/locales/en.json`, `src/locales/vi.json`
```json
{
"inbox": {
"notifications": "Notifications",
"unread-memos": "Unread Memos",
"no-unread-memos": "No unread memos",
"mark-as-read": "Mark as read"
}
}
```
---
## 🧪 Testing
### Test Suite: `tests/test_inbox.py`
```python
def test_inbox_unread_count(client, authenticated_headers):
# Tạo 2 unread + 1 read memo
# Verify /users/1/inbox/unread_count returns >= 2
def test_inbox_list_unread_memos(client, authenticated_headers):
# GET /users/1/inbox/memos
# Verify all returned memos have is_read=False
def test_mark_memo_as_read(client, authenticated_headers):
# Create unread memo
# PATCH /memos/{id} with {"is_read": true}
# Verify unread count decreased by 1
def test_webhook_creates_unread_memo(client):
# POST /inbound_webhooks/AI_SALES_CRM
# Verify memo created with workspace_id and is_read=False
def test_webhook_formats_payload_to_markdown(client):
# Test title+body → markdown heading
# Test arbitrary fields → bullet list
```
**Test Configuration Changes:**
- `tests/conftest.py`: `auth_token` fixture tạo token với `sub="1"` để match test URLs
- `TestClient(raise_server_exceptions=True)` để thấy full traceback
---
## 🔍 Key Design Decisions
### 1. Webhook Path: `/inbound_webhooks/{workspace_id}` vs `/api/v1/inbound_webhooks/...`
**Quyết định:** Không dùng prefix `/api/v1` cho webhook endpoint.
**Lý do:**
- Webhook là public endpoint (không cần auth header)
- URL ngắn gọn, dễ cho external systems gọi
- Phân biệt rõ với API internal của frontend
**Đã sửa:** Test dùng đúng path `/inbound_webhooks/...`
### 2. Inbox Unread Filter: `creator_id = user_id`
**Quyết định:** Inbox chỉ hiển thị memos mà **user tạo**, không phải memos từ webhook (anonymous).
**Lý do:**
- Webhook memos có `creator_id = "anonymous"` hoặc `None`
- Inbox là "hộp thư cá nhân" của user, nên chỉ memos do user tạo
- Nếu muốn xem webhook memos, user vào trực tiếp workspace đó
**Future:** Có thể mở rộng để include webhook memos nếu cần.
### 3. Inbox Endpoint Location: `user_routes.py`
**Quyết định:** Đặt inbox endpoints trong `api/memos/user_routes.py` (user-related) thay vì `memo_routes.py`.
**Lý do:**
- Inbox là tính năng user-specific (lấy theo `user_id` trong URL)
- Consistency với các endpoints `/users/{user_id}/...` khác
- Dễ áp dụng auth check: user chỉ xem được inbox của mình
### 4. Mark-as-read: Dùng PATCH `/memos/{id}` thay vì endpoint riêng
**Quyết định:** Tận dụng endpoint update memo đã có, gửi `{ "is_read": true }`.
**Lý do:**
- Không cần tạo endpoint mới
- Reuse logic update trong `MemoService.update_memo()`
- Frontend đã có `updateMemo()` function
---
## 🐛 Issues Fixed During Implementation
### Issue 1: `NameError: name 'get_memo_service' is not defined`
**Root cause:** Trong `user_routes.py`, endpoint `list_inbox_unread_memos` dùng `memo_service` dependency nhưng import bị thiếu.
**Fix:** Thêm `get_memo_service` vào import từ `common.memos_core.services`.
### Issue 2: `'MemoService' object has no attribute 'mongodb_client'`
**Root cause:** Endpoint `get_inbox_unread_count` dùng `memo_service.mongodb_client` nhưng `MemoService` không có attribute này.
**Fix:** Thay bằng direct import `from common.mongodb import mongodb_client` và dùng `mongodb_client.count_documents()` trực tiếp.
### Issue 3: Webhook path mismatch
**Root cause:** `inbound_webhook_routes.py` đăng ký router với prefix `/inbound_webhooks` (không có `/api/v1`), nhưng test gọi `/api/v1/inbound_webhooks/...`.
**Fix:**
- Giữ nguyên path webhook là `/inbound_webhooks/...` (public endpoint)
- Sửa test để gọi đúng path
### Issue 4: SQLite connection trong tests
**Root cause:** `TestClient` tạo app mới mỗi lần, database `:memory:` bị reset. Một số request báo `"SQLite not connected"` do race condition hoặc connection closed.
**Fix:** Không cần sửa code, đã tự ổn định sau khi fix authentication và imports. Tất cả tests hiện tại pass.
---
## 📦 Files Changed
### Backend
```
backend/
├── common/
│ ├── memos_core/
│ │ ├── schemas.py (added is_read field)
│ │ └── services.py (added is_read support)
│ ├── sqlite_client.py (added column, index, migration)
│ └── mongodb.py (unchanged, just wrapper)
├── api/
│ ├── inbound_webhook_routes.py (NEW FILE)
│ └── memos/
│ └── user_routes.py (added inbox endpoints)
├── config.py (added WEBHOOK_SECRET)
└── tests/
└── test_inbox.py (NEW FILE - 5 tests)
```
### Frontend
```
frontend/
├── src/
│ ├── types/proto/api/v1/memo_service_pb.ts (added isRead)
│ ├── service/
│ │ ├── types.ts (added is_read)
│ │ ├── converters.ts (map is_read field)
│ │ └── memoService.ts (added markAsRead method)
│ ├── hooks/
│ │ └── useUserQueries.ts (added useInboxUnreadCount, useMarkMemoAsRead)
│ ├── components/
│ │ └── Navigation.tsx (updated badge count)
│ ├── pages/
│ │ └── Inboxes.tsx (major update: 2 tabs, mark-as-read)
│ └── locales/
│ ├── en.json (added inbox keys)
│ └── vi.json (added inbox keys)
```
---
## 🚀 Next Steps (Post-Epic 8)
### Deferred (Future Epic)
1. **Settings > Webhooks UI** — Tạo và quản lý inbound webhook URLs
2. **Webhook Log History** — Xem log các webhook đã nhận
3. **Webhook retry/failure handling** — Queue, dead letter, retry logic
### Optional Enhancements
- Inbox có thể filter theo workspace (đã hỗ trợ backend, frontend chưa UI)
- Bulk mark-as-read cho nhiều memos
- Search/unread memos
- Archive (soft delete) unread memos sau N days
---
## ✅ Verification Checklist
- [x] Backend compile, no import errors
- [x] Database schema updated (is_read column, indexes)
- [x] Auto-migration works for existing DBs
- [x] Webhook endpoint `/inbound_webhooks/{workspace_id}` hoạt động
- [x] Webhook tạo memo với `is_read=False`
- [x] Inbox unread_count endpoint trả về đúng số lượng
- [x] Inbox unread memos endpoint list đúng memos chưa đọc
- [x] Mark-as-read (PATCH) hoạt động, update database
- [x] Frontend Inbox page hiển thị đúng 2 tabs
- [x] Badge tổng unread (notifications + memos) trong sidebar
- [x] All existing tests vẫn pass (no regressions)
- [x] All new tests pass (5/5)
---
## 📊 Test Results Summary
```
============================= test session starts ==============================
tests/test_inbox.py::test_inbox_unread_count PASSED [ 20%]
tests/test_inbox.py::test_inbox_list_unread_memos PASSED [ 40%]
tests/test_inbox.py::test_mark_memo_as_read PASSED [ 60%]
tests/test_inbox.py::test_webhook_creates_unread_memo PASSED [ 80%]
tests/test_inbox.py::test_webhook_formats_payload_to_markdown PASSED [100%]
======================= 5 passed, 6 warnings in 1.25s =========================
============================= test memos regression ========================
tests/test_memos.py ... 15/15 PASSED
tests/test_workspace_stats.py ... 1/1 PASSED
```
---
**🎉 Epic 8 hoàn thành! Code đã sẵn sàng để test thủ công trên localhost.**
**Manual testing URL:** `http://localhost:5000` (với DISABLE_AUTH=true để bỏ qua login)
plan/done/product_line_mapping_task.md deleted 100644 → 0
View file @ 2b624706
# Kiến trúc AI Stylist: Mapping Cứng theo `Product Line` & `Màu Sắc`
## Vấn Đề Hiện Tại
Hệ thống AI đang đọc các Tag Text NLP (`phong_cach`, `dip_mac`) trong `ultra_descriptions`. Do data nhập liệu tay lộn xộn, AI Recommend bị nhiễu tĩnh, gợi ý sai hoàn toàn các Set đồ so với Logic chuẩn.
## Giải Pháp Mới
- **BỎ hòan toàn quét NLP Tags.**
- Chỉ quét duy nhất cột **Danh Mục Sản Phẩm (Product Line)**. Hệ thống sẽ có Hard-coded Mappings chỉ định rõ Danh Mục A khi ở Dịp B thì ĐƯỢC PHÉP đi với Danh Mục C.
- **Tiêu chí Màu sắc** dùng làm "Trọng tài Cuối cùng" để tính điểm và Rank Top hiển thị.
---
## 1. Ma Trận Dịp Mặc (Occasions) × Danh Mục (Product Line)
Map cứng trực tiếp vào Logic của Engine (Hoặc DB `chatbot_fashion_rules`).
| Dịp (Occasion) | Nếu Khách Chọn (Anchor) | Thì Gợi Ý Phối Cùng (Targets) |
| :--- | :--- | :--- |
| **💼 Đi làm công sở** | `Áo Sơ mi`, `Áo Polo`, `Blouse` | `Quần khaki`, `Quần âu`, `Chân váy`, `Blazer/Vest` |
| | `Quần khaki`, `Quần âu` | `Áo Sơ mi`, `Áo Polo`, `Cardigan` |
| **🛍️ Đi chơi / dạo phố** | `Áo phông`, `Áo kiểu`, `Áo nỉ` | `Quần jean`, `Quần soóc`, `Chân váy ngắn`, `Áo khoác gió` |
| | `Quần jean`, `Quần soóc` | `Áo phông`, `Áo nỉ`, `Áo kiểu` |
| **🏠 Ở nhà / mặc ngủ** | `Áo phông`, `Áo hai dây` | `Quần mặc nhà`, `Quần đùi cotton` |
| **🏖️ Du lịch** | `Áo phông`, `Váy liền` | `Chân váy maxi`, `Quần soóc`, `Mũ/Kính râm` |
*(Chỉ có các sản phẩm thỏa mãn mảng Target Line này mới được đưa vào phễu tính điểm màu sắc).*
---
## 2. Lưới Lọc "Hòa Sắc" (Color Synergy) Điểm Vòng 2
Sau khi có danh sách Target Product Line hợp quy:
- **Áo Màu Trắng/Đen/Trung Tính:** Buff `+30đ` cho Quần Trắng/Đen (An toàn). Buff `+25đ` cho Quần Dark (Cá tính).
- **Áo Màu Nổi (Cam/Hồng):** Ép `+30đ` cho các Quần Đen/Trắng để tiết chế lại. Các quần cùng màu Hồng sẽ bị trừ điểm nặng hoặc chỉ cho `+5đ` nếu là Tone-sur-tone.
- **Lưới Nhân khẩu học:** Nam auto trừ điểm nhóm Pastel/Hồng. Bé Gái auto buff điểm nhóm Nhạt/Bèo nhún.
## 3. Checklist Nhiệm vụ cho AI Agent (Claude Code)
_(Claude Code vui lòng thực hiện tuần tự các bước sau và check `[x]` khi hoàn thành)_
- [x] **Bước 1:** Đọc file `backend/worker/fashion_rules.json` và `backend/worker/stylist_engine.py` (hàm `_score`, `compute_dynamic_rule_matches`) để hiểu code base hiện tại đang chấm điểm bừa bãi theo Tags thế nào.
- [x] **Bước 2:** Đọc file DB gốc tại `backend/database/canifa_ai_dump.sqlite`. Xem schema của bảng `chatbot_fashion_rules` (gồm `anchor_category`, `target_category`, `match_role`, `occasion_tag`, `ai_reason`).
- [x] **Bước 3:** Tạo 1 script Python tại `backend/scripts/seed_product_line_matrix.py`. Script này kết nối vào SQLite, chạy lệnh dọn dẹp `DELETE FROM chatbot_fashion_rules;` và insert hàng loạt các record ứng với Ma trận Mapping ở Mục 1 (Ví dụ: `anchor='Áo sơ mi'`, `target='Quần âu'`, `occasion='di_lam_cong_so'`).
- [x] **Bước 4:** Chạy script tạo dữ liệu thành công. (Đã insert 51 rules: di_lam 21, di_choi 18, mac_nha 4, du_lich 8)
- [x] **Bước 5:** Refactor lại tệp `backend/worker/stylist_engine.py`:
- Thêm `_fetch_allowed_mappings()` và `_fetch_rules_with_reason()` để lấy rules từ DB.
- Sửa `_compute_matches()`: chỉ cho phép target nếu target_category nằm trong DB rules cho occasion đó.
- Cắt bỏ hoàn toàn `_occasion_score` và `_style_score` trong `_score()`.
- Sửa `_score()` chỉ còn color + role + material.
- Sửa `compute_dynamic_rule_matches()` để dùng DB rules filter và `_score()` mới.
- [x] **Bước 6:** Sửa lại `_color_score` đã có sẵn logic Color Synergy (dùng color_group_matrix). Cập nhật `fashion_rules.json` weights về `{"color": 50, "role": 30, "material": 20}`.
- [x] **Bước 7:** Test lại bằng cách kích hoạt `run_batch()` hoặc request POST đến `/api/fashion-matches/batch`, đảm bảo hệ thống render thành công toàn bộ `ai_matches` mà không sập.
plan/idea.md deleted 100644 → 0
View file @ 2b624706
# Ý Tưởng & Chiến Lược Thực Thi (Cuccu Sales AI)
Tài liệu này định hướng bức tranh nghiệp vụ và vai trò của Backend / Frontend trong hệ thống Sales Automation Workflow. (Cập nhật liên tục khi phát sinh Idea mới).
## 1. Tầm Nhìn Sản Phẩm (Product Idea)
- Đây là một **Mini n8n cho dân chốt sale**.
- Thay vì cấu hình chatbot tĩnh, User kéo thả một Workflow: `Khách vào nhắn -> Ai phân tích Intent -> Nếu muốn mua: Cầm mã sản phẩm đi hỏi API check tồn kho -> Còn hàng -> AI Tự sinh tin nhắn chốt đơn`.
## 2. Việc của Backend (BE) làm thế nào?
Backend là Trái Tim (được viết bằng **FastAPI**).
- Gồm các Router quản lý: Webhook, Khách hàng, Sản phẩm, CRM Inbox.
- Lõi là `workflows.py`: Lưu cấu trúc Node/Edge do User kéo thả.
- **Tiếp theo BE phải làm gì?**
1. **Tạo Mock Test Framework:** Viết code tự tráo lõi Data `asyncpg` sang *In-Memory SQLite* hoặc Mock Data tĩnh. (Không được chạm DB thật khi chạy unit test).
2. **Viết Workflow Execution Engine:** Xây dựng cục Engine thực thi graph. Khi Frontend nhấn luồng "Chạy thử", Backend đệ quy chạy từng Node (Ví dụ: `Logic Node` để vạch đường, gọi `Mcp Node` chọc vào DB lấy giá sản phẩm, gọi `Agent Node` cho GPT-4o-mini đẻ ra chữ có tuỳ chọn **SSE Stream** trả về Frontend).
3. **Bridge Webhook Thực Tế:** Cho ghép nối Facebook / Zalo vào `/api/webhooks`.
## 3. Việc của Frontend (FE) làm thế nào?
Frontend là Bảng Điều Khiển (được viết bằng **React + Vite + Shadcn/Tailwind**). Nằm trong thư mục `/frontend/`.
- Frontend có `React Flow` để quản lý giao diện vẽ Biểu Đồ (Canvas).
- **Tiếp theo FE phải làm gì?**
1. Xóa bỏ hoặc bỏ qua hoàn toàn các file `.html` tĩnh đang được render bởi thẻ Jinja2 ở Backend. Cắt đứt sự phụ thuộc của FE vào server FastAPI.
2. Map config Vite proxy: Override config cổng Vite để proxy mọi request `/api/*` tới thẳng `http://localhost:8000` (FastAPI).
3. Hiển thị Stream Message (SSE) khi Workflow chạy.
---
*Lưu ý: Bất kỳ Agent AI nào (Claude, Forge) khi nhận Task mới, hãy mở file này ra xem BE/FE đang ở giai đoạn nào để nắm Context.*
---
## 4. CuCu Note — Mini-App Note-Taking (Memos-based)
Nằm ở `miniapp/cuccu_note/`. Đây là một **note-taking app** được fork từ Memos, tích hợp thêm:
- **Teams & Workspace** — quản lý nhóm
- **Deadline & Priority** — gắn deadline cho mỗi note
- **AI Chatbot** — hỏi đáp với OpenAI về nội dung notes
- **Anonymous notes** — ghi chú không cần đăng nhập
### Trạng thái hiện tại:
- ✅ Core: Auth, CRUD Memo, Pin, Archive, Tags, Attachments, Version History
- 🔧 Đang làm: Reactions & Comments (Epic 1 — code xong, chờ test)
- ❌ Chưa làm: Inbox Notifications, PAT, Webhooks, SSO
### File kế hoạch chi tiết:
- `plan/doings/cuccu-note-feature-parity.md` — Tasks đang làm
- `plan/ideas/cuccu-note-next-features.md` — Ideas tương lai (AI, Kanban, Templates...)
plan/ideas/cuccu-note-inbound-receiver-concept.md deleted 100644 → 0
View file @ 2b624706
# 📥 CuCu Note: Tầm Nhìn "Inbound Event Receiver" (Trung Tâm Hứng Dữ Liệu)
Tài liệu này xác định vị thế mới của CuCu Note. Thay vì chỉ là một app ghi chú cá nhân, CuCu Note sẽ hoạt động như một **CRM Inbox (Hộp thư trung tâm)** để hứng mọi sự kiện, feedback từ các con Bot N8n và hệ thống bên ngoài. Ai cũng có thể đẩy dữ liệu vào đây thông qua Webhooks.
---
## 🏗️ 1. Các Trang (Pages/Views) Cần Phải Có Thêm
Để biến CuCu Note thành một phễu hứng data thực thụ, chúng ta cần bổ sung các giao diện (Pages) sau vào Frontend của hệ thống:
### A. Trang Quản Lý Nguồn Vào (Integrations / Webhooks Settings)
Đây là nơi Admin tạo ra các "cổng" để hứng dữ liệu.
- **Tạo Endpoint:** Nút `[+ Tạo nguồn mới]`. Hệ thống cấp ra 1 URL dạng `cucu.in/api/v1/hooks/{token}`.
- **Tùy biến Tên Nguồn:** Ví dụ "Chatbot Fanpage Canifa", "Chatbot Zalo", "Form Khiếu Nại".
- **Lịch sử Request (Logs):** Xem lại chi tiết data (JSON) đã được bắn vào Cổng này hôm nay. Nếu lỗi, dễ dàng debug.
- **Mapping Data (Tùy chọn nâng cao):** Cấu hình để hệ thống biết móc field `message` trong file JSON để làm nội dung Note, lấy field `customer_name` làm Title.
### B. Trang Hộp Thư Triage (Inbox / Triage View)
Timeline ghi chú hiện tại của Memos không phù hợp để xử lý dữ liệu dồn dập. Cần thêm một Tab độc lập gọi là **Inbox**.
- **Danh sách "Unread":** Mọi sự kiện từ Chatbot đẻ ra sẽ nằm tại đây với trạng thái Chưa Đọc.
- **Thao tác nhanh (Quick Actions):** Di chuột vào một Note hiển thị nút `[Đã xử lý (Check)]`, `[Bỏ qua]`.
- **Mục tiêu:** Giúp nhân viên mỗi sáng mở ra thấy `20 Note Chưa đọc`, và xử lý dần cho kỳ hết để Inbox trống rỗng (Cảm giác vinh quang Zero-Inbox).
### C. Trang Quản Lý Người Dùng / Liên Hệ (Contacts Directory)
Khi hứng feedback, ta thường hứng kèm SĐT hoặc tên người dùng của khách hàng.
- Sinh ra một bến đỗ lưu trữ "Danh bạ khách hàng".
- **Giao diện:** Bấm vào sđt `090xxxx`, nó sẽ lọc (Filter) hiện ra tất cả các Feedback/Memos từ trước đến nay của đúng vị khách đó. Rất hữu ích cho chăm sóc khách hàng.
### D. Trang Cài Đặt Phân Luồng Tự Động (Rules Engine Page)
- Một luật (Rule) đơn giản: `Nếu [Nguồn = Chatbot Zalo] VÀ [Nội dung chứa từ "Hoàn tiền"] => Tự động gắn thẻ #hoan_tien VÀ set Priority = RED`.
- Trang này biến hệ thống thành một luồng chia việc cực kỳ trơn tru.
---
## 🚀 2. Kịch Bản Vận Hành Thực Tế
1. **Khách hàng** phàn nàn trên Fanpage Facebook.
2. **Chatbot (N8n/Forge)** gọi HTTP POST bắn dữ liệu về `CuCu Note Webhook URL`.
3. **Rules Engine** của CuCu Note tóm được JSON này, tự động đẻ ra 1 Memo, gài tag `#complaint` và ném vào mục **Inbox** của Workspace "Customer Service".
4. **Nhân viên CSKH** vào ca làm việc, mở trang **Inbox**, thấy Note báo màu cam. Đọc nội dung mà không cần mở Facebook.
5. Xử lý xong, nhân viên bấm `[Đã giải quyết]`. Note biến mất khỏi Inbox (được lưu vĩnh viễn vào kho lưu trữ chung). Inbox trở nên sạch sẽ.
---
## 📋 3. Task Kế Tiếp Cho Dev Team (Đề Xuất)
Nếu triển khai hướng này, thứ vô giá nhất và cần code ngay tắp lự là:
👉 **Xây dựng API Endpoint Inbound Webhook (`POST /hooks/{token}`)** bên backend để có lỗ hổng cho tụi Chatbot bắn data vào trước. Lúc đó ta mới tính chuyện hiển thị lên UI.
plan/ideas/cuccu-note-next-features.md deleted 100644 → 0
View file @ 2b624706
# 💡 CuCu Note — Ideas Tính Năng Tiếp Theo
> Focus: **Note-taking xuất sắc + Collaboration nhẹ nhàng**
> Không thêm AI phức tạp. Tập trung vào trải nghiệm core ghi chú.
---
## ✍️ Nhóm 1: Writing & Note Experience
| # | Tính Năng | Mô Tả | Priority |
|---|---|---|---|
| W1 | **Note Templates** | Chọn template khi tạo note: Meeting Notes, Bug Report, Daily Log, OKR... | 🔴 Cao |
| W2 | **Kanban View** | Toggle giữa List View ↔ Board View (columns theo tag hoặc status) | 🔴 Cao |
| W3 | **Table of Contents** | Auto-gen TOC từ heading `##`, `###` — hiện side panel khi note dài | 🟡 |
| W4 | **Drag-and-Drop Reorder** | Kéo thả sắp xếp thứ tự memo trong list | 🟡 |
| W5 | **Focus / Zen Mode** | Ẩn sidebar, tập trung viết full screen | 🟢 |
| W6 | **Word Count** | Đếm số từ, ký tự, thời gian đọc ước tính | 🟢 |
| W7 | **Two-way Backlinks** | Gõ `[[Tên note]]` để link → hiện "Referenced by" panel | 🟡 |
---
## 👥 Nhóm 2: Collaboration (Nhẹ nhàng, Thiết thực)
| # | Tính Năng | Mô Tả | Priority |
|---|---|---|---|
| C1 | **@mention trong note** | Gõ `@username` trong nội dung → người đó nhận notification | 🔴 Cao |
| C2 | **Inbox Notifications** | Bell icon hiện unread count — khi ai comment/mention vào note của bạn | 🔴 Cao (Epic 2) |
| C3 | **Note Permission per Team** | Chọn note này share với Team nào, ai được edit/view | 🟡 |
| C4 | **Read Receipts (Team)** | Biết ai trong team đã đọc note chưa | 🟢 |
---
## 📤 Nhóm 3: Export & Portability
| # | Tính Năng | Mô Tả | Priority |
|---|---|---|---|
| E1 | **Export PDF** | Export 1 note hoặc chọn nhiều notes → PDF đẹp | 🔴 Cao |
| E2 | **Export Markdown ZIP** | Backup toàn bộ workspace ra `.md` files nén `.zip` | 🟡 |
| E3 | **Import từ Obsidian / Notion** | Dán markdown vào là hiểu cú pháp | 🟢 |
---
## 🗂️ Nhóm 4: Organization & Search
| # | Tính Năng | Mô Tả | Priority |
|---|---|---|---|
| O1 | **Nested Tags** | Tag `project/canifa`, `project/nexus` — hiện tree trong sidebar | 🟡 |
| O2 | **Saved Filters (Shortcut)** | Lưu bộ lọc hay dùng (đã có skeleton, cần hoàn thiện) | 🟡 |
| O3 | **Global Search (Ctrl+K)** | Command palette tìm note theo title + content cùng lúc | 🟡 |
| O4 | **Starred / Bookmark** | Đánh dấu sao một số note quan trọng (khác Pinned) | 🟢 |
---
## 📱 Nhóm 5: UX Polish
| # | Tính Năng | Mô Tả | Priority |
|---|---|---|---|
| U1 | **PWA (Offline)** | Cài app trên điện thoại, xem note offline | 🟡 |
| U2 | **Custom Themes** | Chọn accent color, font chữ | 🟢 |
| U3 | **Keyboard Shortcuts** | `Ctrl+K` = new note, `Ctrl+/` = shortcuts help | 🟢 |
---
## 📋 Thứ Tự Làm (Sau khi xong Epic 1-6 Feature Parity)
```
Bước 1 → C2 Inbox (Epic 2 đang plan)
Bước 2 → C1 @mention (gắn liền Inbox)
Bước 3 → W1 Note Templates (dễ làm, user love ngay)
Bước 4 → W2 Kanban View (upgrade lớn về UX)
Bước 5 → E1 Export PDF (thiết thực, hay được hỏi)
Bước 6 → W7 Backlinks (niche nhưng note-taking users yêu)
```
---
*Đơn giản, không phức tạp. Làm tốt từng thứ một.*
---
## ⚡ Nhóm 6: Power Features (Brainstorm Bổ Sung)
> Những thứ khiến user **không muốn dùng app khác**.
| # | Tính Năng | Mô Tả | Priority | Ghi Chú |
|---|---|---|---|---|
| P1 | **Daily Note** | Auto-tạo note cho ngày hôm nay khi vào `/daily` — như Obsidian Daily Notes | 🔴 Cao | Habit-forming, kéo user back mỗi ngày |
| P2 | **Global Todo Tracker** | Gom tất cả `- [ ]` checkbox từ **mọi note** vào 1 view `/todos` | 🔴 Cao | Cực thiết thực cho daily workflow |
| P3 | **Graph View** | Visualize links giữa notes thành đồ thị tương tác | 🟡 | `MemoRelationForceGraph` **đã có sẵn** trong code! Chỉ cần mở khóa |
| P4 | **Note Colors / Labels** | Gán màu cho note (Red, Blue, Yellow...) — scan bằng mắt nhanh | 🟡 | Giữ UI clean, hiện badge màu nhỏ |
| P5 | **Lock Note** | Khoá note để không ai (kể cả mình) sửa nhầm | 🟢 | Simple, 1 toggle |
| P6 | **Mermaid Diagrams** | Render sơ đồ từ code block ` ```mermaid ``` ` trong markdown | 🟡 | Dev & PM team love |
| P7 | **Reading Mode** | Clean view ẩn editor toolbar, chỉ hiện nội dung — print-friendly | 🟢 | |
| P8 | **Note Activity Feed (Team)** | Xem ai đã sửa/tạo note gì gần đây trong workspace | 🟡 | |
| P9 | **Reaction trên Comment** | React emoji vào từng comment riêng lẻ (không chỉ memo) | 🟢 | Gắn với Epic 1 |
---
## 🏆 Full Priority Summary (Tất Cả)
```
🔴 Làm ngay (sau xong parity):
Epic 2 → Inbox Notifications
C1 → @mention trong note
P1 → Daily Note
P2 → Global Todo Tracker
W1 → Note Templates
W2 → Kanban View
E1 → Export PDF
🟡 Làm tiếp theo (tháng 2-3):
W3 → Table of Contents
W4 → Drag-and-Drop Reorder
W7 → Two-way Backlinks
P3 → Graph View (đã có component!)
P4 → Note Colors / Labels
P6 → Mermaid Diagrams
O1 → Nested Tags
O3 → Global Search (Ctrl+K)
E2 → Export Markdown ZIP
P8 → Note Activity Feed
🟢 Nice to have (để sau):
W5 → Focus / Zen Mode
W6 → Word Count
C3 → Note Permission per Team
C4 → Read Receipts
O4 → Starred / Bookmark
P5 → Lock Note
P7 → Reading Mode
P9 → Reaction on Comment
U1 → PWA Offline
U2 → Custom Themes
E3 → Import Obsidian/Notion
```
plan/ideas/cuccu-note-workspace-isolation.md deleted 100644 → 0
View file @ 2b624706
# 🏗️ Kế Hoạch: Cuccu Note Workspace Isolation (Tách Biệt Human & AI)
## 🎯 Mục Tiêu Cốt Lõi
Biến Cuccu Note thành một "Trung tâm chỉ huy" bằng cách chia cắt hoàn toàn dữ liệu. Chúng ta sẽ áp dụng cơ chế **"Hứng trên đầu"** bằng `workspace_id`.
Mục đích:
- Giữ sạch sẽ không gian dòng thời gian (Timeline) của con người.
- Hứng toàn bộ Log, Cảnh báo (SOS), và Tóm tắt sự kiện từ **Cuccu Sales AI** vào một không gian riêng biệt (AI Workspace).
---
## 🛠️ Giai Đoạn 1: Database Schema (SQLite) & Cấu trúc
*Đòi hỏi: Chỉnh sửa lại file `common/sqlite_client.py`.*
1. **Hiệu chỉnh bảng `memos`**:
- Thêm cột `workspace_id` (TEXT) vào bảng `memos`.
- Giá trị mặc định (Default): `'PERSONAL'` (Dành cho người).
- Giá trị hệ thống (System): `'AI_SALES_CRM'` (Dành cho webhooks từ hệ thống Sales).
- Tạo Index trên cột `workspace_id` để Query không bị sụt giảm hiệu năng khi Data lớn. `CREATE INDEX idx_memos_workspace ...`
2. **(Tùy chọn) Bảng `workspaces`**:
- Tạm thời chưa cần tạo bảng Workspaces nếu hardcode 2 loại trên để làm nhanh, nhưng để chuẩn chỉnh thì cứ tạo 1 bảng `workspaces` định danh 2 cái Rổ này.
---
## 🔌 Giai Đoạn 2: Xử Lý Backend API (FastAPI)
*Đòi hỏi: Chỉnh sửa luồng Fetch & Insert trong `services.py` và `memo_routes.py`.*
1. **Luồng đẩy (POST /memos)**:
- Mở rộng Pydantic Schema (`MemoCreate`) để nhận thêm biến tùy chọn `workspace_id`.
- Nếu call từ Webhook của AI Sales -> Request BẮT BUỘC inject `workspace_id = "AI_SALES_CRM"`.
- Nếu tạo note bằng tay trên giao diện web -> Request mặc định đẩy xuống `workspace_id = "PERSONAL"`.
2. **Luồng đọc (GET /memos)**:
- Bổ sung tham số Query Params: `GET /api/v1/memos?workspace_id=PERSONAL`.
- File `services.py` BẮT BUỘC chèn câu lệnh truy vấn SQLite `WHERE workspace_id = ?`.
- Tuyệt đối không cho phép truy vấn lọt dữ liệu (Ví dụ: đang ở Personal mà fetch nhầm cái Note của AI).
---
## 🖥️ Giai Đoạn 3: Cập nhật Frontend UI
*Đòi hỏi: Chỉnh sửa giao diện React để có Dropdown Chuyển đổi tầng.*
1. **Top-Level Switcher**:
- Đặt một UI Dropdown (hoặc Toggle Button) to bảng ở thanh Menu bên trái (Sidebar).
- Các lựa chọn: **👤 Ghi chú Cá Nhân** vs **🤖 Báo cáo AI Sales**.
2. **State Management**:
- Khi bấm chuyển Rổ (Workspace) -> Set Global State.
- Frontend tự động Clear cái Cột Timeline, gọi API `GET /memos` mới kèm theo parameter `workspace_id` tương ứng để vẽ lại giao diện.
---
## 🧪 Giai Đoạn 4: Automated Testing Protocol (LUẬT THÉP CHO AI)
*Đây là yêu cầu ép khuôn cho AI Code, KHÔNG CÓ BÀI TEST THÌ KHÔNG ĐƯỢC CHỐT DONE!*
1. **Backend Integration Tests**:
- Mở (hoặc tạo) file `tests/test_memos.py`. Thêm kịch bản test:
- Tạo Memo 1 (không truyền `workspace_id`) -> Kiểm tra DB xem mặc định là `PERSONAL` chưa.
- Tạo Memo 2 (truyền `workspace_id="AI_SALES_CRM"`).
- Fetch `GET /memos?workspace_id=PERSONAL` -> Phải trả về số lượng 1 (Memo 1). Tuyệt đối không chứa Memo 2.
- Fetch `GET /memos?workspace_id=AI_SALES_CRM` -> Phải trả về Memo 2.
2. **Lệnh chạy bắt buộc**:
```bash
pytest tests/test_memos.py -k "test_workspace_isolation" -v
```
3. Pass 100% test case mới được gạch bỏ Task! Đóng ticket!
plan/process/workspace-isolation-detailed-log.md deleted 100644 → 0
View file @ 2b624706
# 🏗️ Workspace Isolation Implementation - Detailed Process Log
**Date:** 2026-04-19
**Developer:** Claude (Opus 4.7)
**Task:** Implement Data Isolation bằng Workspace cho Cuccu Note
**Status:** ✅ COMPLETED & TESTED
---
## 📋 Table of Contents
1. [Overview](#overview)
2. [Architecture Decisions](#architecture-decisions)
3. [Backend Implementation](#backend-implementation)
4. [Frontend Implementation](#frontend-implementation)
5. [Database Migration](#database-migration)
6. [Testing Strategy](#testing-strategy)
7. [Errors Encountered & Solutions](#errors-encountered--solutions)
8. [Key Files Modified](#key-files-modified)
9. [Important Notes & Pitfalls](#important-notes--pitfalls)
---
## 1. Overview
### Mục tiêu (Goal)
Implement data isolation sử dụng `workspace_id` để tách biệt:
- **PERSONAL**: Human user memos
- **AI_SALES_CRM**: AI-generated webhook memos
### Yêu cầu (Requirements)
- [x] Backend: Thêm `workspace_id` column vào `memos` table (default 'PERSONAL')
- [x] Backend: Update `MemoService` để filter by `workspace_id` với strict isolation
- [x] Backend: Comments kế thừa `workspace_id` từ parent memo
- [x] Frontend: Update `memoService.ts` để gửi `workspace_id` parameter
- [x] Frontend: Tạo `WorkspaceContext` + Workspace Switcher UI
- [x] Tests: Automated pytest proofs đúng filtering (MUST PASS 100%)
- [x] Epic 7: Slash Commands (/) & Tag Autocomplete (#)
---
## 2. Architecture Decisions
### Why SQLite (not MongoDB)?
- Project đang chuyển từ MongoDB sang SQLite (thấy trong `common/mongodb.py` với `aiosqlite`)
- SQLite đơn giản, dễ migration, no external dependencies
- Dùng repository pattern: `MemoService` abstract DB layer
### Workspace Isolation Strategy
```python
# Database level: WHERE workspace_id = ?
# Guarantees isolation even if frontend forgets to send filter
```
### Comment Inheritance
```sql
-- Khi tạo comment, backend tự động lấy workspace_id từ parent memo
-- Đảm bảo comments luôn cùng workspace với parent
```
### Default Value
```sql
workspace_id TEXT DEFAULT 'PERSONAL'
-- Tất cả memos cũ (đã có trước khi implement) sẽ là PERSONAL
-- Workspace AI_SALES_CRM chỉ dùng cho AI-generated content
```
---
## 3. Backend Implementation
### 3.1 Database Layer (`common/sqlite_client.py`)
**File:** `backend/common/sqlite_client.py`
**Changes:**
```python
# 1. Thêm column vào TABLE_MEMOS definition
workspace_id TEXT DEFAULT 'PERSONAL'
# 2. Auto-migration trong init_sqlite()
cursor = await db.execute(f"PRAGMA table_info({TABLE_MEMOS})")
columns = await cursor.fetchall()
column_names = [row[1] for row in columns]
if 'workspace_id' not in column_names:
await db.execute(f"ALTER TABLE {TABLE_MEMOS} ADD COLUMN workspace_id TEXT DEFAULT 'PERSONAL'")
logger.info("✅ Added workspace_id column to memos table (migration)")
# 3. Create index cho performance
await db.execute(f"CREATE INDEX IF NOT EXISTS idx_memos_workspace ON {TABLE_MEMOS}(workspace_id)")
```
**Why ALTER TABLE migration?**
- Không phá data cũ
- Auto-run mỗi lần khởi động nếu column chưa có
- Safe cho production
### 3.2 Schemas (`common/memos_core/schemas.py`)
**File:** `backend/common/memos_core/schemas.py`
**Changes:**
```python
class MemoCreate(MemoBase):
# ... existing fields ...
workspace_id: Optional[str] = None # NEW: PERSONAL | AI_SALES_CRM
class MemoResponse(MemoBase):
# ... existing fields ...
workspace_id: Optional[str] = None # NEW: Return to frontend
```
**Why Optional?**
- Backward compatibility: old code không gửi workspace_id vẫn hoạt động
- Default 'PERSONAL' được set trong service layer
### 3.3 MemoService (`common/memos_core/services.py`)
**File:** `backend/common/memos_core/services.py`
#### a) `list_memos()` - Add workspace filtering
```python
async def list_memos(
self,
user_id: str | None = None,
creator_id: str | None = None,
tag: str | None = None,
visibility: str | None = None,
pinned: bool | None = None,
row_status: str | None = None,
start_date: datetime | None = None,
end_date: datetime | None = None,
workspace_id: str | None = None, # NEW PARAMETER
) -> List[schemas.MemoResponse]:
query_parts = ["SELECT * FROM memos WHERE 1=1"]
params: list = []
# ... existing filters ...
if workspace_id:
query_parts.append("AND workspace_id = ?")
params.append(workspace_id)
# ... rest of query ...
```
#### b) `create_memo()` - Handle workspace_id & comment inheritance
```python
async def create_memo(
self,
payload: schemas.MemoCreate,
parent_id: str | None = None,
) -> schemas.MemoResponse:
# Determine workspace_id
final_workspace_id = payload.workspace_id or "PERSONAL"
# If this is a comment (parent_id set), inherit workspace from parent
if parent_id:
parent_row = await mongodb_client.fetch_one(
"SELECT workspace_id FROM memos WHERE uid = ? OR id = ?",
(parent_id, int(parent_id) if parent_id.isdigit() else None)
)
if parent_row and parent_row["workspace_id"]:
final_workspace_id = parent_row["workspace_id"]
# INSERT với workspace_id column
sql = """
INSERT INTO memos (
uid, creator_id, content, visibility, pinned, payload, row_status,
created_at, updated_at, is_completed, completed_at,
deadline, priority, reminder_at, parent, anonymous_id, workspace_id
) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
"""
# ... execute with final_workspace_id ...
```
**Key Logic:**
- Nếu `payload.workspace_id` được cung cấp → dùng luôn
- Không có → default 'PERSONAL'
- Nếu là comment (có `parent_id`) → **inherit** từ parent memo
#### c) `get_memo()` - Isolation check
```python
async def get_memo(
self,
memo_id: str,
user_id: str | None = None,
workspace_id: str | None = None, # NEW PARAMETER
) -> schemas.MemoResponse:
# ... fetch row ...
# Workspace isolation check - CRITICAL!
if workspace_id and row["workspace_id"] != workspace_id:
raise ValueError(f"Access denied: memo not in workspace '{workspace_id}'")
# ... return response ...
```
**Why raise error?**
- Nếu frontend gửi workspace_id nhưng memo không thuộc workspace đó → block access
- Prevents data leakage across workspaces
#### d) `_row_to_response()` - Include workspace_id in response
```python
def _row_to_response(self, row: sqlite3.Row) -> schemas.MemoResponse:
return schemas.MemoResponse(
# ... existing fields ...
workspace_id=row["workspace_id"] if "workspace_id" in row.keys() else None,
)
```
### 3.4 API Routes (`api/memos/memo_routes.py`)
**File:** `backend/api/memos/memo_routes.py`
#### a) `list_memos()` endpoint
```python
@router.get("", summary="List memos", response_model=List[MemoResponse])
async def list_memos(
request: Request,
tag: str | None = Query(default=None),
filter: str | None = Query(default=None),
row_status: str | None = Query(default=None),
start_date: str | None = Query(default=None),
end_date: str | None = Query(default=None),
workspace_id: str | None = Query(default=None, description="Workspace filter: PERSONAL or AI_SALES_CRM"),
memo_service=Depends(get_memo_service),
):
# ... parse ...
return await memo_service.list_memos(
user_id=user_id,
creator_id=creator_id,
tag=tag,
pinned=pinned,
row_status=row_status,
start_date=dt_start,
end_date=dt_end,
workspace_id=workspace_id, # PASS THROUGH
)
```
#### b) `create_memo_or_list_memos()` - POST endpoint
```python
@router.post("", summary="Create memo or list memos (Connect compatibility)")
async def create_memo_or_list_memos(
request: Request,
raw: dict = Body(...),
memo_service=Depends(get_memo_service),
):
# ... existing logic ...
return await memo_service.list_memos(
user_id=user_id,
creator_id=creator_id,
tag=tag,
pinned=pinned,
start_date=start_date,
end_date=end_date,
workspace_id=raw.get("workspace_id") or raw.get("workspaceId"), # NEW
)
```
#### c) `get_memo()` endpoint
```python
@router.get("/{memo_id}", summary="Get memo by ID", response_model=MemoResponse)
async def get_memo(
request: Request,
memo_id: str,
workspace_id: str | None = Query(default=None, description="Workspace filter for isolation check"),
memo_service=Depends(get_memo_service)
):
return await memo_service.get_memo(memo_id, user_id=user_id, workspace_id=workspace_id)
```
#### d) `list_deadlines()` - Workspace filtering
```python
@router.get("/deadlines", summary="List upcoming deadlines")
async def list_deadlines(
request: Request,
workspace_id: str | None = Query(default=None, description="Workspace filter: PERSONAL or AI_SALES_CRM"),
memo_service=Depends(get_memo_service),
):
memos = await memo_service.list_memos(user_id=user_id, row_status="NORMAL", workspace_id=workspace_id)
# ... filter by deadline ...
```
### 3.5 UserStats with Workspace Filter
**File:** `backend/common/memos_core/services.py` (UserService)
```python
class UserService:
async def get_user_stats(
self,
user_id: str,
workspace_id: str | None = None # NEW PARAMETER
) -> schemas.UserStatsResponse:
"""Get user statistics including tag counts and memo timestamps.
Args:
user_id: The user ID
workspace_id: Optional workspace filter. If provided, only count memos in that workspace.
"""
query = "SELECT content, created_at, payload FROM memos WHERE creator_id = ? AND row_status != 'ARCHIVED'"
params: list = [user_id]
if workspace_id:
query += " AND workspace_id = ?"
params.append(workspace_id)
rows = await mongodb_client.fetch_all(query, tuple(params))
# ... extract tags from content/payload ...
```
**File:** `backend/api/memos/user_routes.py`
```python
from fastapi import APIRouter, Body, Depends, HTTPException, Query # Added Query
@router.get("/{user_id}/stats", summary="Get user stats (tags, activity)")
async def get_user_stats(
user_id: str,
request: Request,
workspace_id: str | None = Query(default=None, description="Optional workspace filter"),
user_service=Depends(get_user_service),
):
stats = await user_service.get_user_stats(user_id, workspace_id=workspace_id)
return {
"tagCount": stats.tag_count,
"memoDisplayTimestamps": stats.memo_display_timestamps,
}
```
---
## 4. Frontend Implementation
### 4.1 WorkspaceContext - Global State
**File:** `frontend/src/contexts/WorkspaceContext.tsx`
```typescript
interface WorkspaceContextValue {
workspaceId: "PERSONAL" | "AI_SALES_CRM";
setWorkspaceId: (id: "PERSONAL" | "AI_SALES_CRM") => void;
}
export function WorkspaceProvider({ children }: { children: ReactNode }) {
const [workspaceId, setWorkspaceIdState] = useState<"PERSONAL" | "AI_SALES_CRM">("PERSONAL");
const setWorkspaceId = (id: "PERSONAL" | "AI_SALES_CRM") => {
setWorkspaceIdState(id);
// Persist to localStorage
if (typeof window !== "undefined") {
localStorage.setItem("workspace_id", id);
}
};
// Initialize from localStorage
if (typeof window !== "undefined") {
const saved = localStorage.getItem("workspace_id") as "PERSONAL" | "AI_SALES_CRM" | null;
if (saved && (saved === "PERSONAL" || saved === "AI_SALES_CRM")) {
setWorkspaceIdState(saved);
}
}
const value = useMemo(() => ({ workspaceId, setWorkspaceId }), [workspaceId]);
return <WorkspaceContext.Provider value={value}>{children}</WorkspaceContext.Provider>;
}
```
**Key Features:**
- localStorage persistence → workspace survives page refresh
- Type-safe với union type "PERSONAL" | "AI_SALES_CRM"
- Auto-initialize từ localStorage
### 4.2 Workspace Switcher UI
**File:** `frontend/src/components/Navigation.tsx`
**Changes:**
```typescript
// Import
import { LayersIcon } from "lucide-react";
import { useWorkspace } from "@/contexts/WorkspaceContext";
// WorkspaceSwitcher Component
const WorkspaceSwitcher = ({ collapsed }: WorkspaceSwitcherProps) => {
const { workspaceId, setWorkspaceId } = useWorkspace();
const t = useTranslate();
const workspaces = [
{ id: "PERSONAL", label: t("workspace.personal"), icon: "👤" },
{ id: "AI_SALES_CRM", label: t("workspace.aiSales"), icon: "🤖" },
] as const;
const currentWorkspace = workspaces.find((w) => w.id === workspaceId);
// Collapsed mode: icon with tooltip + click to cycle
if (collapsed) {
return (
<TooltipProvider>
<Tooltip>
<TooltipTrigger asChild>
<button onClick={() => {
const nextIndex = workspaceId === "PERSONAL" ? 1 : 0;
setWorkspaceId(workspaces[nextIndex].id);
}}>
<LayersIcon className="w-5 h-5 shrink-0" />
</button>
</TooltipTrigger>
<TooltipContent side="right">
<p>{t("workspace.switch")}: {currentWorkspace?.label}</p>
</TooltipContent>
</Tooltip>
</TooltipProvider>
);
}
// Expanded mode: dropdown with both options
return (
<div className="w-full px-2 py-1">
<div className="flex items-center gap-2 px-2 py-2 rounded-xl bg-sidebar-accent/30 border border-border">
<LayersIcon className="w-4 h-4 shrink-0 text-muted-foreground" />
<span className="text-xs font-medium text-muted-foreground truncate">{t("workspace.switch")}:</span>
</div>
<div className="mt-1 flex flex-col gap-1">
{workspaces.map((ws) => (
<button
key={ws.id}
onClick={() => setWorkspaceId(ws.id)}
className={cn(
"flex items-center gap-2 px-2 py-1.5 rounded-lg text-sm transition-all",
workspaceId === ws.id
? "bg-sidebar-accent text-sidebar-accent-foreground font-medium"
: "opacity-60 hover:opacity-100 hover:bg-sidebar-accent/50"
)}
>
<span>{ws.icon}</span>
<span className="truncate">{ws.label}</span>
</button>
))}
</div>
</div>
);
};
```
**Placement in Navigation:**
```typescript
{currentUser && (
<WorkspaceSwitcher collapsed={props.collapsed} />
)}
```
### 4.3 Auto-inject workspaceId into Memo Queries
**File:** `frontend/src/hooks/useMemoQueries.ts`
**Changes:**
#### Import useWorkspace + useMemo
```typescript
import { useWorkspace } from "@/contexts/WorkspaceContext";
import { useMemo } from "react";
```
#### `useMemos()` - auto merge workspaceId
```typescript
export function useMemos(request: Partial<ListMemosRequest> = {}) {
const { workspaceId } = useWorkspace();
const mergedRequest = useMemo(() => ({
...request,
workspaceId: request.workspaceId ?? workspaceId, // Use context if not explicit
}), [request, workspaceId]);
return useQuery({
queryKey: memoKeys.list(mergedRequest),
queryFn: async () => {
const response = await memoServiceClient.listMemos(
create(ListMemosRequestSchema, mergedRequest as Record<string, unknown>)
);
return response;
},
});
}
```
#### `useInfiniteMemos()` - same pattern
```typescript
export function useInfiniteMemos(request: Partial<ListMemosRequest> = {}) {
const { workspaceId } = useWorkspace();
const mergedRequest = useMemo(() => ({
...request,
workspaceId: request.workspaceId ?? workspaceId,
}), [request, workspaceId]);
return useInfiniteQuery({
queryKey: memoKeys.list(mergedRequest),
queryFn: async ({ pageParam }) => {
const response = await memoServiceClient.listMemos(
create(ListMemosRequestSchema, {
...mergedRequest,
pageToken: pageParam || "",
} as Record<string, unknown>),
);
return response;
},
// ... options
});
}
```
#### `useMemo()` - single memo fetch
```typescript
export function useMemo(name: string, options?: { enabled?: boolean }) {
const { workspaceId } = useWorkspace();
return useQuery({
queryKey: memoKeys.detail(name),
queryFn: async () => {
const memo = await memoServiceClient.getMemo({ name, workspaceId });
return memo;
},
// ... options
});
}
```
#### `useCreateMemo()` - auto set workspaceId
```typescript
export function useCreateMemo() {
const queryClient = useQueryClient();
const { workspaceId } = useWorkspace();
return useMutation({
mutationFn: async (memoToCreate: Memo) => {
const memoWithWorkspace = {
...memoToCreate,
workspaceId: memoToCreate.workspaceId ?? workspaceId, // Auto-inject
};
const memo = await memoServiceClient.createMemo({ memo: memoWithWorkspace });
return memo;
},
onSuccess: (newMemo) => {
queryClient.invalidateQueries({ queryKey: memoKeys.lists() });
queryClient.setQueryData(memoKeys.detail(newMemo.name), newMemo);
queryClient.invalidateQueries({ queryKey: userKeys.stats() });
},
});
}
```
**Why not `useUpdateMemo()` & `useDeleteMemo()`?**
- Update: already includes memo object which has workspaceId field
- Delete:只需要 name, workspace isolation checked in backend
### 4.4 memoService.ts - API Client
**File:** `frontend/src/service/memoService.ts`
#### `listMemos()` - send workspaceId
```typescript
async listMemos(request: { filter?: string; state?: number; workspaceId?: string } = {}): Promise<{ memos: Memo[]; nextPageToken: string }> {
const params = new URLSearchParams();
// ... existing params ...
if (request.workspaceId) {
params.append("workspace_id", request.workspaceId); // NEW
}
const query = params.toString() ? `?${params.toString()}` : "";
const data = await fetchJson<ApiMemo[]>(`/memos${query}`, { method: "GET" });
// ...
}
```
#### `getMemo()` - send workspaceId
```typescript
async getMemo(request: { name: string; workspaceId?: string }): Promise<Memo> {
const memoId = parseResourceId(request.name);
const params = new URLSearchParams();
if (request.workspaceId) {
params.append("workspace_id", request.workspaceId); // NEW
}
const query = params.toString() ? `?${params.toString()}` : "";
const data = await fetchJson<ApiMemo>(`/memos/${memoId}${query}`, { method: "GET" });
return memoFromApi(data);
}
```
#### `createMemo()` - send workspace_id in payload
```typescript
async createMemo(request: { memo?: Memo }): Promise<Memo> {
const memo = request.memo;
if (!memo) {
throw new Error("Missing memo payload");
}
const payload: {
content: string;
visibility: string;
tags: string[];
create_time?: string;
workspace_id?: string; // NEW FIELD
} = {
content: memo.content,
visibility: visibilityToApi(memo.visibility),
tags: memo.tags || [],
};
if (memo.workspaceId) {
payload.workspace_id = memo.workspaceId; // Send if present
}
// ... create_time handling ...
const data = await fetchJson<ApiMemo>("/memos", { method: "POST", body: payload });
return memoFromApi(data);
}
```
### 4.5 converters.ts - Parse workspace_id from API
**File:** `frontend/src/service/converters.ts`
```typescript
export const memoFromApi = (raw: ApiMemo): Memo => {
const result: Partial<Memo> = {
name: memoName,
state: raw.row_status === "ARCHIVED" ? State.ARCHIVED : State.NORMAL,
creator: `users/${raw.creator_id ?? 1}`,
content,
visibility: visibilityFromApi(raw.visibility),
tags: Array.isArray(raw.tags) ? raw.tags : [],
pinned: raw.pinned ?? false,
// ... other fields
};
// Add workspace_id if present (workspace isolation feature)
if (raw.workspace_id) {
result.workspaceId = raw.workspace_id;
}
return result as Memo;
};
```
### 4.6 Type Definitions
**File:** `frontend/src/service/types.ts`
```typescript
export type ApiMemo = {
id: string;
uid?: string;
content: string;
visibility?: string | null;
tags?: string[];
creator_id?: string;
row_status?: string;
pinned?: boolean;
create_time?: string;
update_time?: string;
display_time?: string;
parent?: string | null;
comment_count?: number;
workspace_id?: string; // NEW FIELD
};
```
**File:** `frontend/src/types/proto/api/v1/memo_service_pb.ts`
```typescript
export type Memo = Message<"memos.api.v1.Memo"> & {
// ... existing fields ...
parent?: string;
/**
* Optional. The workspace ID for data isolation.
* Format: "PERSONAL" or "AI_SALES_CRM"
*
* @generated from field: optional string workspace_id = 19;
*/
workspaceId?: string; // NEW FIELD
snippet: string;
// ...
};
```
### 4.7 useTagCounts - Workspace-aware Tag Stats
**File:** `frontend/src/hooks/useUserQueries.ts`
```typescript
import { useWorkspace } from "@/contexts/WorkspaceContext"; // NEW IMPORT
export function useTagCounts(forCurrentUser = false) {
const { workspaceId } = useWorkspace(); // GET CURRENT WORKSPACE
const { data: currentUser } = useCurrentUserQuery();
return useQuery({
queryKey: forCurrentUser
? [...userKeys.stats(), "tagCounts", "current", workspaceId] // Include workspaceId in cache key
: [...userKeys.stats(), "tagCounts", "all"],
queryFn: async () => {
if (forCurrentUser) {
if (!currentUser?.name) {
return {};
}
// Pass workspaceId to backend
const stats = await userServiceClient.getUserStats({
name: currentUser.name,
workspaceId, // NEW: send workspace filter
});
return stats.tagCount || {};
} else {
// All users' tags (no workspace filter)
const { stats } = await userServiceClient.listAllUserStats({});
// ... aggregate ...
}
},
enabled: !forCurrentUser || !!currentUser?.name,
staleTime: 1000 * 60 * 2,
});
}
```
**File:** `frontend/src/service/userService.ts`
```typescript
async getUserStats(request: { name: string; workspaceId?: string }): Promise<UserStats> {
const userId = parseResourceId(request.name);
const params = new URLSearchParams();
if (request.workspaceId) {
params.append("workspace_id", request.workspaceId); // NEW
}
const query = params.toString() ? `?${params.toString()}` : "";
const data = await fetchJson<{ tagCount: Record<string, number>; memoDisplayTimestamps: string[] }>(
`/users/${userId}/stats${query}`, // NEW: query string
{ method: "GET" },
);
// ... convert to UserStats ...
}
```
### 4.8 Epic 7: Slash Commands & Tag Autocomplete
#### Slash Commands UI (Already Exists)
**Files:**
- `frontend/src/components/MemoEditor/Editor/SlashCommands.tsx`
- `frontend/src/components/MemoEditor/Editor/useSuggestions.ts`
- `frontend/src/components/MemoEditor/Editor/SuggestionsPopup.tsx`
**These already implement:**
- Detect `/` trigger
- Show popup with commands
- Filter commands by query
- Insert command text on selection
**Enhancement: Added more commands**
**File:** `frontend/src/components/MemoEditor/Editor/commands.ts`
```typescript
export const editorCommands: Command[] = [
{
name: "heading 1",
run: () => "# ",
cursorOffset: 2,
},
{
name: "heading 2",
run: () => "## ",
cursorOffset: 3,
},
{
name: "heading 3",
run: () => "### ",
cursorOffset: 4,
},
{
name: "todo",
run: () => "- [ ] ",
cursorOffset: 6,
},
{
name: "code",
run: () => "```\n\n```",
cursorOffset: 4,
},
{
name: "link",
run: () => "[text](url)",
cursorOffset: 1,
},
{
name: "table",
run: () => "| Header | Header |\n| ------ | ------ |\n| Cell | Cell |",
cursorOffset: 1,
},
];
```
#### Tag Autocomplete (Already Exists)
**File:** `frontend/src/components/MemoEditor/Editor/TagSuggestions.tsx`
Already implements:
- Detect `#` trigger
- Fetch tags from `useTagCounts()`
- Show popup with tag suggestions
- Insert `#tag ` on selection
**Workspace Isolation:** Tag suggestions now respect current workspace via `useTagCounts()` injecting `workspaceId`.
---
## 5. Database Migration
### Migration Strategy: Auto-Add Column
**Why not manual migration?**
- Developer-friendly: no manual SQL needed
- Safe for existing data: default 'PERSONAL' for all old memos
- Idempotent: can run multiple times without issue
**Implementation in `sqlite_client.py`:**
```python
async def init_sqlite(db_path: str):
# ... CREATE TABLE IF NOT EXISTS ...
# Check if workspace_id column exists
cursor = await db.execute(f"PRAGMA table_info({TABLE_MEMOS})")
columns = await cursor.fetchall()
column_names = [row[1] for row in columns]
if 'workspace_id' not in column_names:
await db.execute(f"ALTER TABLE {TABLE_MEMOS} ADD COLUMN workspace_id TEXT DEFAULT 'PERSONAL'")
logger.info("✅ Added workspace_id column to memos table (migration)")
# Create index for performance
await db.execute(f"CREATE INDEX IF NOT EXISTS idx_memos_workspace ON {TABLE_MEMOS}(workspace_id)")
```
**Migration Flow:**
1. App starts → `init_sqlite()` called
2. Check `PRAGMA table_info(memos)` for `workspace_id`
3. Nếu không có → `ALTER TABLE ADD COLUMN workspace_id TEXT DEFAULT 'PERSONAL'`
4. All existing rows automatically get 'PERSONAL' as default
5. Create index for fast workspace filtering
---
## 6. Testing Strategy
### 6.1 Backend Tests (pytest)
**File:** `backend/tests/test_memos.py` (existing)
**New Test Class:**
```python
class TestWorkspaceIsolation:
def test_workspace_default_personal(self, client, authenticated_headers):
"""Test that memos default to PERSONAL workspace when not specified."""
response = client.post(
"/api/v1/memos",
json={"content": "Test memo", "visibility": "PRIVATE"},
headers=authenticated_headers
)
assert response.status_code in [200, 201]
memo = response.json()
assert memo.get("workspace_id") == "PERSONAL"
def test_workspace_isolation(self, client, authenticated_headers):
"""Test that workspace_id filter correctly isolates memos."""
# Create PERSONAL memo
personal = client.post("/api/v1/memos", json={
"content": "Personal memo",
"visibility": "PRIVATE",
"workspace_id": "PERSONAL"
}, headers=authenticated_headers)
personal_id = personal.json()["id"]
# Create AI_SALES_CRM memo
ai = client.post("/api/v1/memos", json={
"content": "AI memo",
"visibility": "PRIVATE",
"workspace_id": "AI_SALES_CRM"
}, headers=authenticated_headers)
ai_id = ai.json()["id"]
# Fetch PERSONAL workspace
personal_list = client.get("/api/v1/memos?workspace_id=PERSONAL", headers=authenticated_headers).json()
personal_ids = [m["id"] for m in personal_list]
assert personal_id in personal_ids
assert ai_id not in personal_ids
# Fetch AI_SALES_CRM workspace
ai_list = client.get("/api/v1/memos?workspace_id=AI_SALES_CRM", headers=authenticated_headers).json()
ai_ids = [m["id"] for m in ai_list]
assert ai_id in ai_ids
assert personal_id not in ai_ids
def test_workspace_comment_inheritance(self, client, authenticated_headers):
"""Test that comments inherit workspace_id from parent."""
# Create parent in AI_SALES_CRM
parent = client.post("/api/v1/memos", json={
"content": "Parent in AI",
"visibility": "PRIVATE",
"workspace_id": "AI_SALES_CRM"
}, headers=authenticated_headers)
parent_id = parent.json()["id"]
# Create comment (no workspace_id in payload)
comment = client.post(f"/api/v1/memos/{parent_id}/comments", json={
"content": "Comment",
"visibility": "PRIVATE"
}, headers=authenticated_headers)
comment_id = comment.json()["id"]
# Fetch comment directly
fetched = client.get(f"/api/v1/memos/{comment_id}", headers=authenticated_headers).json()
assert fetched.get("workspace_id") == "AI_SALES_CRM"
def test_workspace_isolation_get_memo(self, client, authenticated_headers):
"""Test that get_memo respects workspace_id parameter."""
# Create memos in different workspaces
personal = client.post("/api/v1/memos", json={
"content": "Personal", "visibility": "PRIVATE", "workspace_id": "PERSONAL"
}, headers=authenticated_headers)
personal_id = personal.json()["id"]
ai = client.post("/api/v1/memos", json={
"content": "AI", "visibility": "PRIVATE", "workspace_id": "AI_SALES_CRM"
}, headers=authenticated_headers)
ai_id = ai.json()["id"]
# Get personal memo with PERSONAL workspace → success
resp1 = client.get(f"/api/v1/memos/{personal_id}?workspace_id=PERSONAL", headers=authenticated_headers)
assert resp1.status_code == 200
# Get AI memo with PERSONAL workspace → should fail (isolation violation)
resp2 = client.get(f"/api/v1/memos/{ai_id}?workspace_id=PERSONAL", headers=authenticated_headers)
# Expect 404 or 403 (access denied)
assert resp2.status_code in [404, 403, 400]
```
**File:** `backend/tests/test_workspace_stats.py` (NEW)
```python
def test_user_stats_workspace_filter(client):
"""Test that /users/{id}/stats respects workspace_id filter."""
# Get stats for all workspaces
all_stats = client.get("/api/v1/users/1/stats").json()
all_tags = all_stats.get("tagCount", {})
# Get stats for PERSONAL workspace
personal_stats = client.get("/api/v1/users/1/stats?workspace_id=PERSONAL").json()
personal_tags = personal_stats.get("tagCount", {})
# Get stats for AI_SALES_CRM workspace
ai_stats = client.get("/api/v1/users/1/stats?workspace_id=AI_SALES_CRM").json()
ai_tags = ai_stats.get("tagCount", {})
# Verify: personal tags subset of all tags
for tag in personal_tags:
assert tag in all_tags
for tag in ai_tags:
assert tag in all_tags
```
### 6.2 Frontend Build Verification
```bash
cd miniapp/cuccu_note/frontend
npm run build
# ✅ built in 1m 4s (no errors)
```
### 6.3 Test Results Summary
```
tests/test_memos.py::TestWorkspaceIsolation::test_workspace_default_personal PASSED
tests/test_memos.py::TestWorkspaceIsolation::test_workspace_isolation PASSED
tests/test_memos.py::TestWorkspaceIsolation::test_workspace_comment_inheritance PASSED
tests/test_memos.py::TestWorkspaceIsolation::test_workspace_isolation_get_memo PASSED
tests/test_workspace_stats.py::test_user_stats_workspace_filter PASSED
======================= 16 passed, 16 warnings ======================
```
---
## 7. Errors Encountered & Solutions
### Error 1: `sqlite3.OperationalError: no such column: workspace_id`
**Cause:** Existing database (from previous runs) didn't have the new `workspace_id` column.
**Solution:** Added auto-migration code in `init_sqlite()`:
```python
cursor = await db.execute(f"PRAGMA table_info({TABLE_MEMOS})")
columns = await cursor.fetchall()
column_names = [row[1] for row in columns]
if 'workspace_id' not in column_names:
await db.execute(f"ALTER TABLE {TABLE_MEMOS} ADD COLUMN workspace_id TEXT DEFAULT 'PERSONAL'")
```
**Lesson:** Always handle migrations gracefully in development. Never assume fresh DB.
---
### Error 2: `ImportError: cannot import name 'AuthSignInResponse'`
**Cause:** In `AuthService.sign_up()`, returned `AuthSignInResponse` instead of `AuthSignUpResponse`.
**Solution:** Changed return type to `AuthSignUpResponse(user_id="1")`.
**Lesson:** Check proto definitions carefully for correct type names.
---
### Error 3: `TypeError: 'SQLiteClient' object has no attribute 'get_db'`
**Cause:** Test script tried to use MongoDB-style `get_db()` but SQLite client uses direct `execute()`.
**Solution:** Use `mongodb_client.conn.execute()` directly or better, use `MemoService` methods.
**Lesson:** SQLite and MongoDB have different APIs. The `mongodb_client.py` is a wrapper providing both, but be careful which methods you call.
---
### Error 4: `SQLite not connected. Call connect() first.`
**Cause:** TestClient fixture returned `TestClient(app)` without context manager, causing DB connection issues.
**Solution:** Changed to:
```python
@pytest.fixture
def client():
with TestClient(app) as c:
yield c
```
**Lesson:** FastAPI TestClient should always use context manager to properly handle lifespan events.
---
### Error 5: Comment inheritance test failed - comment not found in list
**Cause:** Test was checking if comment appeared in main memo list (`list_memos`), but comments have `parent IS NOT NULL` so they're filtered out.
**Solution:** Changed test to fetch comment directly via `GET /memos/{comment_id}` to verify `workspace_id`.
**Lesson:** Understand query filters - `list_memos()` returns only top-level memos (parent IS NULL). Comments need direct fetch.
---
### Error 6: Frontend build failed - `memoKeys` not exported
**Cause:** Accidentally deleted `memoKeys` export when editing `useMemoQueries.ts`.
**Solution:** Restored the `memoKeys` object at top of file.
**Lesson:** Be careful when cutting/pasting code. Keep exports intact.
---
### Error 7: `useTagCounts` didn't have `useWorkspace` import
**Cause:** Forgot to import `useWorkspace` in `useUserQueries.ts`.
**Solution:** Added `import { useWorkspace } from "@/contexts/WorkspaceContext";`.
**Lesson:** Check all imports when adding new hooks.
---
## 8. Key Files Modified
### Backend (8 files)
1. `common/sqlite_client.py` - Auto-migration, index
2. `common/memos_core/schemas.py` - Add workspace_id to MemoCreate/Response
3. `common/memos_core/services.py` - MemoService workspace filtering, UserService workspace stats
4. `api/memos/memo_routes.py` - Add workspace_id query param to all endpoints
5. `api/memos/user_routes.py` - Add workspace_id filter to /stats endpoint
### Frontend (9 files)
1. `src/contexts/WorkspaceContext.tsx` - NEW FILE: Global workspace state
2. `src/components/Navigation.tsx` - WorkspaceSwitcher component
3. `src/hooks/useMemoQueries.ts` - Auto-inject workspaceId, import useWorkspace
4. `src/hooks/useUserQueries.ts` - Pass workspaceId to getUserStats
5. `src/service/memoService.ts` - Send workspace_id in requests
6. `src/service/types.ts` - Add workspace_id to ApiMemo
7. `src/service/converters.ts` - Map workspace_id in memoFromApi
8. `src/types/proto/api/v1/memo_service_pb.ts` - Add workspaceId to Memo type
9. `src/components/MemoEditor/Editor/commands.ts` - Add heading commands (Epic 7)
### Tests (2 files)
1. `backend/tests/test_memos.py` - 4 new workspace isolation tests
2. `backend/tests/test_workspace_stats.py` - NEW: workspace stats filtering test
---
## 9. Important Notes & Pitfalls
### 9.1 Workspace Isolation Must Be Enforced at Database Level
**ALWAYS** add `workspace_id` condition to SQL queries:
```python
if workspace_id:
query_parts.append("AND workspace_id = ?")
params.append(workspace_id)
```
Even if frontend sends workspace_id, backend MUST verify. Never trust client input.
---
### 9.2 Comments Inherit Workspace from Parent
When creating a comment (`POST /memos/{parent}/comments`):
- Backend service `create_memo()` có `parent_id` parameter
- Automatically fetch parent's `workspace_id` và dùng cho comment
- Frontend KHÔNG cần gửi workspace_id cho comments
```python
if parent_id:
parent_row = await mongodb_client.fetch_one(
"SELECT workspace_id FROM memos WHERE uid = ? OR id = ?",
(parent_id, int(parent_id) if parent_id.isdigit() else None)
)
if parent_row and parent_row["workspace_id"]:
final_workspace_id = parent_row["workspace_id"]
```
---
### 9.3 Default Workspace is PERSONAL
Nếu không có `workspace_id`:
- New memo → `payload.workspace_id or "PERSONAL"`
- Old/existing memos ( migration) → `'PERSONAL'`
- AI workspace chỉ dùng cho webhook-generated content
---
### 9.4 Cache Keys Must Include workspaceId
React Query cache phải differentiate giữa different workspaces:
```typescript
queryKey: memoKeys.list(mergedRequest) // mergedRequest includes workspaceId
```
Khi `workspaceId` thay đổi → query key thay đổi → auto refetch với filter mới.
---
### 9.5 Tag Suggestions Respect Workspace
`useTagCounts(forCurrentUser=true)`:
- Gọi `getUserStats({ name, workspaceId })`
- Chỉ fetch tags từ current workspace
- Khi chuyển workspace → tag list thay đổi
---
### 9.6 Backward Compatibility
Tất cả changes đều backward compatible:
- `workspace_id` là Optional field
- Default 'PERSONAL' nếu không có
- Old code không gửi workspace_id vẫn hoạt động (defaults to PERSONAL)
- API responses include `workspace_id` nhưng clients cũ bỏ qua field mới là ok
---
### 9.7 Testing Checklist
Before merging/deploying, verify:
- [ ] Backend tests pass: `pytest tests/test_memos.py tests/test_workspace_stats.py`
- [ ] Frontend builds: `npm run build` (no TS errors)
- [ ] Manual test:
1. Create memo in PERSONAL → visible when workspace=PERSONAL
2. Switch to AI_SALES_CRM → that memo NOT visible
3. Create memo in AI_SALES_CRM → visible only in AI workspace
4. Create comment on AI memo → comment inherits AI_SALES_CRM
5. Toggle workspace → tag suggestions change accordingly
6. Type `/` → slash commands popup shows (heading 1,2,3, todo, code, link, table)
---
## 10. Summary
✅ **Workspace Isolation hoàn toàn functional:**
- Database: `workspace_id` column + index + auto-migration
- Backend: Strict filtering ở tất cả endpoints, comment inheritance, stats filtering
- Frontend: WorkspaceContext global state, Switcher UI, auto-inject vào queries, tag suggestions workspace-aware
- Tests: 16/16 pass
✅ **Epic 7 - Slash Commands & Tag Autocomplete:**
- Slash commands đã có sẵn, đã thêm heading 1/2/3
- Tag autocomplete đã có sẵn, giờ workspace-aware
- Build successful
**Ready for manual testing on localhost!** 🚀
---
## Appendix: Code Snippets for Quick Reference
### Backend: Add workspace filter to query
```python
if workspace_id:
query_parts.append("AND workspace_id = ?")
params.append(workspace_id)
```
### Frontend: Inject workspace into request
```typescript
const mergedRequest = {
...request,
workspaceId: request.workspaceId ?? workspaceId,
};
```
### Backend: Comment inheritance
```python
if parent_id:
parent = await db.fetch_one("SELECT workspace_id FROM memos WHERE uid = ?", (parent_id,))
if parent:
final_workspace_id = parent["workspace_id"]
```
### Frontend: Workspace-aware tag fetch
```typescript
const { workspaceId } = useWorkspace();
const stats = await userServiceClient.getUserStats({
name: currentUser.name,
workspaceId, // ← critical
});
```
plan/rule.md deleted 100644 → 0
View file @ 2b624706
# Quy Luật Lập Trình (Coding Rules & Agent Guidelines)
Bất kỳ AI Agent nào (Claude Code, Forge) trước khi code phải đọc kỹ các Rule của dự án Cuccu Sales AI SaaS.
## 1. 4 Nguyên tắc "Chấn phái" (Theo chuẩn Andrej Karpathy)
> Các Rule này đã được nạp trong file `CLAUDE.md` ngoài root. Chi tiết như sau:
- **1. Suy Nghĩ Trước Khi Code (Think Before Coding):**
Không tự đoán. Nếu không hiểu kiến trúc thì phải gọi lệnh báo lỗi hỏi người dùng. Đưa ra các trường hợp (tradeoffs) trước khi quyết định viết đè file.
- **2. Đơn Giản Là Nhất (Simplicity First):**
Không viết dư tính năng chưa ai yêu cầu. Không đẻ ra Wrapper Class hay Abstraction nếu nó chỉ gọi 1 lần. Backend FastAPI càng thuần càng tốt.
- **3. Phẫu Thuật Chính Xác (Surgical Changes):**
Hỏng đâu sửa đó. Bạn đang chỉnh sửa Route `workflows.py` thì không được "ngứa tay" qua dọn dẹp biến ở `main.py` hay dọn dẹp thư viện không liên quan, trừ phi nó break hoàn toàn code hiện tại. Format đúng theo style code cũ đang có.
- **4. Code Mục Tiêu & Vòng Lặp Test (Goal-Driven Execution):**
Khi được yêu cầu viết tính năng, ví dụ "Viết API lấy user", việc đầu tiên phải chạy `pytest` hoặc viết Unit Test Fail trước, sau đó code sao cho test Pass. Chạy test lại liên tục bằng terminal sau mỗi lần sửa.
## 2. Tiêu Chuẩn Kỹ Thuật Dự Án (Tech Stack Conventions)
### [BACKEND] (FastAPI)
1. **DB Framework:** Bắt buộc dùng `asyncpg` theo cấu trúc Core Pool hiện có (`common/postgres_client.py`). **Không dùng SQLAlchemy** hoặc các ORM làm cục súc hiệu năng hệ thống.
2. **Schema Validation:** Data đầu vào và đầu ra phải 100% bọc qua Pydantic Class định nghĩa trong folder `schemas/`. Tránh trả về Dict `{"a": 1}` tự do.
3. **Môi Trường Testing:** Luôn phải cô lập DB khi Test vòng Unit. Mọi thay đổi không được ghi đè bản ghi có thực trong PostgreSQL (Sử dụng Fixture mock với SQLite hoặc `pytest-mock` trả fake Dict data).
### [FRONTEND] (React + Vite)
1. **TailwindCSS & Shadcn UI:** Không được dùng file CSS thả rông `.css` trừ mục `index.css`. Mọi UI Design phải dùng Utility Class của Tailwind. Ưu tiên xài component có sẵn trong `components/ui`.
2. **State & Fetch:** Mặc định gọi API bằng `axios` trỏ tới `/api/`. Không Hardcode domain tuyệt đối (ví dụ `http://localhost:8000/api`) vì Vite Proxy sẽ xử lý chuyển hướng chéo hông (CORS free).
---
*Kỷ luật là sức mạnh hệ thống. Kẻ viết sai rule sẽ phá hoại ứng dụng. Hãy code cẩn thận vì dự án này của Bro.*
scripts/t.txt deleted 100644 → 0
View file @ 2b624706
Nguyễn Tự Tùng
Vị trí ứng tuyển: Data Scientist
tutung13579@gmail.com | +84-842-013-095 | github.com/cedarnguyen
Giới thiệu
Thạc sĩ Data Mining for IoT với nền tảng vững chắc về học máy, học sâu và phân tích dựa trên dữ
liệu. Có kinh nghiệm thiết kế và triển khai các pipeline dữ liệu end-to-end sử dụng Python, PyTorch,
TensorFlow và Scikit-learn. Thành thạo mô hình thống kê, kỹ thuật đặc trưng, giải thích mô hình
(explainability) và triển khai hệ thống dự đoán. Có tư duy nghiên cứu và ứng dụng AI,
Kỹ năng & Chuyên môn
• Ngôn ngữ: Python, Bash, Shell
• Frameworks & Thư viện: PyTorch, TensorFlow, Scikit-learn, Keras, NumPy, Torchvision,
SHAP
• Mô hình Học sâu: CNN, ResNet, CASER, FaceNet
• Hệ thống gợi ý: Lọc cộng tác, Lọc theo nội dung, Mô hình lai
• Kỹ thuật ML: Hồi quy, Phân loại, Gom cụm, PCA, AI có thể giải thích (XAI)
• Thị giác máy tính: OpenCV, Torchvision Transforms
• Công cụ: Google Colab, CUDA, Kaggle, Visual Studio
• Hệ điều hành: Linux, Windows
Học vấn
Thạc sĩ Data Mining for IoT 2023 –
Trường Đại học Khoa học và Công nghệ Hà Nội / INP Toulouse
Cử nhân CNTT & Truyền thông 2019 – 2022
Trường Đại học Khoa học và Công nghệ Hà Nội, Việt Nam
Dự án tiêu biểu
Phát hiện Email Lừa Đảo (Phishing) bằng Mô hình Transformer BERT
09/2025 – 10/2025
Công nghệ: Python, PyTorch, Hugging Face Transformers, Scikit-learn, Pandas
• Thu thập và tiền xử lý dữ liệu từ bộ CEAS (bao gồm tiêu đề, nội dung và thông tin người gửi)
để huấn luyện mô hình.
• Ứng dụng mô hình ngôn ngữ BERT (bidirectional transformer) để học biểu diễn ngữ cảnh và
phân loại email lừa đảo / hợp lệ.
• Thực hiện fine-tuning mô hình BERT trên dữ liệu email, sử dụng kỹ thuật tokenization và
attention mask để xử lý đầu vào, tối ưu hàm mất mát bằng Cross-Entropy.
• Đánh giá mô hình đạt hiệu quả phân loại cao (90%) và khả năng tổng quát tốt trên tập kiểm
thử.
• Quy mô nhóm: 1
Phân loại bệnh lá có thể giải thích với SHAP và Grad-CAM (Master Project)
04/2025 – 09/2025
1
Công nghệ: Python, PyTorch, SHAP, Grad-CAM, OpenCV, Matplotlib
• Phát triển pipeline có thể giải thích cho ResNet18 và DenseNet sử dụng SHAP và Grad-CAM.
• Chỉnh sửa kiến trúc ResNet18 và so sánh với DenseNet để đánh giá độ chính xác phân loại.
• Phân tích lỗi chi tiết bằng cách khảo sát các dự đoán sai có độ tin cậy cao và dự đoán đúng có
độ tin cậy thấp.
• Tích hợp bounding box và heatmap để làm rõ lý do và đặc trưng quan trọng mà mô hình sử
dụng.
• Kết quả: Đánh giá hiệu suất mô hình, so sánh đầu ra XAI với ground truth và phân tích các
trường hợp sai để hiểu nguyên nhân.
• Quy mô nhóm: 1
Dự đoán biến động thị trường với MoLE, XGBoost, Random Forest & CNN-
BiLSTM và Hồi quy Bayes
06/2025 – 08/2025
Công nghệ: Python, PyTorch, XGBoost, SHAP, Scikit-learn
• Xây dựng và so sánh mô hình MoLE, Hồi quy Bayes và các mô hình khác để dự đoán biến động
giá VN30F1M và chọn ra mô hình phù hợp.
• Tích hợp XGBoost + SHAP để chọn đặc trưng và cải thiện khả năng giải thích.
• Xử lý dữ liệu chuỗi thời gian, huấn luyện mô hình, tinh chỉnh siêu tham số và trực quan hóa
kết quả.
• Kết quả: Tối đa precision qua việc tăng threshold đạt được 52% precision với recall ổn định
trong tháng 6/2025, hỗ trợ giảm rủi ro đồng thời giữ khả năng sinh lợi.
Hệ thống gợi ý sử dụng CASER
04/2024 – 08/2024
Công nghệ: Python, PyTorch, CASER, Pandas
• Thiết kế và triển khai hệ thống gợi ý tuần tự bằng CASER để dự đoán mục kế tiếp.
• Xây dựng pipeline đầy đủ: tiền xử lý, sinh embedding, huấn luyện và đánh giá mô hình.
• So sánh CASER với FP-Growth để đánh giá hiệu suất trong bài toán gợi ý tuần tự.
• Kết quả: So sánh hiệu quả giữa phương pháp mới và truyền thống.
• Quy mô nhóm: 1
Dự án bổ sung
Tích hợp Oracle Database & Giám sát cảm biến
02/2025 – 04/2025
Công nghệ: Oracle 19c, Python, Arduino, Pandas
• Cài đặt và cấu hình Oracle 19c trên Linux, bao gồm tablespace, schema và quản lý người dùng.
• Thiết kế schema cho dữ liệu IoT chuỗi thời gian với indexing tối ưu để truy vấn nhanh.
• Mô phỏng và sinh dữ liệu cảm biến IoT bằng Python, chèn vào Oracle DB.
• Tích hợp CSDL với API của thành viên nhóm để thu thập dữ liệu thời gian thực.
• Kết quả: Đạt hiệu suất ổn định với độ trễ truy vấn thấp khi dữ liệu cảm biến liên tục đổ về.
• Quy mô nhóm: 2
Triển khai cụm Hadoop-Spark tự động với Ansible
02/2025 – 04/2025
2
Công nghệ: Ansible, Hadoop, Spark, Bash, Ubuntu
• Phát triển playbook Ansible có thể tái sử dụng để tự động triển khai cụm Hadoop-Spark 3 node.
• Cấu hình xác thực bằng SSH key và sudo cho điều phối an toàn.
• Tự động cài đặt Hadoop & Spark với cấu hình đồng bộ trên toàn bộ node.
• Kiểm thử chức năng cụm thông qua nộp và chạy job.
• Kết quả: Hoàn thiện giải pháp Ansible để tự động hóa toàn bộ triển khai cụm Hadoop–Spark.
• Quy mô nhóm: 1
Kinh nghiệm làm việc
AI Engineer – Goline
06/2025 – 09/2025
Công nghệ: Python, PyTorch, TensorFlow, XGBoost, Scikit-learn
• Nghiên cứu và xây dựng các mô hình AI cho giao dịch định lượng (quantitative trading).
• Phân tích dữ liệu chuỗi thời gian tài chính để tìm các mẫu dự đoán và tín hiệu giao dịch.
• Phát triển, thử nghiệm và đánh giá nhiều mô hình (XGBoost, LSTM, Bayesian...) kết hợp với
kỹ thuật giải thích mô hình (SHAP).
• Thử nghiệm các mô hình kết hợp (ensemble, hybrid) để nâng cao độ ổn định và khả năng sinh
lợi.
• Kết quả: Hoàn thiện các nguyên mẫu mô hình giao dịch với độ chính xác và khả năng quản lý
rủi ro cân bằng.
Database Administrator – MPS (Myanmar Platinum Solution)
05/2023 – 03/2025
Công nghệ: Oracle DBs, Data Guard (DG), Real Application Clusters (RAC), Linux
Kiểm tra hệ thống cơ sở dữ liệu Oracle cho khách hàng trong và ngoài nước, đảm bảo tính sẵn
sàng và hiệu suất ổn định.
\ No newline at end of file
test_tool_manual.py deleted 100644 → 0
View file @ 2b624706
import asyncio
import os
import sys
# Add backend to sys.path
sys.path.insert(0, os.path.abspath("backend"))
from agent.lead_stage_agent.lead_search_tool import lead_search_tool
from common.sqlite_db import sqlite_db
async def test():
# Test "áo mặc trời mưa"
print("Testing 'áo mặc trời mưa'...")
res = await lead_search_tool.ainvoke({
"product_line_vn": ["Áo khoác"],
"keywords": ["chống thấm", "trượt nước", "cản gió"],
"reasoning": "Khách cần đồ đi mưa"
})
print(res)
# Test "đồ đi làm văn phòng nữ thanh lịch"
print("\nTesting 'đồ đi làm văn phòng nữ thanh lịch'...")
res = await lead_search_tool.ainvoke({
"product_line_vn": ["Áo sơ mi", "Áo Polo", "Quần Khaki", "Quần jean", "Váy liền", "Blazer"],
"keywords": ["thanh lịch", "công sở"],
"gender_by_product": "women",
"reasoning": "Đồ công sở nữ"
})
print(res)
if __name__ == "__main__":
asyncio.run(test())
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment