deepeval là framework đánh giá LLM hoạt động giống pytest nhưng dành riêng cho hệ thống AI. Nó cung cấp các chỉ số như G-Eval, độ liên quan câu trả lời và phát hiện ảo giác (hallucination) để đo chất lượng có định lượng.
Ứng dụng
- Viết unit test cho chatbot doanh nghiệp, chặn regression mỗi lần đổi prompt hay đổi model.
- Đo tỉ lệ ảo giác của một trợ lý RAG trước khi đưa vào chăm sóc khách hàng.
- Chấm điểm hàng loạt câu trả lời theo bộ tiêu chí nghiệp vụ riêng, tự động và lặp lại được.
Hướng kiếm tiền: Đóng gói bộ tiêu chí đánh giá theo ngành (pháp lý, y tế, TMĐT) và bán như dịch vụ QA cho các đội làm AI.
⭐ 17.5k (ghi nhận) · nhóm: Kiểm định LLM · license: Apache-2.0
Được nhắc trong bản tin
Đi tiếp: Xem Tổng hợp giải pháp để đóng gói repo này thành dịch vụ.