Opik của Comet là nền tảng mã nguồn mở để debug, đánh giá và giám sát toàn diện ứng dụng LLM, hệ thống RAG và luồng agent — với tracing từng bước, đánh giá tự động (LLM-as-a-judge) và dashboard sẵn sàng cho production. Điểm nổi bật là gắn quan sát vào cả vòng đời từ phát triển tới vận hành, giúp phát hiện lỗi và đo chất lượng liên tục.
Ứng dụng
- Trace và soi từng bước một agent hay pipeline RAG để tìm nơi mô hình trả lời sai.
- Chấm điểm tự động câu trả lời (đúng ngữ cảnh, không bịa) trước khi ra mắt tính năng.
- Giám sát chi phí, độ trễ và chất lượng của ứng dụng LLM đang chạy thật.
Hướng kiếm tiền: Đóng gói Opik thành dịch vụ “kiểm định & giám sát chất lượng AI” cho doanh nghiệp Việt chưa có đội LLMOps riêng.
⭐ 20.7k (ghi nhận) · nhóm: Quan sát & Kiểm định · license: Apache-2.0
Được nhắc trong bản tin
Đi tiếp: Xem Tổng hợp giải pháp để đóng gói repo này thành dịch vụ.