mlx-serve là máy chủ suy luận LLM gốc cho Apple Silicon, viết bằng Zig, tương thích API OpenAI và Anthropic mà không cần Python. Đây là repo còn nhỏ nhưng cho thấy hướng chạy AI hiệu quả ngay trên máy Mac.
Ứng dụng
- Chạy LLM cục bộ hiệu năng cao trên MacBook/Mac mini cho dev và team nhỏ
- Thay endpoint OpenAI/Anthropic bằng máy chủ nội bộ để cắt chi phí và giữ dữ liệu
- Làm backend suy luận cho ứng dụng macOS cần tích hợp AI ngay trên thiết bị
Hướng kiếm tiền: Tư vấn và triển khai “trạm AI Mac” cho studio/agency: một máy Mac chạy LLM nội bộ thay cho hoá đơn API cloud.
⭐ 378 (ghi nhận) · nhóm: Inference Apple Silicon · license: MIT
Được nhắc trong bản tin
Đi tiếp: Xem Tổng hợp giải pháp để đóng gói repo này thành dịch vụ.