Tín hiệu tuần này rất rõ trên GitHub: AI đang rời đám mây để chạy ngay trên máy người dùng. Các công cụ bóc băng giọng nói, chạy mô hình ngôn ngữ và dựng voice agent đều đã có bản mã nguồn mở đủ chín để chạy hoàn toàn offline. Với builder Việt, đây không chỉ là chuyện kỹ thuật — nó mở ra một khoảng trống thị trường cụ thể: những khách hàng mà dịch vụ AI trên cloud gần như không bao giờ chạm tới được, vì họ không dám đưa dữ liệu ra ngoài. Bài này không dịch README; nó trả lời một câu hỏi của builder: có thể đóng gói năng lực “AI xử lý cuộc họp và tài liệu chạy hoàn toàn nội bộ” thành một dịch vụ bán được cho phòng khám, văn phòng luật, kế toán tại Việt Nam không, và bán thế nào.
Lưu ý số liệu: các con số sao GitHub nhắc trong bài là số ghi nhận từ trang repo chính chủ tại thời điểm khảo sát tuần này, mang tính tham khảo về mức độ trưởng thành của dự án, không phải chỉ số thời gian thực. Chi tiết từng repo nằm ở các trang kho tri thức được dẫn link bên dưới.
Vì sao đây là khoảng trống đáng làm
Phòng khám, văn phòng luật, công ty kế toán và kiểm toán có một điểm chung: họ tạo ra rất nhiều nội dung dạng nói và tài liệu nhạy cảm — hồ sơ bệnh án, ghi âm tư vấn, biên bản làm việc với khách, chứng từ tài chính — nhưng gần như không dám dùng công cụ AI trên cloud vì lo rò rỉ dữ liệu và vướng nghĩa vụ bảo mật nghề nghiệp. Đây chính là nhóm khách mà các dịch vụ SaaS AI phổ biến bỏ trống, không phải vì họ không có nhu cầu, mà vì rào cản nằm ở niềm tin dữ liệu chứ không phải ở tính năng.
Cái họ cần rất cụ thể: bóc băng cuộc họp và tư vấn thành văn bản để lưu hồ sơ, tóm tắt nhanh một tập tài liệu dài, và hỏi đáp trên chính kho tài liệu nội bộ — tất cả phải diễn ra trên máy hoặc máy chủ trong văn phòng, không gói dữ liệu nào rời khỏi mạng nội bộ. Nếu bạn dựng được đúng ba năng lực đó và chứng minh dữ liệu không ra ngoài, bạn đã vượt qua rào cản lớn nhất mà mọi đối thủ cloud không thể vượt.
Phân tích giấy phép trước khi bàn tiền
Đây là bước nhiều người bỏ qua rồi trả giá. Stack đề xuất trong bài dựa trên các repo có giấy phép khác nhau, cần đọc kỹ trước khi thương mại hóa. SYSTRAN/faster-whisper (⭐ 25.000 ghi nhận) dùng giấy phép MIT, và thewh1teagle/vibe (⭐ 6.700 ghi nhận) cũng MIT — cả hai đều rất thoáng cho mục đích thương mại và self-host. mozilla-ai/llamafile (⭐ 26.000 ghi nhận) dùng Apache 2.0, cũng an toàn để dùng thương mại.
Điểm cần cẩn trọng nằm ở LostRuins/koboldcpp (⭐ 11.600 ghi nhận), phát hành theo AGPL-3.0. AGPL có điều khoản “network use”: nếu bạn cung cấp phần mềm này như một dịch vụ qua mạng, bạn có thể phải công khai mã nguồn phần bạn tích hợp. Với mô hình bán “cài đặt tại chỗ cho khách” thì rủi ro thấp hơn nhiều so với mô hình SaaS đa khách, nhưng vẫn nên tham vấn kỹ. Nếu muốn tránh hoàn toàn ràng buộc AGPL, hãy chọn llamafile làm runtime chính. Với lớp voice agent, dograh-hq/dograh (⭐ 5.600 ghi nhận) dùng BSD 2-Clause, rất dễ dùng cho thương mại.
Kiến trúc tối giản cho một MVP bán được
Bạn không cần dựng cả một nền tảng. MVP gồm ba khối chạy trên một máy chủ đặt trong văn phòng khách hàng, hoặc thậm chí một chiếc máy tính cấu hình khá. Khối một là bóc băng: dùng faster-whisper cho xử lý hàng loạt trên máy chủ, hoặc gói vibe cho người dùng cuối muốn kéo-thả file ngay trên desktop. Khối hai là suy luận cục bộ: llamafile hoặc koboldcpp đóng vai máy chủ mô hình ngôn ngữ để tóm tắt và hỏi đáp, phơi ra một API tương thích OpenAI để phần còn lại gọi vào. Khối ba là lớp tài liệu: một cơ sở dữ liệu vector nhẹ lưu các đoạn văn bản để hỏi đáp trên kho tài liệu nội bộ.
Toàn bộ giao tiếp giữa ba khối diễn ra trong mạng nội bộ. Với khách cần trả lời qua điện thoại, bạn có thể ghép thêm dograh làm voice agent tự host. Điểm mấu chốt của kiến trúc này không phải là độ phức tạp, mà là một lời hứa kiểm chứng được: không có gói dữ liệu nào đi ra Internet, và bạn có thể chứng minh điều đó bằng nhật ký mạng cho khách xem.
Kiến trúc theo mô hình C4
Để dễ hình dung và trình bày cho khách, dưới đây là kiến trúc giải pháp mô tả theo mô hình C4 — đi từ tổng quan xuống chi tiết. Mức C1 cho thấy hệ thống đứng ở đâu giữa người dùng và ranh giới dữ liệu; mức C2 tách các khối chạy bên trong; mức C3 phóng to khối điều phối. Với bài giải pháp này, ba mức đó là đủ; mức C4 (chi tiết mã) thường không cần cho giai đoạn bán hàng và MVP.
XÂY GÌ · BÁN CHO AI · VALIDATE
Hướng 1 — Dịch vụ bóc băng và biên bản nội bộ (dễ bán nhất)
Xây gì: một hộp thiết bị hoặc phần mềm cài sẵn faster-whisper và vibe, khách chỉ việc thả file ghi âm cuộc họp, tư vấn, phiên làm việc và nhận lại văn bản kèm bản tóm tắt. Bán cho ai: phòng khám cần lưu nội dung tư vấn, văn phòng luật cần biên bản làm việc, công ty cần biên bản họp có thể tra cứu. Validate: chào ba khách thử miễn phí trong hai tuần, đo thời gian họ tiết kiệm được so với gõ tay và mức độ yên tâm khi biết dữ liệu không ra ngoài.
Hướng 2 — Trợ lý hỏi đáp trên kho tài liệu nội bộ
Xây gì: ghép runtime cục bộ (llamafile) với lớp tài liệu để nhân viên hỏi bằng tiếng Việt tự nhiên trên chính kho hồ sơ, quy trình, hợp đồng của công ty. Bán cho ai: doanh nghiệp có nhiều tài liệu nội bộ nhưng ngại đưa lên công cụ cloud. Validate: chọn một phòng ban, nạp tài liệu thật, đo xem trợ lý có trả lời đúng và tiết kiệm thời gian tra cứu không, và quan trọng là khách có tin tưởng vì mọi thứ chạy tại chỗ.
Hướng 3 — Tổng đài AI tự chủ cho phòng khám và văn phòng dịch vụ
Xây gì: dùng dograh dựng voice agent tự host để nhận cuộc gọi đặt lịch, nhắc hẹn, trả lời câu hỏi thường gặp, kết nối với runtime cục bộ. Bán cho ai: phòng khám, spa, văn phòng dịch vụ có lượng cuộc gọi lớn nhưng thiếu người trực. Validate: chạy thử một tuyến gọi vào trong một tuần, đo tỉ lệ cuộc gọi được xử lý tự động và phản hồi của khách hàng cuối.
Định giá và con đường doanh thu
Vì stack chạy cục bộ, chi phí biên của bạn sau khi triển khai gần như bằng không — không có hóa đơn API theo lượt dùng ăn mòn lợi nhuận. Điều này cho phép hai mô hình doanh thu song song. Một là phí triển khai một lần cho việc cài đặt, cấu hình và huấn luyện người dùng, phản ánh công sức thiết lập tại chỗ. Hai là phí thuê bao hằng tháng cho bảo trì, cập nhật mô hình và hỗ trợ — đây mới là dòng tiền bền vững. Với ngành nhạy cảm dữ liệu, khách sẵn sàng trả cao hơn cho lời hứa “dữ liệu ở lại văn phòng” so với một công cụ cloud rẻ hơn nhưng khiến họ lo lắng.
Con đường thực tế là bắt đầu từ Hướng 1 vì nó dễ chứng minh giá trị nhất, dùng nó để xây niềm tin, rồi bán thêm Hướng 2 và Hướng 3 cho cùng tập khách. Mỗi khách hài lòng ở ngành này thường kéo theo giới thiệu trong cùng hiệp hội nghề nghiệp — đó là kênh tăng trưởng rẻ nhất bạn có.
Câu hỏi thường gặp
Tôi không rành hạ tầng, có làm được không?
Được, nhưng nên bắt đầu hẹp. Chọn đúng Hướng 1 với một khách duy nhất, dùng vibe cho trải nghiệm kéo-thả đơn giản trước, rồi mới mở rộng sang máy chủ dùng faster-whisper khi có nhiều khách.
Mô hình chạy cục bộ có đủ tốt cho tiếng Việt không?
Với tác vụ bóc băng và tóm tắt, chất lượng đã đủ dùng cho phần lớn nhu cầu văn phòng, dù thường thấp hơn các mô hình cloud lớn nhất. Hãy chọn tác vụ phù hợp và kiểm thử trên dữ liệu thật của khách trước khi cam kết.
Chi phí phần cứng có làm mất lợi thế “không phí API” không?
Chi phí máy móc, điện và công bảo trì là có thật và cần tính vào giá. Nhưng với khách dùng đều đặn, tổng chi phí sở hữu vẫn thường thấp hơn phí API cloud theo lượt, và bạn còn bán được lợi ích bảo mật mà cloud không có.
Rủi ro pháp lý về dữ liệu là gì?
Chạy nội bộ giúp giảm rủi ro rò rỉ, nhưng bạn vẫn cần thỏa thuận rõ trách nhiệm với khách: ai sở hữu dữ liệu, ai chịu trách nhiệm sao lưu, và bạn không nên biến lời hứa bảo mật thành cam kết pháp lý vượt khả năng kiểm soát. Đọc kỹ giấy phép, đặc biệt là ràng buộc AGPL nếu dùng koboldcpp trong mô hình dịch vụ.
Chốt lại
Xu hướng AI cục bộ tuần này không chỉ là tin công nghệ — nó là một cánh cửa thị trường cho builder Việt biết bán đúng lợi ích: dữ liệu ở lại nơi khách kiểm soát. Bắt đầu từ một dịch vụ hẹp, chứng minh bằng một khách thật, rồi mở rộng. Để xem toàn cảnh các repo nền tảng cho hướng đi này, đọc Bản tin AIToEarn ngày 15/09. Muốn so sánh với một hướng SaaS khác, tham khảo thêm một phân tích ý tưởng công cụ AI cho thương mại điện tử.
— Ban biên tập AIToEarn.