Bản tin AIToEarn — Thứ Hai, 28/09/2026. Tín hiệu hôm nay: cả một ngăn xếp giọng nói AI mã nguồn mở đang chín, đủ để builder tự dựng sản phẩm nói-nghe mà không phải trả phí theo phút cho dịch vụ nước ngoài.
Tóm tắt điều hành
Suốt tuần qua chúng ta nói nhiều về lớp hạ tầng chữ nghĩa của AI: bộ nhớ, dữ liệu, workflow, coding agent. Hôm nay tín hiệu dịch sang một mặt trận khác đang nóng lên rõ rệt trên GitHub — giọng nói. Ba mảnh ghép của một sản phẩm nói-nghe (nhận dạng giọng nói, mô hình ngôn ngữ, tổng hợp giọng nói) giờ đều có bản mã nguồn mở đủ tốt để ghép thành pipeline hoàn chỉnh, chạy trên máy chủ của chính bạn.
Điều đáng chú ý không phải một repo đơn lẻ, mà là việc toàn bộ chuỗi đã đồng thời trưởng thành: khung điều phối voice agent thời gian thực (LiveKit Agents, Pipecat, TEN) đứng cạnh engine giọng nói chất lượng SOTA (fish-speech, F5-TTS, Kokoro) và bộ nhận dạng đa ngôn ngữ nhanh (faster-whisper, SenseVoice). Với builder Việt, đây là thời điểm hiếm: chi phí biên của một cuộc gọi AI hay một phút lồng tiếng có thể kéo về gần bằng tiền điện, thay vì vài xu mỗi phút trả cho API đóng.
Góc cơ hội rất cụ thể: tổng đài AI, trợ lý gọi điện, lồng tiếng nội dung, bóc băng và phân tích cuộc gọi — những dịch vụ mà khách hàng SME Việt Nam sẵn sàng trả tiền, và trước đây bị chặn bởi rào phí cùng rào tiếng Việt.
Bản đồ xu hướng
Nhìn từ trên cao, giao diện của phần mềm đang trượt dần từ gõ phím sang nói chuyện. Nhưng khác với làn sóng chatbot năm ngoái, làn sóng giọng nói lần này có một đặc điểm quan trọng: độ trễ và chi phí là hai yếu tố sống còn, và cả hai đều thưởng cho việc tự vận hành.
Có ba dịch chuyển đang diễn ra cùng lúc:
- Từ API đóng sang tự host: mô hình TTS/STT mã nguồn mở đã đủ tốt để thay thế phần lớn nhu cầu thương mại, đưa quyền kiểm soát giá và dữ liệu về tay người triển khai.
- Từ mô hình đơn sang pipeline điều phối: giá trị dịch chuyển lên lớp khung điều phối — nơi ghép nhận dạng, suy luận và tổng hợp thành một cuộc hội thoại mượt, xử lý ngắt lời, phát hiện lượt nói và độ trễ dưới một giây.
- Từ một ngôn ngữ sang đa ngôn ngữ: các engine mới hỗ trợ tiếng Việt và nhiều ngôn ngữ châu Á tốt hơn hẳn thế hệ trước, mở đúng thị trường mà builder trong nước có lợi thế bản địa.
Cụm công nghệ trong ngày
Mỗi repo dưới đây đều có trang phân tích riêng trong kho tri thức AIToEarn — bấm vào tên repo để đọc chi tiết ứng dụng, license và hướng kiếm tiền.
Khung điều phối Voice Agent
Đây là lớp “nhạc trưởng” của một sản phẩm nói-nghe: nhận âm thanh vào, đẩy qua nhận dạng, gọi mô hình ngôn ngữ, rồi phát giọng trả lời — tất cả theo thời gian thực. pipecat-ai/pipecat và livekit/agents là hai lựa chọn dẫn đầu cho builder muốn dựng trợ lý gọi điện hay tổng đài AI, trong khi TEN-framework/ten-framework nhắm tới hội thoại đa phương thức phức tạp. Điểm chung: chúng lo phần khó nhất — quản lý luồng âm thanh, ngắt lời và độ trễ — để bạn tập trung vào nghiệp vụ.
Giọng nói AI (Text-to-Speech)
Cụm này quyết định sản phẩm của bạn “nghe” ra sao. fishaudio/fish-speech gây tiếng vang với chất lượng SOTA và nhân bản giọng chỉ từ vài giây mẫu; SWivid/F5-TTS nổi bật với kiến trúc flow matching cho giọng tự nhiên; còn hexgrad/kokoro chọn hướng ngược lại — mô hình 82 triệu tham số siêu nhẹ, chạy nhanh và rẻ, hợp cho ứng dụng cần quy mô lớn. Ba hướng, ba bài toán chi phí khác nhau.
Nhận dạng giọng nói (Speech-to-Text)
Cửa vào của mọi pipeline giọng nói. SYSTRAN/faster-whisper là bản tối ưu của Whisper cho tốc độ và bộ nhớ, gần như tiêu chuẩn cho bóc băng tự host; FunAudioLLM/SenseVoice đi xa hơn với nhận dạng đa ngôn ngữ châu Á kèm phát hiện cảm xúc và sự kiện âm thanh — rất hợp để phân tích chất lượng cuộc gọi chăm sóc khách hàng.
Repo đáng chú ý
Mỗi repo có trang phân tích riêng trong kho tri thức AIToEarn — bấm tên repo để đọc chi tiết. Bản tin chỉ nêu tín hiệu và góc kiếm tiền.
fishaudio/fish-speech
Engine TTS mã nguồn mở đạt chất lượng SOTA với khả năng nhân bản giọng từ mẫu ngắn. ⭐ 31.8k (ghi nhận). Góc kiếm tiền: dựng dịch vụ lồng tiếng và nhân bản giọng thương hiệu tính theo gói nội dung cho creator, thay vì để họ trả phí API theo phút.
SYSTRAN/faster-whisper
Bản tối ưu tốc độ của Whisper, nhanh hơn nhiều lần với cùng độ chính xác. ⭐ 25.6k (ghi nhận). Góc kiếm tiền: dịch vụ bóc băng và tạo phụ đề đa ngôn ngữ tự host, tính theo giờ audio — biên lợi nhuận cao vì không có phí gọi API bên ngoài.
pipecat-ai/pipecat
Khung mã nguồn mở dựng voice agent và ứng dụng đa phương thức thời gian thực. ⭐ 15.3k (ghi nhận). Góc kiếm tiền: nhận dự án xây tổng đài AI hoặc trợ lý gọi điện cho SME, bán theo dự án cộng phí vận hành hằng tháng.
SWivid/F5-TTS
Mô hình TTS dùng flow matching cho giọng nói trôi chảy, tự nhiên. ⭐ 15.1k (ghi nhận). Góc kiếm tiền: sản phẩm đọc tin, audiobook, hoặc giọng nói cho game — nhưng cần đọc kỹ điều khoản license mô hình trước khi thương mại hóa.
livekit/agents
Khung dựng voice AI agent thời gian thực trên nền WebRTC, hỗ trợ cả gọi điện qua SIP. ⭐ 13.0k (ghi nhận). Góc kiếm tiền: dịch vụ trợ lý gọi điện đặt lịch, chăm sóc khách hàng cho phòng khám, spa, nhà hàng — những nơi cần tự động hóa cuộc gọi lặp lại.
TEN-framework/ten-framework
Khung mã nguồn mở cho voice AI hội thoại đa phương thức. ⭐ 11.1k (ghi nhận). Góc kiếm tiền: giải pháp hội thoại phức tạp hơn cho doanh nghiệp cần kết hợp giọng nói với hình ảnh và dữ liệu nghiệp vụ.
Cơ hội triển khai
Từ ngăn xếp trên, có ít nhất ba sản phẩm builder có thể bắt tay ngay:
- Tổng đài/trợ lý gọi điện tiếng Việt cho SME: ghép faster-whisper hoặc SenseVoice (nghe) + một LLM + fish-speech hoặc Kokoro (nói) trên khung Pipecat/LiveKit. Bán cho phòng khám, spa, showroom cần đặt lịch và trả lời câu hỏi lặp lại ngoài giờ hành chính.
- Xưởng lồng tiếng nội dung: dùng fish-speech/F5-TTS để lồng tiếng video khóa học, quảng cáo, audiobook theo gói. Khách là creator và agency marketing — họ trả tiền cho tốc độ và giá rẻ hơn dịch vụ ngoại.
- Phân tích cuộc gọi: dùng SenseVoice bóc băng kèm cảm xúc để chấm điểm chất lượng tổng đài, bán cho doanh nghiệp có đội chăm sóc khách hàng lớn.
Rủi ro cần theo dõi
Ngăn xếp giọng nói hấp dẫn nhưng không miễn phí rủi ro:
- License không đồng nhất: fish-speech dùng license nghiên cứu riêng hạn chế thương mại, F5-TTS mở phần mã nhưng trọng số mô hình theo giấy phép phi thương mại. Phải đọc kỹ điều khoản trước khi bán, tránh dùng sai mục đích. LiveKit Agents, Pipecat, Kokoro, faster-whisper và SenseVoice có giấy phép cởi mở hơn (Apache/BSD/MIT).
- Chi phí GPU và vận hành: tự host cắt phí API nhưng dời chi phí sang phần cứng và kỹ thuật. Cần tính điểm hòa vốn thật, đừng chỉ nhìn “miễn phí”.
- Rủi ro đạo đức và pháp lý của nhân bản giọng: voice cloning dễ bị lạm dụng để giả mạo. Cần cơ chế đồng thuận rõ ràng của chủ giọng và cảnh giác với yêu cầu nhái giọng người nổi tiếng.
Danh sách đầy đủ
- fishaudio/fish-speech — engine TTS SOTA, nhân bản giọng vài giây mẫu — ⭐ 31.8k — Giọng nói AI (TTS)
- SYSTRAN/faster-whisper — Whisper tối ưu tốc độ và bộ nhớ — ⭐ 25.6k — Nhận dạng giọng nói (STT)
- pipecat-ai/pipecat — khung voice agent đa phương thức thời gian thực — ⭐ 15.3k — Voice Agent
- SWivid/F5-TTS — TTS flow matching giọng tự nhiên — ⭐ 15.1k — Giọng nói AI (TTS)
- livekit/agents — khung voice AI agent thời gian thực trên WebRTC — ⭐ 13.0k — Voice Agent
- TEN-framework/ten-framework — khung voice AI hội thoại đa phương thức — ⭐ 11.1k — Voice Agent
- FunAudioLLM/SenseVoice — ASR đa ngôn ngữ + phát hiện cảm xúc — ⭐ 9.4k — Nhận dạng giọng nói (STT)
- hexgrad/kokoro — TTS siêu nhẹ 82 triệu tham số — ⭐ 8.4k — Giọng nói AI (TTS)
Muốn biến một trong các repo trên thành dịch vụ có doanh thu? Xem thêm Playbook đóng gói và bán giải pháp cho SME trong mục Tổng hợp giải pháp, và phân tích ý tưởng trợ lý AI cho founder để tham khảo cách định hình sản phẩm.
— Ban biên tập AIToEarn.