Tóm tắt điều hành
Trong lúc cả làng AI mã nguồn mở dồn sự chú ý vào agent và mô hình, tín hiệu repo hôm nay chỉ về một chỗ ít ồn ào hơn nhưng quyết định chất lượng của mọi hệ thống: lớp nạp dữ liệu. Trước khi một con agent kịp “suy nghĩ”, ai đó phải biến web lộn xộn và tài liệu PDF/Office thành văn bản sạch mà mô hình đọc được. Những repo dẫn đầu ngày 26/09 đều làm đúng công việc thầm lặng ấy — và chúng đang tích lũy sao ở mức của hạ tầng, không phải của một món đồ chơi.
Góc nhìn builder rất rõ: mô hình nền tảng thì ai cũng gọi được như nhau, nhưng dữ liệu sạch thì không. Chất lượng câu trả lời của một hệ RAG phụ thuộc vào khâu bóc tách, làm sạch và chuẩn hóa dữ liệu đầu vào nhiều hơn là vào việc bạn chọn GPT hay Claude. Ai làm chủ được pipeline nạp dữ liệu — cào web, đọc tài liệu, xuất Markdown/JSON — người đó cầm nút thắt giá trị mà khách hàng sẵn sàng trả tiền để gỡ.
Mỗi repo được điểm hôm nay đều có trang phân tích riêng trong kho tri thức AIToEarn; bấm vào tên repo để đọc chi tiết cách dùng và hướng thương mại hóa.
Bản đồ xu hướng
Điểm chung của loạt repo hôm nay là chúng biến một đầu vào “bẩn” thành đầu ra “AI-ready”: web động nhiều JavaScript, PDF nhiều cột, bảng biểu, hóa đơn, tài liệu Office. Ba dịch chuyển đáng chú ý:
- Từ scraper cứng sang scraper mô tả bằng ngôn ngữ. Thay vì viết selector CSS/XPath rồi vá mỗi khi trang đổi giao diện, thế hệ mới cho phép mô tả dữ liệu cần lấy bằng tiếng người và để LLM tự dựng pipeline trích xuất.
- Markdown trở thành “định dạng chung” giữa dữ liệu và mô hình. Gần như mọi công cụ đều hội tụ về việc xuất Markdown sạch — đủ giữ cấu trúc (tiêu đề, danh sách, bảng) nhưng bỏ rác (quảng cáo, menu, script) để tiết kiệm token và tăng độ chính xác.
- Bóc tách tài liệu phức tạp thành một lớp riêng. PDF khoa học, báo cáo tài chính, hợp đồng nhiều cột không còn được xử lý qua-loa; đã có những công cụ chuyên OCR bố cục, nhận diện bảng và công thức để ra JSON có cấu trúc.
Nói cách khác, “RAG & Data” đang tách thành một ngành phụ trợ đứng độc lập với khâu suy luận — và đó là nơi builder Việt có thể chen chân bằng dịch vụ, không cần huấn luyện mô hình.
Cụm công nghệ trong ngày
RAG & Data — Cào web cho AI
Đây là mũi nhọn tín hiệu hôm nay. Nhóm này lo khâu lấy dữ liệu từ Internet và trả về văn bản mô hình đọc được, xử lý cả trang động lẫn nội dung cần đăng nhập/điều hướng. firecrawl/firecrawl đứng ở vị trí “API dữ liệu web” tổng lực; unclecode/crawl4ai là lựa chọn Python tự host, thân thiện LLM; ScrapeGraphAI/Scrapegraph-ai đẩy ý tưởng “cào bằng câu lệnh tự nhiên” đi xa với kiến trúc graph; còn jina-ai/reader là mảnh ghép nhẹ nhất — một tiền tố URL để biến bất kỳ trang nào thành Markdown.
RAG & Data — Đọc tài liệu, PDF và Office
Nhánh thứ hai lo dữ liệu “trong nhà”: kho PDF, hợp đồng, báo cáo, slide. microsoft/markitdown là con dao đa năng chuyển đủ loại file sang Markdown; opendatalab/MinerU chuyên trị tài liệu phức tạp với bảng biểu và bố cục khó, xuất Markdown/JSON cho luồng agentic; docling-project/docling đặt mục tiêu “chuẩn bị tài liệu sẵn sàng cho gen AI” với đường ống chuẩn hóa rõ ràng. Ba repo này bổ sung cho nhau: bạn dùng markitdown cho việc phổ thông, gọi MinerU/docling khi gặp PDF khó.
AI ứng dụng công việc
Điểm hấp dẫn là các công cụ trên không chỉ dành cho kỹ sư ML. Một đội marketing muốn theo dõi giá đối thủ, một phòng pháp chế muốn bóc điều khoản từ hàng trăm hợp đồng, một nhóm nghiên cứu muốn gom tài liệu ngành — tất cả đều là bài toán “nạp dữ liệu” trước khi là bài toán AI. Đây là lý do lớp ingestion dễ bán: nó gắn thẳng vào một quy trình công việc có thật, đo được bằng giờ công tiết kiệm.
Repo đáng chú ý
Mỗi repo dưới đây có trang phân tích riêng trong kho tri thức AIToEarn — bấm vào tên repo để đọc chi tiết cách dùng, ứng dụng và hướng kiếm tiền.
microsoft/markitdown
Công cụ Python của Microsoft chuyển gần như mọi định dạng file và tài liệu Office sang Markdown — bước tiền xử lý gần như bắt buộc cho mọi pipeline RAG. ⭐ 186.7k (ghi nhận), license MIT. Góc kiếm tiền: dựng dịch vụ “chuẩn hóa kho tài liệu doanh nghiệp thành knowledge base”, tính phí theo dung lượng xử lý.
firecrawl/firecrawl
API dữ liệu web tổng lực: tìm kiếm, cào và trích xuất nội dung ở quy mô lớn, trả về dữ liệu sạch cho AI. ⭐ 184k (ghi nhận), license AGPL-3.0. Góc kiếm tiền: bán feed dữ liệu ngành (bất động sản, tuyển dụng, thương mại điện tử) dưới dạng gói thuê bao, bạn vận hành phần cào và làm sạch.
unclecode/crawl4ai
Trình cào web mã nguồn mở thiết kế riêng cho LLM và AI agent, xuất Markdown có cấu trúc, dễ tự host. ⭐ 84.2k (ghi nhận), license Apache-2.0. Góc kiếm tiền: cung cấp lớp “web-to-context” tự host cho các dự án chatbot của khách để giữ chi phí biên thấp và dữ liệu nằm trong tầm kiểm soát.
opendatalab/MinerU
Chuyên biến tài liệu phức tạp như PDF và file Office thành Markdown/JSON sẵn sàng cho luồng agentic, mạnh ở bảng biểu và bố cục khó. ⭐ 77.4k (ghi nhận), mã nguồn mở. Góc kiếm tiền: nhận xử lý số hóa kho tài liệu chuyên ngành (tài chính, y tế, kỹ thuật) mà công cụ phổ thông làm hỏng cấu trúc.
docling-project/docling
Bộ công cụ “chuẩn bị tài liệu sẵn sàng cho gen AI” với đường ống chuẩn hóa rõ ràng, xuất định dạng thống nhất cho RAG. ⭐ 67.9k (ghi nhận), license MIT. Góc kiếm tiền: dựng đường ống ingestion chuẩn cho khách rồi bán gói bảo trì — mỗi khi định dạng tài liệu đầu vào đổi, bạn là người vá.
ScrapeGraphAI/Scrapegraph-ai
Thư viện Python cào web điều khiển bằng LLM: mô tả dữ liệu cần lấy bằng ngôn ngữ tự nhiên, công cụ tự dựng pipeline trích xuất theo kiến trúc graph. ⭐ 29.5k (ghi nhận), license MIT. Góc kiếm tiền: bán “data-as-a-service” theo ngách, khách trả phí tháng để nhận JSON sạch mà không phải bảo trì scraper.
Cơ hội triển khai
Xây gì: một dịch vụ “ingestion-as-a-service” gọn — nhận URL hoặc kho tài liệu của khách, trả về Markdown/JSON sạch kèm metadata, cắm thẳng vào RAG của họ. Lõi kỹ thuật ghép từ firecrawl/crawl4ai (web) và markitdown/MinerU/docling (tài liệu), bạn bán phần vận hành, giám sát và chất lượng đầu ra.
Bán cho ai: các SME đang muốn có chatbot nội bộ nhưng dữ liệu nằm rải rác trong PDF, Google Drive và website cũ; các agency marketing cần feed dữ liệu đối thủ; phòng pháp chế/kế toán cần bóc dữ liệu từ chứng từ. Đây đều là khách trả tiền vì kết quả, không quan tâm bạn dùng mô hình nào.
Cách khác biệt: đừng bán “scraper”, hãy bán “độ chính xác đã kiểm định”. Thêm bước QA (đối chiếu bảng, kiểm số liệu) là thứ mà công cụ mở không tự làm — và là chỗ bạn tính thêm tiền. Xem Tổng hợp giải pháp để đóng gói ý tưởng này thành sản phẩm.
Rủi ro cần theo dõi
- License phải đọc kỹ. firecrawl mang license AGPL-3.0 — điều kiện copyleft mạnh, cân nhắc kỹ nếu bạn muốn nhúng vào sản phẩm đóng và bán lại; trong khi markitdown, docling, Scrapegraph-ai theo MIT và crawl4ai theo Apache-2.0 thoáng hơn. Chọn công cụ theo mô hình kinh doanh, đừng chọn theo số sao.
- Pháp lý khi cào web. Cào dữ liệu có điều khoản sử dụng, dữ liệu cá nhân hoặc nội dung có bản quyền là vùng rủi ro thật. Với thị trường Việt Nam, hãy giới hạn ở dữ liệu công khai, tôn trọng robots.txt và tránh dữ liệu cá nhân — coi đây là ràng buộc bắt buộc của dịch vụ, không phải tùy chọn.
- Chi phí và độ trôi. Trang web đổi giao diện, PDF mỗi nơi một kiểu — pipeline ingestion cần bảo trì liên tục và có thể phát sinh chi phí mô hình khi khối lượng lớn. Đừng hứa “chạy một lần là xong”; hãy định giá theo mô hình vận hành thường xuyên.
Danh sách đầy đủ
- microsoft/markitdown — chuyển mọi file/tài liệu Office sang Markdown — ⭐ 186.7k — RAG & Data
- firecrawl/firecrawl — API dữ liệu web: tìm, cào, trích xuất ở quy mô lớn — ⭐ 184k — RAG & Data
- unclecode/crawl4ai — trình cào web mã nguồn mở thân thiện LLM, tự host — ⭐ 84.2k — RAG & Data
- opendatalab/MinerU — biến PDF/Office phức tạp thành Markdown/JSON cho agent — ⭐ 77.4k — RAG & Data
- docling-project/docling — chuẩn bị tài liệu sẵn sàng cho gen AI — ⭐ 67.9k — RAG & Data
- ScrapeGraphAI/Scrapegraph-ai — cào web bằng câu lệnh ngôn ngữ tự nhiên, kiến trúc graph — ⭐ 29.5k — RAG & Data
- jina-ai/reader — biến bất kỳ URL nào thành Markdown thân thiện LLM — ⭐ 12.0k — RAG & Data
Muốn đi từ repo tới sản phẩm? Đọc thêm phân tích cách dựng agent AI có bộ nhớ cho doanh nghiệp để ghép lớp dữ liệu này vào một hệ thống hoàn chỉnh.
— Ban biên tập AIToEarn.