Kho Repo
Tất cả dịch vụ

Web Scraper

firecrawl

Lấy nội dung trang web và trả về dạng JSON/Markdown

Firecrawl quét trang web rồi trả về nội dung sạch dạng markdown, json hoặc html. Agent dùng service này để đọc blog, tài liệu kỹ thuật và trang sản phẩm mà không phải tự viết crawler.

Dùng nhanh

curl "https://repo.shopkitai.com/api/v1/services/web-scraper/proxy/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: $KHO_REPO_ADMIN_KEY" \
  -d '{
    "url": "https://phandonggiang.com/kho-repo",
    "formats": ["markdown"]
  }'

Endpoint

POST/v1/scrapeLấy nội dung một URL (markdown/json/html)
POST/v1/crawlCrawl nhiều URL theo mẫu
GET/v1/mapLiệt kê toàn bộ URL của một website
POST/v1/extractTrích xuất dữ liệu có cấu trúc theo schema
Gateway:/api/v1/services/web-scraper/proxy/v1

Cách thiết lập

  1. 1Bản cloud: tạo API key tại firecrawl.dev rồi đặt WEB_SCRAPER_BASE_URL=https://api.firecrawl.dev.
  2. 2Hoặc tự host Firecrawl bằng docker compose trên VPS và trỏ WEB_SCRAPER_BASE_URL vào URL đó.
  3. 3Đặt WEB_SCRAPER_TOKEN là API key của Firecrawl.
  4. 4Kiểm tra bằng: `curl $WEB_SCRAPER_BASE_URL/v1/scrape -H "Authorization: Bearer $WEB_SCRAPER_TOKEN"`.
Web Scraper — Dịch vụ — Kho Repo