Tất cả dịch vụ
Web Scraper
firecrawlLấy nội dung trang web và trả về dạng JSON/Markdown
Firecrawl quét trang web rồi trả về nội dung sạch dạng markdown, json hoặc html. Agent dùng service này để đọc blog, tài liệu kỹ thuật và trang sản phẩm mà không phải tự viết crawler.
Dùng nhanh
curl "https://repo.shopkitai.com/api/v1/services/web-scraper/proxy/v1/scrape" \
-H "Content-Type: application/json" \
-H "X-Api-Key: $KHO_REPO_ADMIN_KEY" \
-d '{
"url": "https://phandonggiang.com/kho-repo",
"formats": ["markdown"]
}'Endpoint
POST
/v1/scrapeLấy nội dung một URL (markdown/json/html)POST
/v1/crawlCrawl nhiều URL theo mẫuGET
/v1/mapLiệt kê toàn bộ URL của một websitePOST
/v1/extractTrích xuất dữ liệu có cấu trúc theo schemaGateway:
/api/v1/services/web-scraper/proxy/v1Cách thiết lập
- 1Bản cloud: tạo API key tại firecrawl.dev rồi đặt WEB_SCRAPER_BASE_URL=https://api.firecrawl.dev.
- 2Hoặc tự host Firecrawl bằng docker compose trên VPS và trỏ WEB_SCRAPER_BASE_URL vào URL đó.
- 3Đặt WEB_SCRAPER_TOKEN là API key của Firecrawl.
- 4Kiểm tra bằng: `curl $WEB_SCRAPER_BASE_URL/v1/scrape -H "Authorization: Bearer $WEB_SCRAPER_TOKEN"`.