MCP serverAn toànTự động trình duyệt & dữ liệu webCần cài đặt chút

Scrapling

Một framework Python thu thập dữ liệu web thích ứng xử lý từ một yêu cầu đơn lẻ đến thu thập dữ liệu quy mô lớn, với tính năng bỏ qua anti-bot, xoay vòng proxy và MCP server để tích hợp tác nhân.

🕷️ A Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

89k sao9.2kGiấy phép: BSD-3-ClauseCập nhật 3 ngày trước0 lượt mở

Xem trước

▍

Bạn có thể làm gì với nó

Tự động trích xuất dữ liệu có cấu trúc từ các trang web để nghiên cứu thị trường hoặc phân tích dữ liệu.
Xây dựng các trình thu thập dữ liệu web mạnh mẽ có thể vượt qua các biện pháp chống bot và thích ứng với thay đổi thiết kế trang web.
Tích hợp khả năng thu thập dữ liệu web nâng cao vào quy trình làm việc của tác nhân AI thông qua MCP server của nó.

Thử hỏi agent của bạn

“Sử dụng Scrapling, trích xuất tất cả tiêu đề bài đăng blog và URL của chúng từ 'https://www.example.com/blog/'.”
“Thu thập dữ liệu từ 'https://www.fakestore.com/products' để lấy tên, giá và URL hình ảnh của 10 sản phẩm đầu tiên, xử lý các biện pháp chống bot tiềm năng.”
“Giám sát định kỳ 'https://news.example.com' để tìm các bài viết mới chứa từ khóa 'AI' và báo cáo tiêu đề của chúng.”

Kiểm tra an toàn

An toàn

Không thấy dấu hiệu rủi ro trong các file đã quét.

Quét tự động các file trong repo. Luôn xem lại code trước khi chạy.

Trích từ README

Effortless Web Scraping for the Modern Web

<strong>Selection methods</strong>
&middot;
<strong>Fetchers</strong>
&middot;
<strong>Spiders</strong>
&middot;
<strong>Proxy Rotation</strong>
&middot;
<strong>CLI</strong>
&middot;
<strong>MCP</strong>

Scrapling is a Python Web Scraping framework that brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library.

Scrape static pages, render JavaScript, interact with websites, and extract data from the API calls behind them. Build crawlers with reusable sessions, proxy rotation, automatic retries, pause/resume, and built-in data exports.

Use it from Python, the terminal, or your AI agent through its MCP server and Agent Skill. From extracting a few fields to collecting a whole website as clean Markdown, Scrapling covers the full scraping workflow.

What you can do with Scrapling

Fetch & interact: Fast HTTP requests, stealth browsers, JavaScript rendering, Cloudflare Turnstile/Interstitial handling, persistent sessions, and background API capture.
Parse & extract: CSS, XPath, text and regex search, adaptive element tracking, similar-element matching, and clean Markdown output.
Crawl & export: Concurrent spiders, proxy rotation, retries, AutoThrottle, pause/resume, streaming, ready-made templates, and JSON/JSONL/CSV/XML exports.
Scrape with AI or from your terminal: An MCP server for AI agents to browse and extract data, an Agent Skill, CLI commands, and an interactive shell.

Start with a single page:

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Or scale up with a spider:

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

This prints 10 and saves the quotes and authors to quotes.json.

Platinum Sponsors

NodeMaven - The most efficient proxy provider for Web Scraping and Automation with the Highest Quality IP on the market. Use code SCRAPLING35 for 35% discount.




  
    
  

 Scrapling handles Cloudflare Turnstile. For enterprise-grade protection, 
    <b>Hyper Solutions</b>
   provides API endpoints that generate valid antibot tokens for <b>Akamai</b>, <b>DataDome</b>, <b>Kasada</b>, and <b>Incapsula</b>. Simple API calls, no browser automation required. 



  
    
  


  
    <b>Evomi</b>
  : residential proxies from $0.49/GB. Scraping browser with fully spoofed Chromium, residential IPs, auto CAPTCHA solving, and anti-bot bypass. </br>
  <b>Scraper API for hassle-free results. MCP and N8N integrations are available.</b>




  
    
  


Read a full review of Scrapling on The Web Scraping Club (Nov 2025), the #1 newsletter dedicated to Web Scraping.




  
    
  


Swiftproxy provides scalable residential proxies with 80M+ IPs across 195+ countries, delivering fast, reliable connections, automatic rotation, and strong anti-block performance. Free trial available.




  
    
  


Byteful supplies ethical residential, mobile, ISP, and datacenter proxies, plus scraping and AI automation tools. Use code SCRAPLING10: 10% off residential proxies.




  
    
  


ProxyLane: Reduce blocks and CAPTCHAs by 90%. 28M Premium Residential IPs for Heavy Web Scraping. 195 countries. City/ISP/ZIP targeting. Sticky/rotating sessions. Non-expiring traffic from $2/GB. Code <strong>SCRAPEANDTAKE</strong>: <em>25% off</em>.




  
    
  


LundProxy: Stop paying per GB. Unlimited residential traffic, 100M+ IPs, 190+ countries. Pay by bandwidth. Request a free 50 Mbps residential proxies trial.




  
    
  


$1/GB at DataImpulse. Ethical first-party proxies. 90M+ IPs, 195+ countries. Residential, datacenter, mobile. Pay-as-you-go = no subscription. Traffic never expires.

Do you want to show your ad here? Click here