Một công cụ mã nguồn mở dùng để thu thập và trích xuất dữ liệu. Bắt đầu từ một URL duy nhất, quét trang web và thu thập dữ liệu có cấu trúc khi các trang được tải. Tương thích với MCP và các công cụ như Claude và Cursor, kèm theo các cài đặt sẵn dành cho các sàn thương mại điện tử như Amazon và eBay.
Yozh Crawler lập bản đồ toàn bộ cấu trúc trang web và xử lý các trang ngay khi phát hiện chúng. Bạn sẽ nhận được cả phạm vi quét và kết quả có thể sử dụng chỉ trong một lần chạy, mà không cần phải quản lý các bước thu thập dữ liệu và trích xuất riêng biệt. Công cụ này hoạt động trực tiếp trong các quy trình thu thập dữ liệu và trích xuất hiện có của bạn.
Bắt đầu từ một URL và lập bản đồ toàn bộ trang web. Các trang được phát hiện và xử lý trong một lần chạy duy nhất, nhờ đó bạn có được phạm vi bao quát toàn diện mà không cần thực hiện thêm bất kỳ bước nào.
Chỉ cần các liên kết? Hãy chuyển sang chế độ khám phá và lập bản đồ trang web mà không cần phân tích cú pháp. Nhanh hơn, nhẹ hơn và hữu ích cho việc kiểm toán và kiểm tra cấu trúc.
So khớp các tiêu đề, vị trí và tín hiệu trình duyệt với máy chủ proxy của bạn. Giúp duy trì tính nhất quán của các phiên trên các khu vực khác nhau.
Chạy hàng trăm URL trong một yêu cầu. Xử lý tất cả song song và trả về một kết quả duy nhất.
Tạm dừng các tác vụ mà không làm gián đoạn kết quả. Cho phép các trang đang hoạt động hoàn tất hoặc dừng mọi thứ ngay lập tức khi cần thiết.
Kết nối trực tiếp với các công cụ như Claude và Cursor. Tích hợp các kỹ thuật trích xuất dữ liệu và thu thập dữ liệu vào quy trình làm việc hiện tại của bạn.
Amazon, eBay, Walmart, Google, Google Shopping, YouTube, LinkedIn, Bing, Yandex — chỉ cần truyền tên nguồn và các tham số, bạn sẽ nhận được phản hồi đã được chuẩn hóa. Không cần phải viết các selector.
Một trang web triển khai thay đổi bố cục và các bộ chọn CSS của bạn trả về kết quả trống? Trình phân tích cú pháp sẽ yêu cầu một mô hình ngôn ngữ lớn (LLM) (OpenAI / Anthropic / Gemini / OpenRouter) tái tạo bộ chọn ngay lập tức. Quy trình xử lý vẫn tiếp tục chạy.
Bạn cần một trang web mà chúng tôi chưa cung cấp cài đặt sẵn? Hãy mô tả nội dung cần trích xuất và dán một URL mẫu vào — POST /api/v1/presets/generate sẽ trả về một preset JSON đã sẵn sàng.
Đăng nhập một lần thông qua ngôn ngữ kịch bản khai báo (goto / fill / click / wait) hoặc dán các tệp cookie đã xuất. Tái sử dụng phiên đăng nhập này trong mỗi lần thu thập dữ liệu. Yêu cầu bắt buộc đối với các mục tiêu có tường lửa như cài đặt sẵn LinkedIn.
Thiết lập quy trình làm việc của bạn tại một nơi duy nhất và vận hành theo cách bạn cần. Mọi thứ đều rõ ràng, có hệ thống và dễ quản lý mà không cần đến các công cụ bổ sung.
Truy cập các proxy dân dụng, di động và trung tâm dữ liệu tại hơn 120 quốc gia. Hơn 50 triệu địa chỉ IP với thời gian hoạt động 99,9%. Bao gồm tính năng nhận dạng dấu vân tay để đồng bộ hóa hành vi của thiết bị, trình duyệt và mạng, nhằm đảm bảo các phiên kết nối ổn định và khả năng kiểm soát tốt hơn.
Sử dụng các bộ chọn CSS, XPath hoặc tính năng tự động phát hiện cho các trang web phổ biến. Nhận dữ liệu JSON gọn gàng, có cấu trúc mà không cần thiết lập phức tạp.
Tải về mã HTML thô, ảnh chụp màn hình và dữ liệu đã được phân tích cùng một lúc. Tất cả những gì bạn cần, mà không cần phải chuyển đổi giữa các công cụ.
Dừng các tác vụ bất cứ lúc nào chỉ với một cú nhấp chuột và chuyển đổi giữa chế độ scraper và crawler. Quy trình làm việc của bạn vẫn đơn giản và hoàn toàn nằm trong tầm kiểm soát của bạn.
Kết nối Yozh Crawler và Yozh Scraper với Claude, Cursor hoặc bất kỳ ứng dụng khách MCP nào. Chuyển đổi công cụ chỉ bằng một nút gạt, không cần thêm mã.
Tất cả các tính năng của Yozh Scraper đều có sẵn dưới dạng các hàm cho agent của bạn, bao gồm trích xuất dữ liệu, chạy theo lô và chụp ảnh màn hình.
Sao chép tệp cấu hình, khởi động lại ứng dụng khách của bạn, và thế là xong.
Claude Desktop, Cursor, Cline hoặc các tác nhân tùy chỉnh.
Chọn cách thức mà tác nhân của bạn thực thi các tác vụ, từ từng trang riêng lẻ đến toàn bộ lô tác vụ.
Sử dụng máy chủ MCP tại địa phương hoặc triển khai nó trên hạ tầng của riêng bạn.
// ~/Library/Application Support/Claude/claude_desktop_config.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cursor → Settings → MCP → Add new MCP Server { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cline → MCP Servers → Edit cline_mcp_settings.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp", "disabled": false }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp", "disabled": false } } }
// Anthropic Messages API · MCP via Streamable HTTP // Note: scraper must be reachable from Anthropic's servers (deploy publicly) import Anthropic from "@anthropic-ai/sdk"; const response = await new Anthropic().messages.create({ model: "claude-opus-4-8", mcp_servers: [ { type: "url", url: "https://your-host/mcp", name: "yozh-scraper" }, { type: "url", url: "https://your-host:8001/mcp", name: "yozh-crawler" } ], messages: [...] });
Yozh Crawler bắt đầu từ một URL, phát hiện các trang trên toàn bộ trang web và xử lý chúng ngay khi chúng được tải, mang đến cho bạn cấu trúc đầy đủ và dữ liệu có thể sử dụng chỉ trong một lần chạy.
Các trang sẽ hiển thị ngay khi được phát hiện và xử lý. Bạn có thể truy cập trực tiếp từ khách hàng, đại lý hoặc quy trình làm việc của mình mà không cần đợi quá trình xử lý hoàn tất.
Chỉ cần các liên kết? Tạo sơ đồ trang web mà không cần phân tích cú pháp. Nhanh hơn và tiết kiệm chi phí hơn khi kiểm tra cấu trúc và thực hiện kiểm toán.
Dừng các tác vụ một cách an toàn. Hãy để các trang đang hoạt động hoàn tất hoặc dừng mọi thứ ngay lập tức khi cần thiết.
Chuyển đổi giữa chế độ scraper và crawler chỉ bằng một nút gạt. Trình tự động của bạn sẽ sử dụng công cụ phù hợp cho từng tác vụ.
Theo dõi quá trình xây dựng cấu trúc trang web theo thời gian thực. Theo dõi tiến độ từng trang một mà không cần rời khỏi bảng điều khiển.
| URL | Parent | Depth | Status | Took |
|---|
Trình thu thập dữ liệu tìm kiếm các trang web, trình trích xuất dữ liệu xử lý chúng, và trợ lý AI của bạn sẽ sử dụng kết quả thu được — được thiết kế dành cho cả người mới bắt đầu lẫn chuyên gia.
Tìm tất cả các URL
Trích xuất sang JSON
Phân tích và ra quyết định
Theo dõi danh mục sản phẩm, giá cả và thông tin chi tiết về sản phẩm của các đối thủ cạnh tranh tại một nơi duy nhất. Phát hiện những điểm còn thiếu sót trong danh mục sản phẩm của chính bạn và phản ứng nhanh hơn trước những thay đổi của thị trường.
Tự động theo dõi biến động giá trên các sàn thương mại điện tử. Thiết lập cảnh báo và nhận thông báo qua Telegram hoặc Slack khi giá có biến động.
Thu thập các bộ dữ liệu sạch, có cấu trúc từ các nguồn công khai, sẵn sàng để phân tích hoặc huấn luyện mô hình. Được thiết kế để thu thập dữ liệu đáng tin cậy trên quy mô lớn.
Cài đặt vùng, đơn vị tiền tệ, bộ lọc và cơ chế chống bot — đã được cấu hình sẵn. Hãy chọn một cài đặt sẵn để xem những thông tin nào sẽ được trích xuất.
All fields below are extracted automatically — no selectors to write.
Hãy tạo một vấn đề trên GitHub hoặc đóng góp cài đặt sẵn của riêng bạn — chúng tôi sẽ xem xét các yêu cầu kéo (PR) trong vòng một tuần.
Ba loại, sáu cấu hình. Hãy lựa chọn dựa trên công việc, tốc độ và ngân sách.
Các thiết bị di động thực tế trên mạng của các nhà mạng. Mức độ tin cậy cao nhất với hệ thống chống bot nghiêm ngặt.
Thiết bị cá nhân, xoay vòng địa chỉ IP thủ công qua API
Một thiết bị, nhiều người dùng
Mỗi địa chỉ IP đều xuất phát từ một chiếc điện thoại thông minh thực tế hoặc một modem LTE/5G được kết nối với một nhà mạng di động lớn. Địa chỉ IP này được chia sẻ bởi hàng nghìn thuê bao thường xuyên, do đó việc chặn địa chỉ IP này đồng nghĩa với việc chặn cả những người dùng thực — đó chính là lý do tại sao các hệ thống chống bot tin tưởng vào địa chỉ IP di động nhất.
Các địa chỉ IP từ người dùng internet gia đình thực sự tại hơn 120 quốc gia. Quyền truy cập vào hơn 50 triệu địa chỉ IP với sự cân bằng tối ưu giữa độ tin cậy và chi phí.
Bộ định tuyến chính hãng, địa chỉ IP cố định trong suốt thời gian thuê
Hơn 100 triệu địa chỉ IP, tự động luân phiên theo hẹn giờ hoặc theo yêu cầu
Các địa chỉ IP dân dụng được lấy từ những người dùng Internet tại nhà thực sự, những người đã đồng ý chia sẻ băng thông để đổi lấy khoản bồi thường, thông qua một mạng lưới tham gia tự nguyện và minh bạch. Kết nối của họ trông giống như bất kỳ người dùng gia đình nào khác — bởi vì đó chính là một người dùng gia đình.
Tốc độ tối đa, chi phí tối thiểu. Hơn 2 triệu địa chỉ IP tại các trung tâm dữ liệu trên toàn thế giới.
Một địa chỉ IP được cấp cho bạn, lưu lượng truy cập không giới hạn
Bể chung – giải pháp tiết kiệm chi phí cho các công việc đơn giản
Các địa chỉ IP này được lưu trữ tại các trung tâm dữ liệu, không kết nối trực tiếp với người dùng tại nhà hay người dùng di động. Chúng rẻ hơn và nhanh hơn so với các địa chỉ IP dành cho hộ gia đình, nhưng các hệ thống chống bot có thể nhận diện chúng là không phải do con người điều khiển, vì vậy hãy sử dụng chúng trong những trường hợp mà yếu tố tin cậy không phải là vấn đề then chốt.
Mã nguồn mở chỉ là điểm khởi đầu. Cách thu thập dữ liệu và cách tìm nguồn cung cấp máy chủ proxy cũng quan trọng không kém. Đây là những tiêu chuẩn mà chúng tôi tuân thủ trong thực tế, chứ không chỉ là những tuyên bố trên trang web.
Chúng tôi phát triển các công cụ, chứ không phải các lỗ hổng. Yozh Scraper được thiết kế để đảm bảo việc trích xuất dữ liệu công khai một cách hợp pháp diễn ra đáng tin cậy — chứ không phải để xâm phạm những thông tin cần được bảo mật.
Nguồn gốc của các địa chỉ IP dân dụng chính là thước đo độ trung thực đối với mọi nhà cung cấp dịch vụ proxy. Dưới đây là nguồn gốc cụ thể của các địa chỉ IP của chúng tôi — được nêu rõ ràng như sau:
Nếu có ai đó lạm dụng cơ sở hạ tầng của chúng tôi để gây hại cho người khác, chúng tôi muốn biết — và sẽ có biện pháp xử lý trước khi tình hình trở nên tồi tệ hơn.
Nếu một trường hợp sử dụng liên quan đến việc lạm dụng hoặc gây hại, các công cụ của chúng tôi không được thiết kế để phục vụ mục đích đó. Chúng tôi ưu tiên việc sử dụng có trách nhiệm hơn là việc mở rộng quy mô khách hàng.
Nếu một trường hợp sử dụng đòi hỏi phải che giấu danh tính nhằm gây hại cho người khác, các công cụ của chúng tôi không dành cho mục đích đó. Chấm hết. Chúng tôi thà mất khách hàng còn hơn là đánh mất nguyên tắc.
Các quy tắc rõ ràng hướng dẫn cách thức hoạt động của chúng tôi, từ việc thu thập dữ liệu đến việc tìm nguồn cung ứng đại lý và sử dụng nền tảng. Đây là những chính sách thực tế mà đội ngũ của chúng tôi tuân thủ, chứ không phải là những bản tóm tắt.
Xác định những gì được phép và những gì bị hạn chế trên hạ tầng của chúng tôi, kèm lý giải rõ ràng.
Giải thích cách các báo cáo được xem xét, xử lý và giải quyết, bao gồm cả thời gian phản hồi.
Nêu chi tiết cách thu thập IP dân cư và di động, với mô hình đồng ý tham gia (opt-in) và nguồn cung đã được xác minh.
Bao gồm quy trình tiếp nhận, khi nào cần xác minh và cách xử lý dữ liệu người dùng.
Liệt kê các tên miền và trường hợp sử dụng bị chặn, bao gồm các lĩnh vực nhạy cảm như chính phủ và tài chính.
Giải thích dữ liệu nào được thu thập, dữ liệu nào không được lưu trữ, giới hạn thời gian lưu giữ và việc chia sẻ với bên thứ ba.
Tự động hóa việc thu thập dữ liệu công khai trên quy mô lớn: danh mục sản phẩm, xếp hạng, đánh giá, dữ liệu địa lý. Yozh Scraper kết hợp với các proxy dân cư — hợp pháp, ổn định và sạch.
Đọc thêm
Xây dựng các tác nhân tự động có khả năng thu thập dữ liệu, phân tích và thực hiện hành động. Tính năng tích hợp MCP biến Yozh Scraper thành một công cụ tích hợp sẵn cho Claude và Cursor — không cần phải thực hiện tích hợp tùy chỉnh.
Đọc thêm
Theo dõi giá cả, hàng tồn kho và tình trạng sẵn có của sản phẩm trên Amazon, eBay và các sàn thương mại điện tử khác trên toàn thế giới. Các cài đặt sẵn giúp tiết kiệm hàng tuần công sức phát triển.
Đọc thêm
"CyberYozh stands out as a powerful platform for affiliates and arbitrage teams, combining reliable proxy infrastructure, identity tools, and strong support in one ecosystem."
"CyberYozh App enables businesses to launch, test, and operate digital products across more than 30 countries through a scalable infrastructure built for global connectivity, verification, and digital operations."
"Built for organizations that rely on proxies every day, CyberYozh App delivers infrastructure designed for stability, scalability, and high-volume workloads rather than one-off sessions."
Những người đang phát triển ứng dụng với Yozh nói gì
Chỉ trong một buổi chiều, chúng tôi đã thay thế cụm Playwright nội bộ bằng Yozh. Điểm cuối MCP được tích hợp trực tiếp vào tác nhân Claude của chúng tôi — không cần viết mã kết nối, trình thu thập dữ liệu và trình trích xuất dữ liệu đều hoạt động ngay lập tức.
Hệ thống cài đặt sẵn chính là tính năng nổi bật nhất. Chúng tôi chỉ cần truyền vào tên nguồn là sẽ nhận lại được dữ liệu JSON đã được làm sạch; tính năng tự khắc phục lỗi thậm chí còn phát hiện ra hai thay đổi về bố cục của Amazon trước khi chúng tôi kịp nhận ra.
Cuối cùng thì cũng có một công cụ thu thập dữ liệu mã nguồn mở coi các máy chủ proxy và phiên làm việc là yếu tố then chốt. Chúng tôi triển khai công cụ này để truy cập các cổng thông tin đối tác có yêu cầu đăng nhập — các phiên làm việc được duy trì và kết quả luôn nhất quán trên các khu vực.
Sau khi kết nối với Cursor qua MCP, hiện tại agent của tôi có thể lấy dữ liệu web thời gian thực ngay trong quá trình thực hiện tác vụ. Tính năng thu thập dữ liệu theo thời gian thực qua SSE chính là điều mà các quy trình làm việc của agent còn thiếu.
Chúng tôi đã ngừng sử dụng một API trích xuất dữ liệu trả phí để cắt giảm chi phí và chuẩn bị tinh thần cho việc chất lượng dịch vụ sẽ giảm sút — nhưng kết quả lại hoàn toàn ngược lại. Hệ thống tự vận hành, không tính phí theo từng yêu cầu, và cấu trúc dữ liệu đầu ra còn gọn gàng hơn so với dịch vụ mà trước đây chúng tôi phải trả tiền để sử dụng.
Nhắm mục tiêu vào các trang web hiện đại để huấn luyện mô hình AI làm phá vỡ các quy trình trích xuất dữ liệu truyền…
Tìm hiểu cách thu thập dữ liệu web hoạt động, phương pháp nào phù hợp với từng loại website, những công cụ bạn cần, và cách…
Tóm tắt nhanh: Vượt qua nút thắt cổ chai của trình duyệt Tự động hóa trình duyệt mang lại chi phí tính toán khổng lồ. Các…
Yozh Scraper là một dự án mã nguồn mở, với tất cả các bản cập nhật đều có sẵn trên GitHub. Dưới đây là những điểm nổi bật mới nhất.
container selector; everydevice=legacy_wap — a feature-phone identity that unlocks Google's no-JSresolve_redirects — names extracted fields whose values are the page'sozon_search, ozon_product, mobile_de_search,<name>_chromium and <name>_camoufox (e.g. google_search_chromium, yandex_search_camoufox). A request names the exact variant it wants; each preset carries its own browser_engine.LOG_FORMAT=json (default text).EGRESS_ALLOW_HOSTS allowlist (empty by default) and an EGRESS_TRANSPORT_GUARD toggle (on by default).google_search, google_shopping, amazon_product, amazon_search, bing_search, ebay_search, linkedin_profile, walmart_product, yandex_search, youtube_video) are replaced by their per-engine variants. A request using a bare old name now returns 404 preset_not_found; append the engine suffix (_chromium, or _camoufox for the two anti-bot targets yandex_search and walmart_product).GET /api/v1/proxies/available and the entire /api/v2/prem-proxies/* catalog now require SERVICE_TOKEN and fail closed (503 when the token is unconfigured, 401 without it). Any consumer of these endpoints must send the X-Service-Token header; deploy the consumer first, or its calls degrade (for the proxy geo catalog, silently).unreadable_slots. A job with one corrupt or schema-skewed result slot now returns its other pages (HTTP 200) and names the bad slot, instead of the whole job failing with a 500 and becoming un-cancellable until its TTL expires.navigator, and Client-Hints (Sec-CH-UA) as the main fetch path, via a shared page-preparation helper. A credentialed login no longer submits a contradictory fingerprint (previously a macOS GPU and a HeadlessChrome Client-Hint under a Windows user agent).all / attr / post_process and required fields, and it is graded against the original contract — so a heal that returns a bare string where a coerced list belongs is no longer counted as a recovery. It also never heals from a transient 5xx error page. This closes a class of silent preset corruption.user:pass; a shared redactor masks proxy URLs while preserving host:port for diagnostics.litellm is bounded <1.98: 1.98.0 imports NotRequired from typing unguarded and fails to import on the Python 3.10 this project targets, so a fresh install or image build would produce a container that cannot start.HOST_GPU_VENDOR). Without it the restored context reported a generic SwiftShader/ANGLE software-renderer string, itself an automation tell.--enable-unsafe-swiftshader, gated by the new SOFTWARE_WEBGL setting (default on, Chromium-only; revertible by env without a code change).data.cyberyozh.pro) with per-service pages for the scraper and crawler.redis and scraper-worker services (both are already in docker-compose.yml). Scale capacity with docker compose up -d --scale scraper-worker=N.POST /scrape/page and /scrape/pages can now return 503 queue_full when the Redis stream depth exceeds QUEUE_MAXSIZE (previously the in-memory queue was unbounded).JOB_TIMEOUT_MS → use PAGE_TASK_TIMEOUT_S; JOB_RESULT_MAX → eviction is now a native Redis TTL (JOB_RESULT_TTL_S); JOBS_ENABLED → the queue is always on.REDIS_URL, PAGE_TASK_TIMEOUT_S, LOGIN_TASK_TIMEOUT_S, LOGIN_RESULT_GRACE_S, RECLAIM_IDLE_S, JOB_RESULT_TTL_S, BROWSER_MAX_PAGES, BROWSER_IDLE_SHUTDOWN_S, WARMUP_DWELL_MS.web-scraper container only enqueues page tasks and reads results; browsers run in separate, horizontally scalable scraper-worker containers.Chỉ cần ba lệnh là bạn đã có một công cụ thu thập dữ liệu và quét web đang hoạt động với các điểm cuối HTTP và MCP.
git clone https://github.com/\ CyberYozh-data/yozh-scraper cd yozh-scraper
cp .env.example .env docker compose up --build
curl -X POST localhost:8000/api/v1/scrape/page \
-H 'Content-Type: application/json' \
-d '{"url":"https://example.com"}'
Một người thật sẽ đọc tất cả các tin nhắn nhận được. Hãy chọn kênh phù hợp — Telegram là kênh nhanh nhất.
Yozh Crawler + Scraper là ứng dụng miễn phí. Miễn phí vĩnh viễn. Hãy đánh giá sao cho chúng tôi nếu ứng dụng này hữu ích — mỗi lượt đánh giá sao đều rất quan trọng.
Yozh Crawler + Scraper được phát hành theo giấy phép MIT. Hãy sử dụng nó. Hãy tạo nhánh từ nó. Hãy phát triển dựa trên nó.