Інструмент з відкритим кодом для збору та вилучення даних. Почніть з одного URL-адреси, проскануйте сайт і отримуйте структуровані дані під час завантаження сторінок. Працює з MCP та такими інструментами, як Claude і Cursor, і має готові пресети для торгових майданчиків, таких як Amazon та eBay.
Yozh Crawler створює карту всієї структури сайту та обробляє сторінки по мірі їх виявлення. Ви отримуєте як повне охоплення, так і корисні результати за один прохід, без необхідності керувати окремими етапами сканування та вилучення даних. Ця функція працює безпосередньо в рамках ваших існуючих робочих процесів збору та вилучення даних.
Почніть з одного URL-адреси та проскануйте весь сайт. Сторінки виявляються та обробляються за один прохід, тож ви отримуєте повне охоплення без додаткових кроків.
Потрібні лише посилання? Перейдіть у режим сканування та створіть карту сайту без аналізу. Швидше, легше та зручно для аудитів і перевірки структури.
Зіставляє заголовки, місцезнаходження та сигнали браузера з вашим проксі-сервером. Допомагає забезпечити узгодженість сеансів у різних регіонах.
Виконуйте сотні URL-адрес в одному запиті. Обробляйте все паралельно, отримуючи єдиний чіткий результат.
Призупиніть виконання завдань, не порушуючи результатів. Дозвольте активним сторінкам завершити роботу або миттєво зупиніть усі процеси, коли це потрібно.
Підключіться безпосередньо до таких інструментів, як Claude та Cursor. Використовуйте скрейпінг та сканування веб-сторінок у рамках ваших існуючих робочих процесів.
Amazon, eBay, Walmart, Google, Google Shopping, YouTube, LinkedIn, Bing, Yandex — передайте назву джерела та параметри, отримайте нормалізовану відповідь. Не потрібно писати селектори.
Сайт оновив макет, а ваші CSS-селектори повертають порожні результати? Парсер звертається до великої мови (LLM) (OpenAI / Anthropic / Gemini / OpenRouter) з проханням миттєво перегенерувати селектор. Процес продовжує працювати.
Потрібен сайт, для якого у нас немає готового пресета? Опишіть, що потрібно витягти, та вставте зразок URL-адреси — POST /api/v1/presets/generate повертає готовий пресет у форматі JSON.
Увійдіть один раз за допомогою декларативної DSL (goto / fill / click / wait) або вставте експортовані файли cookie. Використовуйте цю сесію під час кожного скрейпінгу. Це необхідно для об’єктів із обмеженим доступом, таких як пресет LinkedIn.
Налаштуйте свій робочий процес в одному місці та запускайте його так, як вам потрібно. Все зрозуміло, впорядковано та легко керується без додаткових інструментів.
Отримайте доступ до проксі-серверів для домашнього використання, мобільних пристроїв та центрів обробки даних у понад 120 країнах. Понад 50 мільйонів IP-адрес із часом безвідмовної роботи 99,9%. Включає підтримку функції ідентифікації за відбитками (fingerprinting) для узгодження поведінки пристрою, браузера та мережі, що забезпечує стабільність сеансів та кращий контроль.
Використовуйте селектори CSS, XPath або функцію автоматичного виявлення для популярних сайтів. Отримуйте чистий, структурований JSON без складних налаштувань.
Отримайте вихідний HTML-код, скріншоти та проаналізовані дані в одному місці. Все, що вам потрібно, без необхідності перемикатися між інструментами.
Ви можете в будь-який момент зупинити завдання одним кліком і перемикатися між режимами «скрейпер» та «краулер». Ваш робочий процес залишається простим і повністю під вашим контролем.
Підключіть Yozh Crawler та Yozh Scraper до Claude, Cursor або будь-якого клієнта MCP. Перемикайте інструменти одним натисканням — додатковий код не потрібен.
Усі функції Yozh Scraper доступні у вигляді функцій для вашого агента, включаючи витяг даних, пакетне виконання та створення скріншотів.
Скопіюйте файл конфігурації, перезапустіть клієнт — і все готово.
«Claude Desktop», «Cursor», «Cline» або власні агенти.
Виберіть, як ваш агент буде виконувати завдання: від окремих сторінок до цілих партій.
Використовуйте локальний сервер MCP або розгорніть його у власній інфраструктурі.
// ~/Library/Application Support/Claude/claude_desktop_config.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cursor → Settings → MCP → Add new MCP Server { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cline → MCP Servers → Edit cline_mcp_settings.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp", "disabled": false }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp", "disabled": false } } }
// Anthropic Messages API · MCP via Streamable HTTP // Note: scraper must be reachable from Anthropic's servers (deploy publicly) import Anthropic from "@anthropic-ai/sdk"; const response = await new Anthropic().messages.create({ model: "claude-opus-4-8", mcp_servers: [ { type: "url", url: "https://your-host/mcp", name: "yozh-scraper" }, { type: "url", url: "https://your-host:8001/mcp", name: "yozh-crawler" } ], messages: [...] });
Yozh Crawler починає з одного URL-адреси, виявляє сторінки на всьому сайті та обробляє їх під час завантаження, надаючи вам повну структуру та корисні дані за один прохід.
Сторінки з’являються по мірі їх виявлення та обробки. Переходьте до них безпосередньо з вашого клієнта, агента або конвеєра, не чекаючи на завершення повного циклу обробки.
Потрібні лише посилання? Створіть карту сайту без аналізу. Це швидше та економічніше для перевірки структури та аудиту.
Безпечно зупиняйте завдання. Дочекайтеся завершення активних сторінок або миттєво зупиніть усі процеси, коли це потрібно.
Перемикайтеся між режимами «скрейпер» і «краулер» одним перемикачем. Ваш агент використовує відповідний інструмент для кожного завдання.
Спостерігайте за побудовою структури сайту в режимі реального часу. Слідкуйте за ходом роботи сторінка за сторінкою, не виходячи з панелі управління.
| URL | Parent | Depth | Status | Took |
|---|
Пошуковий робот знаходить сторінки, скрейпер їх обробляє, а ваш агент на базі штучного інтелекту використовує отримані результати — система розроблена як для початківців, так і для експертів.
Виявляє всі URL-адреси
Витяги у форматі JSON
Аналізує та приймає рішення
Відстежуйте каталоги конкурентів, ціни та детальну інформацію про товари в одному місці. Виявляйте прогалини у власних пропозиціях та швидше реагуйте на зміни на ринку.
Автоматично відстежуйте зміни цін на різних торгових майданчиках. Налаштуйте сповіщення та отримуйте повідомлення в Telegram або Slack, коли ціни змінюються.
Збирайте чисті, структуровані набори даних із відкритих джерел, готові до аналізу або навчання моделей. Розроблено для надійного збору даних у великих обсягах.
Локалі, валюти, селектори та захист від ботів — уже налаштовані. Оберіть пресет, щоб побачити, які дані витягуються.
All fields below are extracted automatically — no selectors to write.
Створіть запит на GitHub або поділіться власним пресетом — ми розглядаємо запити на злиття протягом тижня.
Три типи, шість конфігурацій. Обирайте залежно від завдань, швидкості та бюджету.
Справжні мобільні пристрої в мережах операторів зв’язку. Найвищий рівень надійності з суворими системами захисту від ботів.
Особистий пристрій, ручна зміна IP-адреси через API
Один пристрій — кілька користувачів
Кожна IP-адреса належить реальному смартфону або LTE/5G-модему, підключеному до мережі одного з провідних операторів мобільного зв’язку. Цією IP-адресою користуються тисячі звичайних абонентів, тому її блокування призвело б до блокування реальних користувачів — саме тому системи захисту від ботів найбільше довіряють мобільним IP-адресам.
IP-адреси реальних домашніх користувачів Інтернету з понад 120 країн. Доступ до понад 50 млн IP-адрес із оптимальним співвідношенням надійності та вартості.
Справжні маршрутизатори, фіксована IP-адреса на весь термін оренди
Пул IP-адрес понад 100 млн, автоматична ротація за таймером або за запитом
Побутові IP-адреси отримуються від реальних абонентів домашнього інтернету, які дають згоду на спільне використання пропускної здатності в обмін на винагороду через прозору мережу з добровільною участю. Їхнє підключення виглядає як у будь-якого іншого домашнього користувача — адже це і є домашнє підключення.
Максимальна швидкість, мінімальні витрати. Понад 2 млн IP-адрес у дата-центрах по всьому світу.
Один IP-адреса, виділена саме вам, необмежений трафік
Спільний пул — економічний варіант для простих завдань
IP-адреси розміщуються в дата-центрах і не підключені до домашніх або мобільних користувачів. Вони дешевші та швидші за домашні, але системи захисту від ботів можуть розпізнавати їх як нелюдські, тому використовуйте їх там, де рівень довіри не має вирішального значення.
Відкритий код — це лише відправна точка. Не менш важливе значення має те, як збираються дані та звідки беруться проксі-сервери. Це стандарти, яких ми дотримуємося на практиці, а не просто слова на сторінці.
Ми створюємо інструменти, а не лазівки. Yozh Scraper розроблено для того, щоб забезпечити надійне вилучення законних відкритих даних — а не для того, щоб порушувати цілісність того, що має залишатися закритим.
Походження IP-адрес для домашнього використання є випробуванням на чесність для кожного провайдера проксі-серверів. Ось звідки саме походять наші адреси — ми чітко зазначаємо це:
Якщо хтось зловживає нашою інфраструктурою, щоб завдати шкоди іншим, ми хочемо про це дізнатися — і вжити заходів, перш ніж ситуація погіршиться.
Якщо сценарій використання передбачає зловживання або заподіяння шкоди, наші інструменти не призначені для цього. Ми ставимо відповідальне використання вище, ніж зростання кількості клієнтів.
Якщо певний випадок використання вимагає приховування особи для заподіяння шкоди іншим, наші інструменти для цього не призначені. Крапка. Ми краще втратимо клієнта, ніж відступимо від своїх принципів.
Чіткі правила, що визначають нашу діяльність — від збору даних до пошуку представників та використання платформи. Це саме ті політики, яких дотримується наша команда, а не їхні короткі виклади.
Визначає, що дозволено на нашій інфраструктурі, а що обмежено, із чітким обґрунтуванням.
Пояснює, як звернення розглядаються, обробляються та вирішуються, включно з термінами реагування.
Описує, як отримуються резидентні та мобільні IP, із моделлю opt-in і перевіреним постачанням.
Охоплює онбординг, випадки, коли потрібна верифікація, та як обробляються дані користувачів.
Перелічує заблоковані домени й сценарії використання, включно з чутливими секторами, як-от державний сектор і фінанси.
Пояснює, які дані збираються, що не зберігається, обмеження щодо зберігання та передавання третім сторонам.
Автоматизуйте збір великих обсягів відкритих даних: каталоги товарів, рейтинги, відгуки, геодані. Yozh Scraper у поєднанні з проксі-серверами для приватного використання — легально, стабільно та без спаму.
Дізнатися більше
Створюйте автономні агенти, які збирають дані, аналізують їх і виконують дії. Завдяки інтеграції з MCP Yozh Scraper стає вбудованим інструментом для Claude та Cursor — додаткова інтеграція не потрібна.
Дізнатися більше
Відстежуйте ціни, запаси та наявність товарів на Amazon, eBay та інших світових торгових майданчиках. Готові налаштування дозволяють заощадити тижні розробки.
Дізнатися більше
"CyberYozh stands out as a powerful platform for affiliates and arbitrage teams, combining reliable proxy infrastructure, identity tools, and strong support in one ecosystem."
"CyberYozh App enables businesses to launch, test, and operate digital products across more than 30 countries through a scalable infrastructure built for global connectivity, verification, and digital operations."
"Built for organizations that rely on proxies every day, CyberYozh App delivers infrastructure designed for stability, scalability, and high-volume workloads rather than one-off sessions."
Що кажуть люди, які створюють проекти за допомогою Yozh
За одне післяобіддя ми замінили наш внутрішній кластер Playwright на Yozh. Кінцева точка MCP одразу ж інтегрувалася в наш агент Claude — жодного допоміжного коду, а сканер і скрепер просто запрацювали.
Система пресетів — це головна фішка. Ми передаємо назву джерела й отримуємо у відповідь чистий JSON; функція автоматичного відновлення навіть встигла виявити дві зміни у макеті Amazon ще до того, як ми їх помітили.
Нарешті з’явився скрейпер з відкритим кодом, який розглядає проксі-сервери та сесії як повноцінні компоненти. Ми використовуємо його для доступу до партнерських порталів, що вимагають авторизації — сесії зберігаються, а результати залишаються однаковими в усіх регіонах.
Підключив його до Cursor через MCP, і тепер мій агент отримує веб-дані в режимі реального часу під час виконання завдання. Потокове сканування через SSE — це саме те, чого бракувало робочим процесам агента.
Ми відмовилися від платного API для зчитування даних, щоб скоротити витрати, і готувалися до погіршення якості — але отримали зовсім протилежний результат. Сервіс розміщений на власному хостингу, оплата не стягується за кожен запит, а схема вихідних даних є чіткішою, ніж та, за яку ми раніше платили.
Дізнайтеся, як працює збір даних з вебсайтів, які методи підходять для різних сайтів, які інструменти потрібні та як автоматизувати надійний збір даних у великих масштабах.
TL;DR: Відмова від важких браузерів Браузерна автоматизація несе колосальні обчислювальні витрати. Безголові браузери потребують гігабайтів оперативної пам’яті. Вони рендерять непотрібні елементи DOM-дерева. Вони викликають пікові навантаження…
Протокол SOCKS5 залишається надійним стандартом індустрії. Він ідеально працює в довірених корпоративних мережах. Але за умов жорсткої DPI-фільтрації з боку інтернет-провайдерів чистий SOCKS5 стає вразливим. Локальні…
Yozh Scraper — це проект з відкритим кодом, усі оновлення якого доступні на GitHub. Ось найважливіші новинки.
<name>_chromium and <name>_camoufox (e.g. google_search_chromium, yandex_search_camoufox). A request names the exact variant it wants; each preset carries its own browser_engine.LOG_FORMAT=json (default text).EGRESS_ALLOW_HOSTS allowlist (empty by default) and an EGRESS_TRANSPORT_GUARD toggle (on by default).google_search, google_shopping, amazon_product, amazon_search, bing_search, ebay_search, linkedin_profile, walmart_product, yandex_search, youtube_video) are replaced by their per-engine variants. A request using a bare old name now returns 404 preset_not_found; append the engine suffix (_chromium, or _camoufox for the two anti-bot targets yandex_search and walmart_product).GET /api/v1/proxies/available and the entire /api/v2/prem-proxies/* catalog now require SERVICE_TOKEN and fail closed (503 when the token is unconfigured, 401 without it). Any consumer of these endpoints must send the X-Service-Token header; deploy the consumer first, or its calls degrade (for the proxy geo catalog, silently).unreadable_slots. A job with one corrupt or schema-skewed result slot now returns its other pages (HTTP 200) and names the bad slot, instead of the whole job failing with a 500 and becoming un-cancellable until its TTL expires.navigator, and Client-Hints (Sec-CH-UA) as the main fetch path, via a shared page-preparation helper. A credentialed login no longer submits a contradictory fingerprint (previously a macOS GPU and a HeadlessChrome Client-Hint under a Windows user agent).all / attr / post_process and required fields, and it is graded against the original contract — so a heal that returns a bare string where a coerced list belongs is no longer counted as a recovery. It also never heals from a transient 5xx error page. This closes a class of silent preset corruption.user:pass; a shared redactor masks proxy URLs while preserving host:port for diagnostics.litellm is bounded <1.98: 1.98.0 imports NotRequired from typing unguarded and fails to import on the Python 3.10 this project targets, so a fresh install or image build would produce a container that cannot start.HOST_GPU_VENDOR). Without it the restored context reported a generic SwiftShader/ANGLE software-renderer string, itself an automation tell.--enable-unsafe-swiftshader, gated by the new SOFTWARE_WEBGL setting (default on, Chromium-only; revertible by env without a code change).data.cyberyozh.pro) with per-service pages for the scraper and crawler.bing.com/ck/a?...&u=a1<base64url>) to the real destination URL. A field that should have been unwrapped but yielded nothing raises a warning instead of silently shipping the tracking link.meta.applied_warmup) instead of being indistinguishable from a request that ran no warmup at all, so a warmup that silently failed is visible rather than looking like a no-op.wait_for_selector timeout for an extraction anchor it will never grow: the block is returned at once (roughly a 45s saving per blocked page) instead of after the selector deadline.redis and scraper-worker services (both are already in docker-compose.yml). Scale capacity with docker compose up -d --scale scraper-worker=N.POST /scrape/page and /scrape/pages can now return 503 queue_full when the Redis stream depth exceeds QUEUE_MAXSIZE (previously the in-memory queue was unbounded).JOB_TIMEOUT_MS → use PAGE_TASK_TIMEOUT_S; JOB_RESULT_MAX → eviction is now a native Redis TTL (JOB_RESULT_TTL_S); JOBS_ENABLED → the queue is always on.REDIS_URL, PAGE_TASK_TIMEOUT_S, LOGIN_TASK_TIMEOUT_S, LOGIN_RESULT_GRACE_S, RECLAIM_IDLE_S, JOB_RESULT_TTL_S, BROWSER_MAX_PAGES, BROWSER_IDLE_SHUTDOWN_S, WARMUP_DWELL_MS.web-scraper container only enqueues page tasks and reads results; browsers run in separate, horizontally scalable scraper-worker containers.Три команди — і у вас вже працює скрейпер + краулер з кінцевими точками HTTP та MCP.
git clone https://github.com/\ CyberYozh-data/yozh-scraper cd yozh-scraper
cp .env.example .env docker compose up --build
curl -X POST localhost:8000/api/v1/scrape/page \
-H 'Content-Type: application/json' \
-d '{"url":"https://example.com"}'
Справжня людина читає все, що надходить. Оберіть зручний для вас канал — Telegram працює найшвидше.
Yozh Crawler + Scraper — це безкоштовна програма. Назавжди. Поставте нам зірочку, якщо вона вам допомогла — кожна зірочка має значення.
Yozh Crawler + Scraper розповсюджується за ліцензією MIT. Користуйтеся ним. Створюйте форки. Розробляйте на його основі.