Uma ferramenta de código aberto para recolha e extração de dados. Comece a partir de um único URL, explore o site e obtenha dados estruturados à medida que as páginas são carregadas. Funciona com o MCP e ferramentas como o Claude e o Cursor, com predefinições prontas para plataformas de comércio eletrónico como a Amazon e o eBay.
O Yozh Crawler mapeia toda a estrutura do site e processa as páginas à medida que estas são encontradas. Obtém-se tanto cobertura como resultados úteis numa única execução, sem necessidade de gerir etapas separadas de rastreamento e extração de dados. Funciona diretamente no âmbito dos seus fluxos de trabalho existentes de recolha de dados e extração.
Comece por um URL e mapeie todo o site. As páginas são detetadas e processadas numa única execução, pelo que obtém uma cobertura total sem passos adicionais.
Precisa apenas de links? Mude para o modo de descoberta e mapeie o site sem análise. Mais rápido, mais leve e útil para auditorias e verificações de estrutura.
Corresponde os cabeçalhos, a localização e os sinais do navegador ao seu proxy. Ajuda a manter a consistência das sessões em diferentes regiões.
Execute centenas de URLs numa única solicitação. Processe tudo em paralelo com um resultado único e claro.
Interrompa tarefas sem comprometer os resultados. Deixe as páginas ativas concluírem o que estão a fazer ou interrompa tudo instantaneamente, quando necessário.
Ligue-se diretamente a ferramentas como o Claude e o Cursor. Utilize técnicas de scraping e crawling como parte dos seus fluxos de trabalho existentes.
Amazon, eBay, Walmart, Google, Google Shopping, YouTube, LinkedIn, Bing, Yandex — basta passar o nome da fonte e os parâmetros para obter uma resposta normalizada. Não é preciso escrever seletores.
Um site implementa uma alteração no layout e os teus seletores CSS devolvem resultados vazios? O analisador solicita a um LLM (OpenAI / Anthropic / Gemini / OpenRouter) que regenere o seletor em tempo real. O pipeline continua a funcionar.
Precisa de um site para o qual não disponibilizamos uma predefinição? Descreva o que pretende extrair e cole um URL de exemplo — POST /api/v1/presets/generate retorna um JSON de predefinição pronto a usar.
Inicie sessão uma vez através de uma DSL declarativa (ir para / preencher / clicar / aguardar) ou cole os cookies exportados. Reutilize a sessão em cada processo de extração. Obrigatório para alvos protegidos, como a predefinição do LinkedIn.
Configure o seu fluxo de trabalho num único local e execute-o da forma que precisar. Tudo é claro, organizado e fácil de gerir, sem necessidade de ferramentas adicionais.
Aceda a proxies residenciais, móveis e de centros de dados em mais de 120 países. Mais de 50 milhões de endereços IP com 99,9% de tempo de atividade. Inclui suporte à identificação de dispositivos para alinhar o comportamento do dispositivo, do navegador e da rede, garantindo sessões estáveis e um melhor controlo.
Utilize seletores CSS, XPath ou a deteção automática para sites populares. Obtenha JSON limpo e estruturado sem configurações complexas.
Obtenha HTML bruto, capturas de ecrã e dados analisados, tudo num só lugar. Tudo o que precisa, sem ter de alternar entre ferramentas.
Pode interromper as tarefas a qualquer momento com um clique e alternar entre o modo «scraper» e o modo «crawler». O seu fluxo de trabalho mantém-se simples e sob o seu controlo.
Ligue o Yozh Crawler e o Yozh Scraper ao Claude, ao Cursor ou a qualquer cliente MCP. Alterne entre ferramentas com um único botão, sem necessidade de código adicional.
Todas as funcionalidades do Yozh Scraper estão disponíveis como funções para o seu agente, incluindo a extração de dados, execuções em lote e capturas de ecrã.
Copie a configuração, reinicie o seu cliente e já está tudo pronto.
Claude Desktop, Cursor, Cline ou agentes personalizados.
Escolha como o seu agente executa as tarefas, desde páginas individuais até lotes completos.
Utilize um servidor MCP local ou implemente-o na sua própria infraestrutura.
// ~/Library/Application Support/Claude/claude_desktop_config.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cursor → Settings → MCP → Add new MCP Server { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cline → MCP Servers → Edit cline_mcp_settings.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp", "disabled": false }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp", "disabled": false } } }
// Anthropic Messages API · MCP via Streamable HTTP // Note: scraper must be reachable from Anthropic's servers (deploy publicly) import Anthropic from "@anthropic-ai/sdk"; const response = await new Anthropic().messages.create({ model: "claude-opus-4-8", mcp_servers: [ { type: "url", url: "https://your-host/mcp", name: "yozh-scraper" }, { type: "url", url: "https://your-host:8001/mcp", name: "yozh-crawler" } ], messages: [...] });
O Yozh Crawler começa a partir de um URL, descobre páginas em todo o site e processa-as à medida que são carregadas, fornecendo-lhe a estrutura completa e dados úteis numa única execução.
As páginas são apresentadas à medida que são detetadas e processadas. Aceda diretamente a partir do seu cliente, agente ou pipeline, sem ter de esperar pela conclusão do processamento.
Precisa apenas de links? Faça o mapeamento do site sem análise sintática. É mais rápido e mais económico para verificações de estrutura e auditorias.
Encerre as tarefas com segurança. Deixe as páginas ativas terminarem ou encerre tudo instantaneamente, quando necessário.
Alterne entre o scraper e o crawler com um único botão. O seu agente utiliza a ferramenta adequada para cada tarefa.
Veja a estrutura do site a ser criada em tempo real. Acompanhe o progresso página a página sem sair do painel de controlo.
| URL | Parent | Depth | Status | Took |
|---|
O rastreador encontra páginas, o extrator processa-as e o seu agente de IA utiliza os resultados, concebido tanto para principiantes como para especialistas.
Identifica todos os URLs
Extrair para JSON
Analisa e decide
Acompanhe os catálogos, os preços e os detalhes dos produtos da concorrência num único local. Identifique lacunas nas suas próprias listagens e reaja mais rapidamente às mudanças do mercado.
Acompanhe automaticamente as variações de preço em diferentes plataformas de vendas. Defina alertas e receba notificações no Telegram ou no Slack sempre que os preços se alterarem.
Recolha conjuntos de dados limpos e estruturados a partir de fontes públicas, prontos para análise ou treino de modelos. Concebido para uma recolha de dados fiável em grande escala.
Configurações regionais, moedas, seletores e medidas contra bots — já configuradas. Escolha uma predefinição para ver o que é extraído.
All fields below are extracted automatically — no selectors to write.
Cria um ticket no GitHub ou contribui com a tua própria predefinição — analisamos os PRs no prazo de uma semana.
Três tipos, seis configurações. Escolha consoante a tarefa, a velocidade e o orçamento.
Dispositivos móveis reais em redes de operadoras. O nível de confiança mais elevado, com sistemas rigorosos de combate a bots.
Dispositivo pessoal, rotação manual de IP através da API
Um dispositivo, vários utilizadores
Cada endereço IP provém de um smartphone real ou de um modem LTE/5G ligado a uma das principais operadoras de telemóvel. O endereço IP é partilhado por milhares de assinantes regulares, pelo que bloqueá-lo bloquearia utilizadores reais — e é por isso que os sistemas anti-bot confiam mais nos endereços IP móveis.
Endereços IP de utilizadores reais de Internet doméstica em mais de 120 países. Acesso a mais de 50 milhões de endereços IP, com um equilíbrio sólido entre confiança e custo.
Routers verdadeiros, IP fixo durante todo o período de aluguer
Conjunto de mais de 100 milhões de endereços IP, rotação automática por temporizador ou por pedido
Os endereços IP residenciais provêm de assinantes reais de Internet doméstica que consentem em partilhar largura de banda em troca de uma remuneração, através de uma rede de adesão voluntária transparente. A sua ligação parece a de qualquer outro utilizador doméstico — porque é mesmo isso que é.
Velocidade máxima, custo mínimo. Mais de 2 milhões de endereços IP em centros de dados em todo o mundo.
Um endereço IP atribuído a si, tráfego ilimitado
Pool partilhado: a opção económica para tarefas simples
Os IPs estão alojados em centros de dados e não estão ligados a utilizadores domésticos ou móveis. São mais baratos e mais rápidos do que os IPs residenciais, mas os sistemas anti-bot podem identificá-los como não humanos; por isso, utilize-os em situações em que a confiança não seja essencial.
O código aberto é apenas o ponto de partida. A forma como os dados são recolhidos e como os proxies são obtidos é igualmente importante. Estes são os padrões que seguimos na prática, não meras declarações numa página.
Criamos ferramentas, não brechas. O Yozh Scraper foi concebido para tornar fiável a extração de dados públicos legítimos — e não para violar o que deve permanecer privado.
A origem dos endereços IP residenciais é o teste de honestidade para qualquer fornecedor de serviços de proxy. Eis de onde vêm os nossos — de forma explícita:
Se alguém utilizar indevidamente a nossa infraestrutura para prejudicar outras pessoas, queremos saber — e tomar medidas antes que a situação piore.
Se um caso de utilização envolver uso indevido ou danos, as nossas ferramentas não foram concebidas para esse fim. Damos prioridade à utilização responsável em detrimento do crescimento da base de clientes.
Se um caso de utilização exigir que se oculte a identidade para prejudicar outras pessoas, as nossas ferramentas não se destinam a isso. Ponto final. Preferimos perder o cliente do que comprometer os nossos princípios.
Regras claras que orientam a forma como operamos, desde a recolha de dados até ao recrutamento de representantes e à utilização da plataforma. Estas são as políticas concretas que a nossa equipa segue, e não meros resumos.
Define o que é permitido em nossa infraestrutura e o que é restrito, com justificativas claras.
Explica como os relatórios são analisados, tratados e resolvidos, incluindo os tempos de resposta.
Detalha como os IPs residenciais e móveis são obtidos, com um modelo opt-in e fornecimento verificado.
Abrange o onboarding, quando a verificação é necessária e como os dados dos usuários são tratados.
Lista domínios e casos de uso bloqueados, incluindo setores sensíveis como governo e finanças.
Explica quais dados são coletados, o que não é armazenado, os limites de retenção e o compartilhamento com terceiros.
Automatize a recolha em grande escala de dados públicos: catálogos de produtos, classificações, comentários e dados geográficos. O Yozh Scraper, combinado com proxies residenciais — legais, estáveis e limpos.
Leia mais
Crie agentes autónomos que recolham dados, analisem e ajam. A integração com o MCP transforma o Yozh Scraper numa ferramenta nativa para o Claude e o Cursor — sem necessidade de integração personalizada.
Leia mais
Acompanhe os preços, o stock e a disponibilidade dos produtos na Amazon, no eBay e nos restantes mercados mundiais. As predefinições poupam semanas de trabalho de engenharia.
Leia mais
"CyberYozh stands out as a powerful platform for affiliates and arbitrage teams, combining reliable proxy infrastructure, identity tools, and strong support in one ecosystem."
"CyberYozh App enables businesses to launch, test, and operate digital products across more than 30 countries through a scalable infrastructure built for global connectivity, verification, and digital operations."
"Built for organizations that rely on proxies every day, CyberYozh App delivers infrastructure designed for stability, scalability, and high-volume workloads rather than one-off sessions."
O que dizem as pessoas que criam com o Yozh
Substituímos o nosso cluster interno do Playwright pelo Yozh numa tarde. O endpoint do MCP integrou-se diretamente no nosso agente Claude — sem qualquer código de ligação, o crawler e o scraper funcionaram logo.
O sistema de predefinições é a funcionalidade mais marcante. Passamos um nome de fonte e recebemos um JSON limpo em resposta; a correção automática chegou mesmo a detetar duas alterações no layout da Amazon antes de nos apercebermos.
Finalmente, um scraper de código aberto que trata os proxies e as sessões como elementos de primeira classe. Executamo-lo em portais de parceiros que exigem início de sessão — as sessões mantêm-se ativas e os resultados permanecem consistentes em todas as regiões.
Liguei-o ao Cursor através do MCP e agora o meu agente obtém dados da Web em tempo real durante a execução da tarefa. O rastreio em tempo real através do SSE é exatamente o que faltava aos fluxos de trabalho do agente.
Deixámos de utilizar uma API de extração de dados paga para reduzir custos e preparámo-nos para um declínio na qualidade — mas aconteceu o contrário. É auto-hospedada, não há cobrança por pedido e o esquema de saída é mais claro do que aquele pelo qual costumávamos pagar.
Os sistemas de inspeção profunda de pacotes (DPI) escaneiam ativamente e derrubam conexões VPN padrão. OpenVPN e WireGuard falham em minutos. Isso ocorre porque dependem de…
Compare o Instant Data Scraper com o CyberYozh e saiba quando crawlers escaláveis, rotação de proxy, segmentação geográfica, sessões e automação se tornam necessários.
Executar automação no Reddit, Instagram ou TikTok geralmente funciona no início, mas depois começa a falhar sem um motivo claro. Contas são sinalizadas, sessões são reiniciadas…
O Yozh Scraper é de código aberto, estando todas as atualizações disponíveis no GitHub. Aqui estão os destaques mais recentes.
fingerprint_profile on POST /scrape/page, POST /scrape/pages and the crawler/search scrape_options: pin the Camoufox fingerprint's OS and WebGL vendor instead of Camoufox's per-launch random draw (which claimed an OS the server is not two launches in three). Profiles: auto (default, resolves to CAMOUFOX_FINGERPRINT_PROFILE, ships windows_on_host), windows_on_host, host, random, and the bare names windows / macos / linux. The old spoof_os keeps working and equals the three bare names; a caller stating both must not name conflicting operating systems. meta.applied_fingerprint reports what actually ran, including when a profile degraded. New env vars CAMOUFOX_FINGERPRINT_PROFILE (default windows_on_host) and HOST_GPU_VENDOR.post_process pipeline nulls an entire column (every row) — a fourth class of silent failure the invalid/empty/length-mismatch selector checks did not cover. Reported only for a fully-nulled column with more than one row, or a scalar field; an optional value missing on a single row stays quiet.pylint and pytest -m "not e2e" on every push and pull request, the checks the repo already defined but never enforced.run_scrape now returns a typed envelope (ScrapeOk / ScrapeErr) built as the same pydantic models the API validates on the way out, with mypy over the queue surface. An older worker meeting a metadata value a newer API introduced degrades that field and keeps the fetched page, rather than dropping it. Internal refactor; the public HTTP response is unchanged.session_id, cookies and render are now rejected with 422 on the Camoufox engine instead of being accepted and silently ignored (which returned a logged-out or non-rendered page that read as the site having changed). /search maps the rejection to a 400 rather than a 500.mcp 2.0.0 made Server.__init__ keyword-only, which fastapi-mcp 0.4.x still calls positionally, so a clean docker build shipped services that raised TypeError in create_app() before serving anything. Both requirements.txt and yozh-crawler/requirements.txt now pin mcp>=1.28.1,<2. The floor keeps the fix for GHSA-vj7q-gjh5-988w (HIGH — WebSocket Host/Origin validation). Drop the ceiling once fastapi-mcp ships a release built against mcp 2.x.urls field.From $19.99 / Now 19.99 parse the number rather than the label. Currency symbols, thousands separators (US and EU), leading decimals and negatives still parse as before.goto) timeout — the page was simply slow, the proxy is fine — used to burn the retry budget and rotate the proxy; it now gets one rotation at most and otherwise returns a timeout to the caller instead of looping. Genuine proxy failures (connection reset, tunnel/auth errors, net::ERR_*) still rotate and retry as before.examples/ (langchain-anthropic) and the local scraper-tester dev harness (express, qs, http-proxy-middleware, follow-redirects). No shipped scraper runtime or API change.redis and scraper-worker services (both are already in docker-compose.yml). Scale capacity with docker compose up -d --scale scraper-worker=N.POST /scrape/page and /scrape/pages can now return 503 queue_full when the Redis stream depth exceeds QUEUE_MAXSIZE (previously the in-memory queue was unbounded).JOB_TIMEOUT_MS → use PAGE_TASK_TIMEOUT_S; JOB_RESULT_MAX → eviction is now a native Redis TTL (JOB_RESULT_TTL_S); JOBS_ENABLED → the queue is always on.REDIS_URL, PAGE_TASK_TIMEOUT_S, LOGIN_TASK_TIMEOUT_S, LOGIN_RESULT_GRACE_S, RECLAIM_IDLE_S, JOB_RESULT_TTL_S, BROWSER_MAX_PAGES, BROWSER_IDLE_SHUTDOWN_S, WARMUP_DWELL_MS.web-scraper container only enqueues page tasks and reads results; browsers run in separate, horizontally scalable scraper-worker containers.Três comandos e já tem um scraper + crawler a funcionar com pontos de extremidade HTTP e MCP.
git clone https://github.com/\ CyberYozh-data/yozh-scraper cd yozh-scraper
cp .env.example .env docker compose up --build
curl -X POST localhost:8000/api/v1/scrape/page \
-H 'Content-Type: application/json' \
-d '{"url":"https://example.com"}'
Uma pessoa de verdade lê tudo o que chega. Escolhe o canal que mais te convier — o Telegram é o mais rápido.
O Yozh Crawler + Scraper é gratuito. Para sempre. Se o aplicativo te ajudar, dá-nos uma estrela — cada estrela conta.
O Yozh Crawler + Scraper é distribuído ao abrigo da licença MIT. Utilize-o. Faça um fork. Desenvolva com ele.