Salah satu alat sumber terbuka untuk pengumpulan dan penggalian data. Mulailah dari satu URL, jelajahi situs tersebut, dan peroleh data terstruktur seiring dimuatnya halaman-halaman. Dapat digunakan bersama MCP dan alat-alat seperti Claude dan Cursor, serta dilengkapi dengan pengaturan siap pakai untuk platform pasar seperti Amazon dan eBay.
Yozh Crawler memetakan seluruh struktur situs dan memproses halaman-halaman yang ditemukan. Anda akan mendapatkan cakupan yang luas serta hasil yang dapat dimanfaatkan dalam satu kali proses, tanpa perlu mengelola langkah-langkah perayapan dan penggalian data secara terpisah. Alat ini dapat diintegrasikan langsung ke dalam alur kerja pengumpulan data dan penggalian data yang sudah ada.
Mulailah dari satu URL dan peta seluruh situs. Halaman-halaman akan terdeteksi dan diproses dalam satu kali proses, sehingga Anda mendapatkan cakupan penuh tanpa perlu langkah tambahan.
Hanya butuh tautan? Beralihlah ke mode penjelajahan dan petakan situs tanpa melakukan parsing. Lebih cepat, lebih ringan, dan berguna untuk audit serta pemeriksaan struktur.
Menyesuaikan header, lokasi, dan sinyal browser dengan proxy Anda. Membantu menjaga konsistensi sesi di berbagai wilayah.
Jalankan ratusan URL dalam satu permintaan. Proses semuanya secara paralel dengan satu hasil yang rapi.
Hentikan proses tanpa mengganggu hasil. Biarkan halaman yang sedang aktif menyelesaikan prosesnya, atau hentikan semuanya secara instan jika diperlukan.
Terhubung langsung dengan alat-alat seperti Claude dan Cursor. Gunakan teknik scraping dan crawling sebagai bagian dari alur kerja yang sudah ada.
Amazon, eBay, Walmart, Google, Google Shopping, YouTube, LinkedIn, Bing, Yandex — cukup masukkan nama sumber dan parameternya, lalu dapatkan respons yang telah dinormalisasi. Tidak perlu menulis selektor.
Sebuah situs melakukan perubahan tata letak, dan selektor CSS Anda mengembalikan hasil kosong? Parser meminta LLM (OpenAI / Anthropic / Gemini / OpenRouter) untuk membuat ulang selektor tersebut secara instan. Pipeline tetap berjalan.
Butuh situs yang belum kami sediakan preset-nya? Jelaskan apa yang ingin diekstraksi dan tempelkan URL contoh — POST /api/v1/presets/generate akan mengembalikan JSON preset yang siap pakai.
Masuk sekali saja melalui DSL deklaratif (goto / fill / click / wait) atau tempelkan cookie yang telah diekspor. Gunakan kembali sesi tersebut pada setiap proses pengambilan data. Diperlukan untuk target yang dibatasi aksesnya, seperti preset LinkedIn.
Atur alur kerja Anda di satu tempat dan jalankan sesuai kebutuhan Anda. Semuanya jelas, teratur, dan mudah dikelola tanpa perlu alat tambahan.
Akses proxy perumahan, seluler, dan pusat data di lebih dari 120 negara. Tersedia lebih dari 50 juta alamat IP dengan tingkat ketersediaan 99,9%. Dilengkapi dengan dukungan fingerprinting untuk menyelaraskan perilaku perangkat, peramban, dan jaringan guna memastikan sesi yang stabil dan kontrol yang lebih baik.
Gunakan selektor CSS, XPath, atau fitur deteksi otomatis untuk situs-situs populer. Dapatkan data JSON yang rapi dan terstruktur tanpa perlu pengaturan yang rumit.
Dapatkan kode HTML mentah, tangkapan layar, dan data yang telah diolah dalam satu tempat. Semua yang Anda butuhkan, tanpa perlu berpindah-pindah antar alat.
Hentikan tugas kapan saja hanya dengan satu klik dan beralih antara mode scraper dan crawler. Alur kerja Anda tetap sederhana dan tetap dalam kendali Anda.
Hubungkan Yozh Crawler dan Yozh Scraper ke Claude, Cursor, atau klien MCP mana pun. Ganti alat hanya dengan satu tombol, tanpa perlu kode tambahan.
Semua fitur Yozh Scraper tersedia sebagai fungsi untuk agen Anda, termasuk pengambilan data, eksekusi batch, dan tangkapan layar.
Salin berkas konfigurasi, mulai ulang klien Anda, dan Anda sudah siap.
Claude Desktop, Cursor, Cline, atau agen kustom.
Pilih cara agen Anda menjalankan tugas, mulai dari satu halaman hingga seluruh batch.
Gunakan server MCP lokal atau terapkan di infrastruktur Anda sendiri.
// ~/Library/Application Support/Claude/claude_desktop_config.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cursor → Settings → MCP → Add new MCP Server { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp" }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp" } } }
// Cline → MCP Servers → Edit cline_mcp_settings.json { "mcpServers": { "yozh-scraper": { "type": "http", "url": "http://localhost:8000/mcp", "disabled": false }, "yozh-crawler": { "type": "http", "url": "http://localhost:8001/mcp", "disabled": false } } }
// Anthropic Messages API · MCP via Streamable HTTP // Note: scraper must be reachable from Anthropic's servers (deploy publicly) import Anthropic from "@anthropic-ai/sdk"; const response = await new Anthropic().messages.create({ model: "claude-opus-4-8", mcp_servers: [ { type: "url", url: "https://your-host/mcp", name: "yozh-scraper" }, { type: "url", url: "https://your-host:8001/mcp", name: "yozh-crawler" } ], messages: [...] });
Yozh Crawler memulai dari satu URL, menemukan halaman-halaman di seluruh situs, dan memprosesnya saat halaman-halaman tersebut dimuat, sehingga Anda mendapatkan struktur lengkap dan data yang dapat dimanfaatkan dalam satu kali proses.
Halaman akan muncul seiring dengan penemuan dan pemrosesannya. Akses langsung dari klien, agen, atau pipeline Anda tanpa perlu menunggu proses pemrosesan selesai sepenuhnya.
Hanya butuh tautan? Lakukan pemetaan situs tanpa proses parsing. Lebih cepat dan lebih hemat biaya untuk pemeriksaan struktur dan audit.
Hentikan proses dengan aman. Biarkan halaman yang sedang aktif selesai terlebih dahulu, atau hentikan semuanya secara instan jika diperlukan.
Beralih antara scraper dan crawler hanya dengan satu tombol. Agen Anda akan menggunakan alat yang tepat untuk setiap tugas.
Lihat proses pembangunan struktur situs secara langsung. Pantau perkembangannya halaman demi halaman tanpa perlu meninggalkan dasbor.
| URL | Parent | Depth | Status | Took |
|---|
Crawler menemukan halaman-halaman, scraper memprosesnya, dan agen AI Anda memanfaatkan hasilnya; dirancang untuk pemula maupun ahli.
Menemukan semua URL
Ekstrak ke JSON
Menganalisis & memutuskan
Pantau katalog, harga, dan detail produk pesaing di satu tempat. Temukan celah dalam daftar produk Anda sendiri dan tanggapi perubahan pasar dengan lebih cepat.
Pantau perubahan harga di berbagai platform jual beli secara otomatis. Atur pemberitahuan dan dapatkan notifikasi di Telegram atau Slack saat harga berubah.
Mengumpulkan kumpulan data yang bersih dan terstruktur dari sumber-sumber publik, yang siap untuk dianalisis atau digunakan dalam pelatihan model. Dirancang untuk pengumpulan data yang andal dalam skala besar.
Pengaturan wilayah, mata uang, pemilih, dan penanganan anti-bot — sudah dikonfigurasi. Pilih salah satu preset untuk melihat data apa saja yang diekstraksi.
All fields below are extracted automatically — no selectors to write.
Buka tiket di GitHub atau kirimkan preset buatan Anda sendiri — kami akan meninjau pull request dalam waktu seminggu.
Tiga jenis, enam konfigurasi. Pilih berdasarkan jenis pekerjaan, kecepatan, dan anggaran.
Perangkat seluler asli yang terhubung ke jaringan operator. Tingkat kepercayaan tertinggi dengan sistem anti-bot yang ketat.
Perangkat pribadi, rotasi IP manual melalui API
Satu perangkat, banyak pengguna
Setiap alamat IP berasal dari smartphone asli atau modem LTE/5G yang terhubung ke operator seluler besar. Alamat IP tersebut digunakan bersama oleh ribuan pelanggan reguler, sehingga memblokirnya berarti memblokir pengguna asli — itulah sebabnya sistem anti-bot paling mempercayai alamat IP seluler.
Alamat IP dari pengguna internet rumahan asli di lebih dari 120 negara. Akses ke lebih dari 50 juta alamat IP dengan keseimbangan yang baik antara tingkat kepercayaan dan biaya.
Router asli, alamat IP tetap selama seluruh masa sewa
Kumpulan alamat IP lebih dari 100 juta, rotasi otomatis berdasarkan timer atau per permintaan
Alamat IP residensial diperoleh dari pelanggan internet rumahan yang sesungguhnya, yang bersedia berbagi bandwidth sebagai imbalan atas kompensasi, melalui jaringan opt-in yang transparan. Koneksi mereka tampak seperti pengguna rumahan pada umumnya — karena memang demikian adanya.
Kecepatan maksimal, biaya minimal. Lebih dari 2 juta alamat IP di berbagai pusat data di seluruh dunia.
Satu alamat IP yang dialokasikan untuk Anda, lalu lintas tak terbatas
Shared pool, pilihan hemat untuk pekerjaan sederhana
IP tersebut dihosting di pusat data dan tidak terhubung ke pengguna rumahan maupun pengguna seluler. Harganya lebih murah dan kecepatannya lebih tinggi daripada IP rumahan, tetapi sistem anti-bot dapat mengidentifikasinya sebagai bukan manusia, jadi gunakanlah IP tersebut di tempat-tempat di mana faktor kepercayaan tidak terlalu penting.
Kode sumber terbuka hanyalah titik awal. Cara pengumpulan data dan cara memperoleh proxy sama pentingnya. Inilah standar yang kami terapkan dalam praktik, bukan sekadar pernyataan di atas kertas.
Kami mengembangkan alat, bukan celah. Yozh Scraper dirancang untuk memastikan pengambilan data publik yang sah dapat dilakukan dengan andal — bukan untuk merusak hal-hal yang seharusnya tetap tertutup.
Asal usul alamat IP perumahan merupakan ujian kejujuran bagi setiap penyedia proxy. Inilah asal usul alamat IP kami — secara eksplisit:
Jika ada yang menyalahgunakan infrastruktur kami untuk merugikan orang lain, kami ingin mengetahuinya — dan segera mengambil tindakan sebelum situasinya semakin memburuk.
Jika suatu kasus penggunaan melibatkan penyalahgunaan atau kerugian, alat-alat kami tidak dirancang untuk itu. Kami lebih mengutamakan penggunaan yang bertanggung jawab daripada pertumbuhan pelanggan.
Jika suatu kasus penggunaan mengharuskan penyembunyian identitas untuk merugikan orang lain, alat-alat kami tidak diperuntukkan untuk itu. Titik. Kami lebih memilih kehilangan pelanggan daripada mengorbankan prinsip kami.
Aturan yang jelas yang menjadi pedoman cara kami beroperasi, mulai dari pengumpulan data hingga pemilihan pihak ketiga dan penggunaan platform. Inilah kebijakan-kebijakan yang sebenarnya yang diikuti oleh tim kami, bukan sekadar ringkasan.
Menjelaskan apa yang diizinkan pada infrastruktur kami dan apa yang dibatasi, dengan alasan yang jelas.
Menjelaskan bagaimana laporan ditinjau, ditangani, dan diselesaikan, termasuk waktu respons.
Merinci bagaimana IP residensial dan seluler diperoleh, dengan model opt-in dan pasokan terverifikasi.
Mencakup proses onboarding, kapan verifikasi diperlukan, dan bagaimana data pengguna dikelola.
Mencantumkan domain dan kasus penggunaan yang diblokir, termasuk sektor sensitif seperti pemerintahan dan keuangan.
Menjelaskan data apa yang dikumpulkan, apa yang tidak disimpan, batas retensi, dan berbagi dengan pihak ketiga.
Otomatiskan pengumpulan data publik dalam skala besar: katalog produk, penilaian, ulasan, dan data geospasial. Yozh Scraper ditambah proxy perumahan — legal, stabil, dan bersih.
Baca selengkapnya
Buat agen otonom yang dapat mengumpulkan data, menganalisis, dan bertindak. Integrasi MCP mengubah Yozh Scraper menjadi alat bawaan untuk Claude dan Cursor — tanpa perlu integrasi khusus.
Baca selengkapnya
Pantau harga, stok, dan ketersediaan produk di Amazon, eBay, serta pasar daring lainnya di seluruh dunia. Pengaturan default ini dapat menghemat waktu pengembangan hingga berminggu-minggu.
Baca selengkapnya
"CyberYozh stands out as a powerful platform for affiliates and arbitrage teams, combining reliable proxy infrastructure, identity tools, and strong support in one ecosystem."
"CyberYozh App enables businesses to launch, test, and operate digital products across more than 30 countries through a scalable infrastructure built for global connectivity, verification, and digital operations."
"Built for organizations that rely on proxies every day, CyberYozh App delivers infrastructure designed for stability, scalability, and high-volume workloads rather than one-off sessions."
Apa yang dikatakan oleh para pengembang yang menggunakan Yozh
Dalam satu sore, kami mengganti klaster Playwright internal kami dengan Yozh. Titik akhir MCP langsung terintegrasi ke dalam agen Claude kami — tanpa perlu kode penghubung sama sekali, crawler dan scraper langsung berfungsi dengan baik.
Sistem preset ini adalah fitur andalannya. Kami memasukkan nama sumber dan mendapatkan respons JSON yang rapi; fitur pemulihan otomatisnya bahkan berhasil mendeteksi dua perubahan tata letak Amazon sebelum kami menyadarinya.
Akhirnya, ada scraper sumber terbuka yang memperlakukan proxy dan sesi sebagai fitur utama. Kami menjalankannya di balik sistem otentikasi untuk portal mitra — sesi tetap aktif dan hasilnya tetap konsisten di seluruh wilayah.
Setelah menghubungkannya ke Cursor melalui MCP, agen saya kini dapat mengambil data web secara langsung di tengah-tengah tugas. Proses pengambilan data streaming melalui SSE inilah yang selama ini menjadi hal yang kurang dalam alur kerja agen.
Kami beralih dari API pengambilan data berbayar untuk menghemat biaya dan bersiap menghadapi penurunan kualitas layanan — ternyata hasilnya justru sebaliknya. Sistem ini dihosting sendiri, tanpa tagihan per permintaan, dan skema outputnya lebih rapi daripada yang dulu kami bayar.
Menargetkan situs web modern untuk melatih model AI dapat merusak pipeline ekstraksi data tradisional. Anda mengarahkan browser headless ke katalog produk dinamis. Server target langsung menganalisis…
Pelajari cara kerja pengumpulan data web, metode mana yang cocok untuk berbagai situs, alat apa yang Anda butuhkan, dan cara mengotomatiskan pengumpulan data yang andal dalam…
TL;DR: Mengatasi bottleneck browser Otomasi browser membawa overhead komputasi yang sangat besar. Browser headless mengonsumsi gigabyte RAM. Browser tersebut merender elemen DOM yang tidak diperlukan. CPU…
Yozh Scraper adalah perangkat lunak sumber terbuka, dengan semua pembaruan tersedia di GitHub. Berikut ini adalah fitur-fitur terbaru yang menonjol.
container selector; everydevice=legacy_wap — a feature-phone identity that unlocks Google's no-JSresolve_redirects — names extracted fields whose values are the page'sozon_search, ozon_product, mobile_de_search,<name>_chromium and <name>_camoufox (e.g. google_search_chromium, yandex_search_camoufox). A request names the exact variant it wants; each preset carries its own browser_engine.LOG_FORMAT=json (default text).EGRESS_ALLOW_HOSTS allowlist (empty by default) and an EGRESS_TRANSPORT_GUARD toggle (on by default).google_search, google_shopping, amazon_product, amazon_search, bing_search, ebay_search, linkedin_profile, walmart_product, yandex_search, youtube_video) are replaced by their per-engine variants. A request using a bare old name now returns 404 preset_not_found; append the engine suffix (_chromium, or _camoufox for the two anti-bot targets yandex_search and walmart_product).GET /api/v1/proxies/available and the entire /api/v2/prem-proxies/* catalog now require SERVICE_TOKEN and fail closed (503 when the token is unconfigured, 401 without it). Any consumer of these endpoints must send the X-Service-Token header; deploy the consumer first, or its calls degrade (for the proxy geo catalog, silently).unreadable_slots. A job with one corrupt or schema-skewed result slot now returns its other pages (HTTP 200) and names the bad slot, instead of the whole job failing with a 500 and becoming un-cancellable until its TTL expires.navigator, and Client-Hints (Sec-CH-UA) as the main fetch path, via a shared page-preparation helper. A credentialed login no longer submits a contradictory fingerprint (previously a macOS GPU and a HeadlessChrome Client-Hint under a Windows user agent).all / attr / post_process and required fields, and it is graded against the original contract — so a heal that returns a bare string where a coerced list belongs is no longer counted as a recovery. It also never heals from a transient 5xx error page. This closes a class of silent preset corruption.user:pass; a shared redactor masks proxy URLs while preserving host:port for diagnostics.litellm is bounded <1.98: 1.98.0 imports NotRequired from typing unguarded and fails to import on the Python 3.10 this project targets, so a fresh install or image build would produce a container that cannot start.HOST_GPU_VENDOR). Without it the restored context reported a generic SwiftShader/ANGLE software-renderer string, itself an automation tell.--enable-unsafe-swiftshader, gated by the new SOFTWARE_WEBGL setting (default on, Chromium-only; revertible by env without a code change).data.cyberyozh.pro) with per-service pages for the scraper and crawler.redis and scraper-worker services (both are already in docker-compose.yml). Scale capacity with docker compose up -d --scale scraper-worker=N.POST /scrape/page and /scrape/pages can now return 503 queue_full when the Redis stream depth exceeds QUEUE_MAXSIZE (previously the in-memory queue was unbounded).JOB_TIMEOUT_MS → use PAGE_TASK_TIMEOUT_S; JOB_RESULT_MAX → eviction is now a native Redis TTL (JOB_RESULT_TTL_S); JOBS_ENABLED → the queue is always on.REDIS_URL, PAGE_TASK_TIMEOUT_S, LOGIN_TASK_TIMEOUT_S, LOGIN_RESULT_GRACE_S, RECLAIM_IDLE_S, JOB_RESULT_TTL_S, BROWSER_MAX_PAGES, BROWSER_IDLE_SHUTDOWN_S, WARMUP_DWELL_MS.web-scraper container only enqueues page tasks and reads results; browsers run in separate, horizontally scalable scraper-worker containers.Cukup tiga perintah, dan Anda sudah memiliki scraper + crawler yang siap dijalankan dengan titik akhir HTTP dan MCP.
git clone https://github.com/\ CyberYozh-data/yozh-scraper cd yozh-scraper
cp .env.example .env docker compose up --build
curl -X POST localhost:8000/api/v1/scrape/page \
-H 'Content-Type: application/json' \
-d '{"url":"https://example.com"}'
Seorang manusia sungguhan akan membaca semua pesan yang masuk. Pilih saluran yang paling cocok — Telegram adalah yang tercepat.
Yozh Crawler + Scraper gratis. Selamanya. Berikan bintang jika aplikasi ini bermanfaat — setiap bintang sangat berarti.
Yozh Crawler + Scraper didistribusikan di bawah lisensi MIT. Silakan gunakan. Buat cabang (fork). Gunakan untuk mengembangkan aplikasi.