Mengapa lem khusus perkakas bisa gagal

Agen membutuhkan alat web yang sesungguhnya, bukan pembungkus Python yang dibuat khusus

Setiap tim membangun "pengikat" yang sama: sebuah alat Python untuk setiap sumber pengumpulan data, penyimpanan sesi yang setengah rusak, dan pengatur buatan sendiri yang kehilangan konteks setelah satu panggilan. Tiga minggu kemudian, agen tersebut berfungsi sekali, rusak dua kali, dan tidak ada yang ingat proxy mana yang sudah kadaluwarsa. Kami menyediakan keempat komponen yang dibutuhkan setiap siklus agen secara siap pakai — melalui MCP, dengan satu titik akhir HTTP.

Jika agen Anda pernah mengalami timeout pada langkah ketiga dalam proses crawling bertahap — artikel ini ditujukan untuk Anda.

Alat Python khusus untuk setiap sumber

Masalahnya. Setiap kemampuan agen baru berarti satu @tool dekorator: satu untuk Amazon, satu untuk eBay, satu untuk wiki perusahaan. Perubahan skema, ketidaksesuaian versi, dan daftar alat yang tidak dikelola oleh siapa pun. Memasukkan model baru berarti mengimplementasikan kembali pembungkus tersebut dari awal.

Bagaimana Yozh Scraper mengatasinya. Satu titik akhir HTTP MCP yang localhost:8000/mcp secara otomatis menampilkan setiap kemampuan — scrape_page, scrape_batch, crawl, sessions, presets. Tambahkan satu baris ke konfigurasi Claude / Cursor / Cline dan model tersebut akan mendeteksi alat-alat tersebut saat runtime. Titik akhir yang sama, untuk setiap klien.

Satu endpoint MCP
Penemuan otomatis
Tanpa glue code

Panggilan alat tanpa status kehilangan konteks login

Masalahnya. Panggilan alat bersifat stateless — setiap panggilan membuka jendela browser baru, menghapus cookie, dan gagal pada langkah kedua verifikasi dua faktor (2FA). Agen yang terjebak dalam lingkaran masuk ulang menghabiskan token dan menyerah pada upaya ketiga. Penyimpanan cookie secara manual rentan dan data bocor antar sesi.

Bagaimana Yozh Scraper mengatasinya. API sesi dengan agen yang tetap session_id yang dibawa oleh agen antar panggilan. DSL login deklaratif (goto / fill / click / wait) atau tempelkan cookie yang diekspor sekali saja — status penyimpanan bertahan selama 24 jam. Setiap panggilan alat berikutnya akan menggunakan kembali sesi tersebut, tanpa perlu otentikasi ulang.

session_id sticky
Login deklaratif
TTL 24 jam

Otentikasi manual dan konfigurasi proxy dalam kode agen

Masalahnya. Setiap agen pada akhirnya harus menangani kunci API, rotasi proxy, kode negara, dan upaya ulang — konfigurasi yang sama sekali tidak ada hubungannya dengan tugas model. Informasi rahasia bocor ke dalam prompt, agen mengambil keputusan "kreatif" terkait upaya ulang, dan anggaran proxy melonjak tajam dalam seminggu.

Bagaimana Yozh Scraper mengatasinya. CYBERYOZH_API_KEY Dalam .env — kode agen tidak pernah melihat kredensial. Pilih proxy: {country: "us", type: "mobile"} dalam panggilan alat, Yozh menangani rotasi, sidik jari, dan upaya ulang di sisi server. Agen tetap berfokus pada penalaran.

Auth sisi server
Proxy deklaratif
Tanpa secret di prompt

Proses perayapan bertahap di dalam loop agen

Masalahnya. "Temukan setiap halaman produk di situs ini dan ambil harganya" adalah salah satu niat pengguna — namun dalam kode agen, hal itu berarti 200 panggilan alat, antrian, lapisan deduplikasi, dan pemantauan batas waktu. Model tersebut menyia-nyiakan jendela konteks untuk pengelolaan URL yang seharusnya tidak pernah dilakukannya.

Bagaimana Yozh Scraper mengatasinya. Yozh Crawler menjelajahi situs dari sisi server, mengalirkan URL yang ditemukan melalui SSE, dan meneruskannya ke scraper setiap kali menemukan kecocokan. Agen tersebut dijalankan crawl_and_scrape sekali, lalu menerima satu aliran hasil terstruktur. Server mengelola antrian, sedangkan model mempertahankan konteksnya.

Streaming SSE
Antrean sisi server
Satu tool call

Cara kerjanya

Dari `docker compose up` ke alat panggilan agen — dalam 3 langkah

Satu titik akhir MCP, satu baris konfigurasi di klien Anda, tanpa kode penghubung. Alur yang sama berlaku untuk Claude Desktop, Cursor, Cline, atau loop agen Anda sendiri.

1 Aktifkan titik akhir MCP

Kloning repositori tersebut dan docker compose up. Server MCP sudah aktif di localhost:8000/mcp — scraper, crawler, sesi, dan preset semuanya secara otomatis tersedia sebagai alat.

# one-time setup
git clone 
  github.com/CyberYozh-data/yozh-scraper
cd yozh-scraper
docker compose up -d

2 Hubungkan ke klien Anda

Satu baris di claude_desktop_config.json (atau yang setara dengan Cursor / Cline). Mulai ulang klien — alat-alat akan terdeteksi secara otomatis, tanpa perlu wrapper per sumber.

{
  "mcpServers": {
    "yozh": {
      "type": "http",
      "url": "http://localhost:8000/mcp"
    }
  }
}

3 Biarkan agen menggunakan alat panggilan

Model tersebut memilih alat, mengisi parameter, dan menerima JSON terstruktur sebagai hasilnya. Sesi tetap aktif antar panggilan. Proses perayapan bertahap dilakukan secara streaming melalui SSE.

// claude calls scrape_page autonomously
{
  "tool":   "scrape_page",
  "input":  {"url": "…",
              "preset": "amazon_product"},
  "result": { /* structured JSON */ }
}

Contoh langsung

Apa yang Anda dapatkan — satu desain, untuk semua platform jual beli

Pilih salah satu preset untuk melihat seperti apa responsnya. Set bidang bervariasi tergantung sumbernya, tetapi bentuk permintaannya sama.

Resep

Bagaimana para agen menyusunnya — masing-masing dalam 10 baris

Tiga konfigurasi agen konkret, siap disalin. Mulai dari perintah satu baris di Claude Desktop hingga siklus LangChain yang lengkap — semuanya menggunakan titik akhir MCP yang sama.

1 Claude, agen riset desktop

Hubungkan Yozh ke Claude Desktop sekali saja. Minta model tersebut untuk meneliti suatu topik — model tersebut akan memilihnya scrape_page / crawl secara mandiri dan merangkum jawabannya.

# claude_desktop_config.json (~/Library/...)
{
  "mcpServers": {
    "yozh": {
      "type": "http",
      "url":  "http://localhost:8000/mcp"
    }
  }
}

# restart Claude · prompt:
# "compare ssd prices on amazon vs walmart"
# → claude calls scrape_page on each PDP

Transport HTTP penemuan tool otomatis tanpa glue code

2 Cursor Copilot dengan alat-alat web

Tambahkan server MCP yang sama ke Cursor — agen IDE Anda kini dapat mengambil dokumen real-time, memeriksa harga pesaing, atau mengekstrak jawaban dari Stack Overflow saat sedang membuat prompt.

# .cursor/mcp.json (project root)
{
  "mcpServers": {
    "yozh": {
      "type": "http",
      "url":  "http://localhost:8000/mcp"
    }
  }
}

# prompt in Cmd+L composer:
# "fetch the latest pricing from acme.com/plans
#  and update PricingTable.tsx"

config per-proyek endpoint MCP yang sama tool call di chat

3 Lingkaran LangChain / SDK Anthropic

Agen Python biasa — SDK Anthropic dengan mcp_servers daftar. Cukup satu URL HTTP, model akan mendapatkan semua alat Yozh. Cara kerjanya sama dengan adaptor MCP dari LangChain.

# anthropic SDK · plain python
client = Anthropic()
resp   = client.messages.create(
  model="claude-sonnet-4-5",
  mcp_servers=[{
    "type": "url",
    "url":  "https://your-host/mcp"
  }],
  messages=[{
    "role": "user",
    "content": "crawl docs.x.com, summarize"
  }],
)

Streaming SSE autopilot multi-tool orchestrator Anda

FAQ

Pertanyaan umum mengenai MCP dan integrasi agen

Klien MCP mana saja yang didukung?

Segala sesuatu yang mendukung protokol Model Context Protocol (MCP) dengan transportasi HTTP: Claude Desktop, Cursor, Cline, Continue, Zed, node MCP n8n, adaptor MCP LangChain, dan mcp_servers param. Titik akhir di localhost:8000/mcp adalah satu URL — Anda cukup mengarahkan salah satu dari mereka ke sana. Tidak perlu memelihara pembungkus khusus klien atau shim stdio.

Bagaimana cara mendaftarkan alat ke agen?

Penemuan otomatis melalui MCP. Saat klien terhubung ke /mcp, server akan menampilkan daftar semua alat yang tersedia beserta skema JSON-nya: scrape_page, scrape_batch, crawl, create_session, list_presets, generate_preset. Model mengenali alat-alat tersebut sebagai alat bawaan saat runtime — tanpa dekorator, tanpa skema manual. Fitur-fitur baru di hulu yozh-scraper akan muncul secara otomatis setelah proses pull berikutnya.

Apakah agen saya dapat melakukan pemindaian bertahap?

Ya — Yozh Crawler menjelajahi situs dari sisi server dan mengalirkan URL yang ditemukan melalui SSE. Agen tersebut dijalankan crawl sekali, dan menerima aliran peristiwa tunggal berisi hasil terstruktur seiring kedatangannya. Setiap proses perayapan mendukung cakupan (domain yang sama / host yang sama / daftar izinkan), RPS per domain, dan rantai opsional ke scraper sehingga setiap URL yang ditemukan diparsing sebelum masuk ke aliran. Pembatalan dengan DELETE /scrape/{id} — penghentian lunak membiarkan halaman yang sedang diproses selesai; penghentian paksa dilakukan melalui panggilan kedua.

Bagaimana sesi tetap tersimpan di antara panggilan-panggilan alat?

API Sesi. Buat sesi sekali saja menggunakan DSL login deklaratif (goto / fill / click / wait) atau dengan menempelkan cookie yang diekspor. Yozh menyimpan cookie + di storageState di sisi server dan memberi Anda ID yang tetap session_id. Setiap panggilan alat berikutnya yang menyertakan ID tersebut akan menggunakan kembali status browser yang sama — termasuk portal yang dilindungi 2FA, LinkedIn, dan admin mitra. TTL-nya 24 jam secara default, dan dapat diperbarui. Agen tidak pernah menyentuh kredensial; agen hanya meneruskan ID sesi yang diterimanya.

Bagaimana cara memperluas fungsionalitas dengan alat kustom?

Tiga pilihan. (1) Pengaturan khusus — masukkan berkas JSON ke dalam src/presets/custom/ atau panggil POST /api/v1/presets/generate dengan URL contoh dan biarkan LLM menyimpulkan skemanya. Preset tersebut akan muncul sebagai parameter pada scrape_page . (2) Alat MCP khusus — daftarkan handler Anda sendiri di src/mcp/tools/, dan handler tersebut akan ditambahkan ke daftar yang terdeteksi secara otomatis. (3) Fork — repositori ini berlisensi MIT, server MCP berada dalam satu modul Python (src/mcp/server.py) dan mudah untuk dikembangkan.

Alat-alat yang benar-benar bisa dihubungi oleh agen Anda

Agen membutuhkan alat web yang sesungguhnya, bukan pembungkus Python yang dibuat khusus

Alat Python khusus untuk setiap sumber

Panggilan alat tanpa status kehilangan konteks login

Otentikasi manual dan konfigurasi proxy dalam kode agen

Proses perayapan bertahap di dalam loop agen

Dari `docker compose up` ke alat panggilan agen — dalam 3 langkah

Apa yang Anda dapatkan — satu desain, untuk semua platform jual beli

Bagaimana para agen menyusunnya — masing-masing dalam 10 baris

Pertanyaan umum mengenai MCP dan integrasi agen

Siap memberikan alat yang benar-benar berguna kepada agen Anda?

Disukai oleh tim data dan pengembang AI

Alat-alat yang benar-benar bisa dihubungi oleh agen Anda

Agen membutuhkan alat web yang sesungguhnya, bukan pembungkus Python yang dibuat khusus

Alat Python khusus untuk setiap sumber

Panggilan alat tanpa status kehilangan konteks login

Otentikasi manual dan konfigurasi proxy dalam kode agen

Proses perayapan bertahap di dalam loop agen

Dari docker compose up ke alat panggilan agen — dalam 3 langkah

Apa yang Anda dapatkan — satu desain, untuk semua platform jual beli

Bagaimana para agen menyusunnya — masing-masing dalam 10 baris

Pertanyaan umum mengenai MCP dan integrasi agen

Siap memberikan alat yang benar-benar berguna kepada agen Anda?

Disukai oleh tim data dan pengembang AI

Dari `docker compose up` ke alat panggilan agen — dalam 3 langkah