Jakarta – Jika Anda merasa khawatir tentang bot AI yang mengikis konten situs web Anda untuk melatih AI, Cloudflare hadir dengan solusi yang bisa membantu Anda melawan balik. Perusahaan yang mengklaim memproxy sekitar 20% dari web ini telah memperkenalkan alat baru yang memblokir semua bot AI dari mengikis teks situs. Cloudflare mengatakan alat ini tersedia untuk semua pelanggan, bahkan mereka yang menggunakan layanan gratis.
Kebutuhan Konten untuk AI Generatif
Dengan meningkatnya AI generatif, perusahaan membutuhkan konten untuk melatih chatbot mereka. Banyak yang beralih ke web scraper yang menarik teks dari situs untuk analisis (seperti yang dilakukan ChatGPT dengan postingan Reddit Anda). Beberapa perusahaan jujur tentang bot web-scraping mereka, tetapi beberapa tidak.
Fitur Blokir Bot AI “Buruk”
Cloudflare merilis fitur pada September lalu untuk pengguna agar bisa memblokir crawler web AI “buruk”, atau yang mengikis situs tanpa izin. Tentu saja, beberapa perusahaan menemukan cara untuk mengatasi ini dengan memiliki scraper yang berpura-pura menjadi yang otentik. Itulah mengapa alat baru ini memblokir semua crawler AI, bahkan yang mengikuti protokol yang benar untuk scraping.
Statistik Penggunaan Bot AI
Pada Juni 2024, bot AI mengakses sekitar 39% dari satu juta “properti internet” teratas yang menggunakan Cloudflare, kata perusahaan tersebut. Kurang dari 3% dari properti tersebut mengambil langkah untuk memblokir bot AI. Menurut Cloudflare, empat bot teratas yang mengikis situsnya adalah Bytespider, Amazonbot, ClaudeBot, dan GPTBot.
Bot AI Teratas yang Mengikis Situs
- Bytespider: Dimiliki oleh Bytedance, perusahaan yang memiliki TikTok, digunakan untuk mengumpulkan data pelatihan untuk model bahasa besar mereka, termasuk pesaing ChatGPT, Doubao.
- Amazonbot: Digunakan untuk melatih sisi tanya jawab dari Alexa.
- ClaudeBot: Melatih Claude AI.
- GPTBot: Melatih ChatGPT.
Cara Menggunakan Alat Blokir Bot AI di Cloudflare
Jika Anda pengguna Cloudflare, menggunakan alat ini sangat mudah. Cukup masuk ke bagian pengaturan di dashboard Anda, lalu klik “Security” dan “Bots.” Dari sana, Anda akan melihat tombol toggle yang diberi label “AI Scrapers and Crawlers.” Aktifkan, dan bot ridak akan bisa mengakses konten anda.
Evolusi Alat Blokir Bot AI
Tentu saja, bot AI terus berkembang. Cloudflare mengatakan fitur ini juga akan otomatis berkembang seiring dengan deteksi “sidik jari” dari bot yang melanggar.
Ketersediaan Alat Baru
Alat baru ini tersedia sekarang untuk semua pengguna Cloudflare mulai hari ini.
Dengan alat baru ini, Cloudflare memberikan solusi yang sangat dibutuhkan untuk melindungi konten situs web dari pengikisan oleh bot AI. Jadi, jika Anda ingin menjaga konten Anda tetap aman, pastikan untuk memanfaatkan fitur ini.
