Belakangan ini marak bermunculan tools tools AI yang dapat memudahkan dalam mengenerate konten secara otomatis. Penggunaan tools AI dalam melakukan crawling (pengambilan data) pada situs web Anda dapat memiliki beberapa potensi bahaya, tergantung pada bagaimana alat tersebut digunakan. Namun bila kita perhatikan lebih lanjut ada beberapa tools AI yang tidak memberikan referensi dari mana asal informasi tersebut di crawling dari suatu website. Tentunya hal ini merugikan karena nyata nya tools AI tidak akan pernah melirik website kita sebagai sumber informasi rujukan apalagi memberi nilai backlink ke website Kita. Para pengguna tools AI hanya mungkin beranggapan bahwa bahwa tools AI yang mereka gunakan dapat berpikir sendiri untuk mengenerate konten secara otomatis, padahal nyata nya mereka mengambil referensi dari website orang lain.
Berikut beberapa bahaya crawling oleh tools AI, yang pertama hal ini dapat melanggar privasi yang berimbas kepada reputasi buruk bagi bisnis Anda. Yang kedua dari sisi server, website yang sering di crawling secara masif oleh tools AI dapat menyebabkan beban berlebih pada server. Sehingga mengakibatkan situs web Anda menjadi lambat atau bahkan tidak dapat diakses. Dan yang terakhir yaitu pengambilan informasi tanpa izin, yang juga dapat memberikan kerugian binis.
Untuk mengatasi hal ini ada baik nya kita blokir saja robot AI dalam melakukan crawling informasi di website kita. Salah satu cara block robot AI yaitu melalui robots.txt. Bila Anda menggunakan CMS wordpress Anda boleh coba menambahkan command berikut pada file robots.txt
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: MAZBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: proximic
Disallow:
User-agent: ChatGPT-User
Disallow: /
Perintah diatas dapat anda masukkan ke dalam aplikasi pihak ketiga (plugin SEO) yang mungkin Anda gunakan. Hal ini harapannya berdampak pada mengontrol akses dan pembatasan akses oleh tools AI yang tidak diinginkan. Sekian semoga bermanfaat
Leave a Reply