Google akan bekerja pada protokol Robots.txt pelengkap

Google pengumuman tadi malam dia ingin mengembangkan protokol pelengkap untuk protokol robots.txt yang berusia 30 tahun. Ini karena semua teknologi AI generatif baru yang dirilis Google dan perusahaan lain.

Pengumuman ini datang tak lama setelah Open AI mengumumkan mengakses konten berbayar untuk layanan ChatGPT-nya. Tapi saya tahu banyak dari Anda tidak terkejut bahwa Google dan lainnya sedang mengeksplorasi alternatif untuk robots.txt dengan semua teknologi AI generatif ini yang beredar di web.

Tidak ada yang berubah hari ini, semua yang diumumkan Google adalah bahwa dalam “beberapa bulan ke depan” mereka akan mengadakan diskusi dengan “komunitas” untuk menghasilkan ide-ide baru untuk solusi baru.

Google menulis, “Hari ini kami meluncurkan diskusi publik, mengundang anggota komunitas web dan AI untuk mempertimbangkan pendekatan protokol pelengkap. Kami ingin berbagai suara di antara penerbit web, masyarakat sipil, akademisi, dan bidang lain di sekitar dunia untuk bergabung dalam diskusi, dan kami akan mengumpulkan mereka yang ingin berpartisipasi dalam beberapa bulan mendatang.”

Google menambahkan bahwa mereka percaya “sudah waktunya bagi komunitas web dan AI untuk mengeksplorasi cara tambahan yang dapat dibaca mesin untuk pilihan dan kontrol penerbit web untuk kasus penggunaan web yang muncul.” ‘AI dan penelitian’.

Apa artinya semua ini sekarang, saya tidak tahu. Tapi di sini ada beberapa tanggapan atas tweet saya tentang hal itu:

Bagaimana dengan mengizinkan ekspresi reguler di robots.txt? Saya yakin itu akan menyelesaikan 75% dari tantangan arahan perayapan yang dialami SEO.

—Eric Heiken (@EricHeiken) 6 Juli 2023

Saya pikir itu berfungsi dengan baik, meskipun mungkin setelah 30 tahun itu akan menjadi robots.xml atau sesuatu seperti banyak hal telah ditambahkan, dan file terstruktur mungkin lebih rentan terhadap kesalahan yang tidak disengaja

— Milos Mileusnić (@mileusna) 6 Juli 2023

“Sekarang kami telah melatih LLM kami pada semua konten hak milik dan hak cipta Anda, kami akhirnya akan mulai berpikir untuk memberi Anda cara untuk menyisih dari semua konten masa depan Anda untuk digunakan menghasilkan uang bagi kami.” https://t.co/dda8hHQPfq

— Barry Adams 📰 (@badams) 6 Juli 2023

Gary Illyes dari Google, yang telah mengerjakan protokol ini selama bertahun-tahun, menulis tentang LinkedIn“Sudah waktunya. Hampir 30 tahun yang lalu, robots.txt lahir dan telah melayani Internet dengan baik selama ini. Dengan teknologi AI yang muncul, kita perlu melengkapinya dengan instruksi (aturan) baru yang dirancang khusus untuk aplikasi AI.”

Dan John Muller:

Saya senang melihat ini terjadi. https://t.co/UTdmeCVwhl

— John Mueller (resmi) Bukan #30D (@JohnMu) 6 Juli 2023

Hari ini, kami meluncurkan diskusi publik untuk mengeksplorasi cara yang dapat dibaca mesin untuk memilih dan mengontrol editor web untuk AI yang muncul dan kasus penggunaan pencarian. Pelajari lebih lanjut tentang upaya ini, termasuk cara bergabung dalam diskusi dengan mendaftar: https://t.co/iF9WNyhN3O

— Google SearchLiaison (@searchliaison) 6 Juli 2023

Jika Anda ingin berpartisipasi, selesaikan formulir ini.

Apakah ada di antara Anda yang punya ide?

Forum diskusi di Twitter.