Google untuk Pemilik Situs: Hapus Arahan Noindex dari Robots.txt , Google mengirimkan email kepada webmaster melalui Search Console yang memberitahukan mereka untuk menghapus pernyataan noindex dari file robots.txt.
Email tersebut berbunyi:
“Google telah mengidentifikasi bahwa file robots.txt situs Anda mengandung aturan “noindex” yang tidak didukung. Aturan ini tidak pernah didukung secara resmi oleh Google dan pada tanggal 1 September 2019 aturan ini akan berhenti berfungsi. Silakan lihat pusat bantuan kami untuk mempelajari cara memblokir halaman dari indeks Google.”
Pemberitahuan ini muncul hanya beberapa minggu setelah Google secara resmi membatalkan dukungan untuk aturan noindex.
Untuk saat ini, Googlebot masih mematuhi arahan noindex dan akan terus melakukannya hingga tanggal 1 September. Pemilik situs kemudian harus menggunakan alternatif lain.
Secara teknis, seperti yang dinyatakan dalam email, Google tidak pernah berkewajiban untuk mendukung aturan noindex sejak awal. Ini adalah aturan tidak resmi yang diadopsi Google ketika mulai digunakan secara luas oleh pemilik situs.
Kurangnya seperangkat aturan standar untuk robots.txt adalah masalah lain – masalah yang sedang diupayakan oleh Google untuk diselesaikan.
Sampai saat daftar aturan standar dibuat, mungkin yang terbaik adalah tidak hanya mengandalkan aturan tidak resmi.
Berikut ini beberapa opsi lain untuk memblokir halaman agar tidak diindeks:
Tag meta noindex secara langsung di dalam kode HTML halaman
Kode status HTTP 404 dan 410
Perlindungan kata sandi
Melarang di robots.txt
Konsol Penelusuran Alat Hapus URL
SEO Berita