Ketika menyangkut crawling(perayapan) web, Googlebot merayapi beberapa laman dengan frekuensi tinggi, dengan banyak perayapan per hari, sementara laman lain dapat berbulan-bulan di antara kunjungan Googlebot. John Mueller dari Google membuat beberapa komentar menarik mengenai halaman web yang jarang dijelajahi dan mengapa hal itu mungkin terjadi, dan jika itu menjadi perhatian untuk SEO.

Pertama, dia mengatakan bahwa perayapan secara teratur bukanlah persyaratan untuk setiap halaman yang jarang dijelajahi untuk peringkat atau terlihat dalam hasil pencarian. Jadi hanya karena Googlebot tidak merayapi laman harian, mingguan, atau bahkan bulanan, bahwa Google akan mengecualikan laman dari hasil penelusuran.

“Saya kira periode merangkak baik-baik saja untuk hal-hal seperti itu. Perayapan reguler bukanlah persyaratan untuk visibilitas atau peringkat dalam penelusuran.”

Namun, kurangnya Googlebot merayapi URL tertentu secara teratur terkadang dapat menjadi sinyal bahwa ada masalah kualitas. “Kami tahu di laman dengan tautan berkualitas rendah yang dapat membawa Googlebot beberapa waktu untuk merayapi kembali URL tersebut untuk tujuan penolakan. Namun, Googlebot juga dapat merayapi halaman hijau yang berkualitas lebih jarang, terutama ketika halaman statis dengan riwayat tidak mengalami perubahan saat Googlebot merayapi.”

Alasan jarang crawling terhadap situs

Namun, dalam kasus yang ditanggapi oleh John Mueller, pemilik situs menyatakan bahwa laman yang jarang dijelajahi juga mendapatkan persentase kecil lalu lintas, yang berarti kualitasnya rendah atau laman Google difilter karena duplikat – sesuatu yang cukup umum di situs e-commerce dengan produk yang mendekati identik.

(Seringkali jumlah URL juga menyesatkan, terutama di e-commerce banyak yang sering “tidak perlu” URL; filter / penyortiran / dll)

Jadi jika Anda memiliki laman yang jarang dirayapi oleh Googlebot, itu tidak berarti Google tidak akan menampilkan atau memberi peringkat pada mereka di hasil penelusuran mereka. Namun disarankan untuk melihat apakah ada alasan mendasar yang menyebabkan Googlebot merayapinya lebih jarang, yang dapat memengaruhi seberapa baik peringkatnya. Perlu dikaji lebih lanjut mengenai permasalahan ini – bukan tidak memungkinkan ada sesuatu yang salah pada situs Anda sehingga perayapan jarang menghampiri situs Anda.