Kenapa Index Google Susah : Mungkin Sebab Crawl Rate Limit

  • by

Salah satu hal yang cukup mengganggu untuk perkembangan website adalah soal index artikel yang lama…

Saya pun mengalami hal ini untuk beberapa website saya…

Kenapa index Google lama…?

Ada beberapa alasan kemungkinan kenapa hal ini terjadi,.. salah satu yang paling mungkin adalah masalah Crawl Rate Limit

Crawl rate limit adalah batasan spiderbot untuk merayapi website kita…

google memberikan batasan crawl agar tidak membebani server website… karena jika crawl berlangsung terus menerus dengan intensitas tinggi, maka ini bisa membuat server kita down dan mengganggu visitor yang berkunjung ke website kita.

Bagaimana Crawler menentukan rate crawlingnya di website…?

Salah satu hal yang mempengaruhi crawling rate adalah kemampuan server website kita…

Kalo di Google Search sentral google menyebutnya ” Crawl Health”

DImana batasan sering tidaknya crawling ditentukan oleh kemampuan server website untuk dibebani crawler…

Jika server website merespon dengan cepat ketika di crawl, maka limit crawler akan ditambah, karena google merasa website tersebut kuat untuk di crawl lebih sering dan lebih intens.

Jika server melambat, atau malah error ketika crawling, maka google akan menurunkan limit crawl nya menyesuaikan dengan kemampuan server, sehingga google akan mengcrawl lebih jarang.

Apa hubunganya limit crawling dengan kecepatan index?

Hubunganya tentu saja sangat erat….

Website yang memiliki limit crawl yang tinggi akan lebih sering di crawl oleh google sehingga indexnya pun lebih cepat…

Sedangkan website yang memiliki limit crawl rendah akan jarang di crawl oleh google sehingga index lebih lambat.

Google juga menyesuaikan jadwal crawl ke website berdasarkan seberapa sering website tersebut mengupdate konten nya…

Selain itu juga, popularitas website di internet juga mempengaruhi crawling, website populer akan lebih sering di crawl, intinya sih yang backlinknya banyak.

lalu ada beberapa faktor lain yang bisa mempengaruhi adalah

Pertanyaan selanjutnya adalah…

Bagaimana biar website kita lebih tinggi limit crawlnya, dan lebih cepat di index?

Ya intinya sih pakek saja server yang cepat dan kuat, dan juga optimasi website sehingga cepat di akses….

Jika saat ini anda masih pakek hosting murahan, anda bisa mengupgrade hosting anda menjadi VPS atau hosting yang lebih kuat. Jangan lupa untuk mengoptimasi pagespeed anda, karena ini bisa mempengaruhi crawl limit juga.

Lalu anda juga bisa untuk meningkatkan popularitas website anda dengan cara link building dan juga marketing.

Semakin populer website anda, maka demand crawling akan meningkat, sehingga website anda bisa lebih sering di crawl juga.

Ini cuma catetan untuk dokumentasi…. saya belum begitu berkompeten untuk menjawab seputar crawl budget ini….

sumber : https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot