Atasi Masalah Robot.txt Pada Blog

Atasi Masalah Robot.txt Pada Blog. Ya begitulah entri blogging kali ini. Memandangkan hari tu di Facebook Group Biters ada yang bertanya kena ada sesetengah resources dihalang oleh robot.txt configuration, maka aku mahu berkongsi cara mudah untuk atasi masalah robot.txt pada blog agak segala resources tidak dihalang untuk diakses oleh search engine.

Sebelum itu, mungkin ada yang tidak faham kepentingan robot.txt di dalam blog / website anda, dan apa fungsi robot.txt ini. Adakah robot.txt penting atau tidak?

Jawapannya, robot.txt adalah penting untuk blog/website anda.

Robot.txt ialah satu kod yang memberitahu Search Engine untuk CRAWL / CRAWLING ke dalam blog menggunakan spider supaya blog / url boleh di-INDEKS.

Penting sangat blog boleh di-INDEKS agar ianya dapat muncul di halaman pencarian SEARCH ENGINE.

Rasanya sehingga part di atas ni korang dah boleh faham kepentingan dan kegunaan robot.txt kan.

Gambar Asal : Pexel.com

Ada sesetengah laman web tidak mementingkan robot.txt kerana mereka sudah mempunyai pembaca / trafik yang sangat tinggi sehingga tanpa robot.txt pun, mereka mudah ditemui di search engine, ataupun semua konten URL laman web tersebut sudah terindeks (melalui pemeriksaan di Google Search Console), jadi robot.txt dalam kes ini tidak begitu diperlukan lagi.

Tapi untuk kes laman web yang kejap URL nya terindeks, kejap tidak - penggunaan robot.txt ini (bagi pendapat aku) sememangnya penting.

Jadi, bagaimana untuk atasi masalah robot.txt pada blog yang menghalang spider untuk crawl blog tersebut?

Korang boleh cuba tips yang aku sharekan di sini ya. 

Dulu aku pun ada masalah kena sekat juga dgn robot.txt ni, so lepas godek godek di Google atasi robot.txt, ramai juga yang share sebenarnya cara atasi masalah robot.txt pada blog - cumanya kena cari yang boleh beri kefahaman kepada korang so that bila korang faham, korang akan mudah sangat ingat sharing tersebut.

Cara Atasi Masalah Robot.txt Pada Blog

1. Pergi SETTING pada blogger dashboard

2. Cari Crawlers and Indexing - Enable custom robot.txt dan Enable customs robots header tags (pastikan berwarna hijau seperti gambar di bawah)

3. Copy Paste perkataan di bawah pada ruang >>> Custom robot.txt

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://www.mrspip.com/feeds/posts/default?orderby=UPDATED

4. Ganti tulisan berwarna merah dengan URL blog masing-masing

5. Klik Home page tags >>> hijaukau / pilih >>> all , noodp

6. Klik Archive and search page tags >>> hijaukan / pilih >>> noindex , nosnippet

7. Klik Post and page tags >>> hijauykan / pilih >>> all , noodp

8. Dan jangan lupa juga untuk hantar SITEMAP di Google Search Console. Boleh baca tutorial Cara Hantar Sitemap ke Google Search Console

Semoga perkongsian cara atasi masalah robot.txt pada blog korang berjaya di atasi.

I share jer, kalau korang tak berjaya buat, hope korang boleh Google pula cari tutorial yang lain.

Thanks for reading.

cheers.