Skip to main content

Cara Setting Robots.txt Aman dan Seo Friendly

Robots.txt
Halo Sobat Master Blogger,
Setelah baca :
 Pengertian Robots.txt di Blogger
Pastinya Sobat Master Blogger mau Men-setting Robots.txt kan ?
Saya akan membahas bagaimana cara setting Robots.txt secara Aman dan Seo Friendly
Dashbord Robots.txt http://indonesiamasterblogger.blogspot.co.id

 1. Masuk ke Dashboard blog sobat, kemudian Pilih Setelan

 2. Pilih Preferensi Penelusuran

 3. Lihat menu robots.txt khusus

 4. Pilih "EDIT"

 5. Kemudian pilih Script dibawah ini.

 6. Save
  • Script
Secara default Robot.txt bawaan Google adalah seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Penjelasan :
  • User-agen:t Mediapartners-Google : Menandakan blog ini adalah partner dari Google.
  • Disallow : Yang tidak diperbolehkan tidak ada.
  • User-agent: * :  User agent milik google, dan " * " bisa disebut semua jadi artinya Semua robot penelusuran milik google.
  • Disallow: /search : Tidak boleh merayapi halaman /search, seperti /search/label
  • Allow: / : Mengijinkan semua halaman, kecuali halaman /search karena terdapat di Disallow diatas.
  • Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED : adalah alamat FEED saya sendiri, atau bisa disebut Sitemap blog


Settingan Robots.txt Versi Pertama
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=updated
Artinya :
Semua artikel blog anda akan di index Robot Webcraw karena pada kode Disallow semua dikosongkan.

Settingan Robots.txt Versi Kedua
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=updated
Artinya :
Settingan default robots.txt, di Disallow terdapat link yang tidak diperbolehkan ketika Google merayapi.

Settingan Robots.txt Versi Ketiga
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED

 Artinya :
Nah ini settingan robots.txt untuk mencegah duplikat konten atau judul,khususnya duplikat konten yang terjadi dari Handphone/Mobile Phone.

 Bagaimana,Sobat MB mau pilih Settingan Robots.txt yang mana?
Labels:

Comments

  1. Fajar NindyoMarch 5, 2020 at 8:45 PM

    Ada pendapat yang menyatakan bahwa jika Blogger dimonetize adsense lalu diubah struktur file robot.txt-nya (bukan bawaan Blogger) maka dapat menganggu iklan adsense. Apakah betul demikian.

    ReplyDelete

Post a Comment

Popular posts from this blog

Pengertian User Friendly dalam Dunia Blog

User Friendly Halo sobat Master Blogger . Kemarin mimim Master Blogger sudah memposting Artikel Tentang : Pengertian Mobile Friendly Sekarang mimim Master Blogger akan membahas : Apa itu yang dimaksud dengan User Friendly ?  Mungkin dikalangan blogger yang masih belum tahu apa maksudnya atau arti dari kata ini. User Friendly merupakan suatu kondisi dimana kita bisa menggunakan sesuatu dengan mudah dan nyaman. Entah itu menggunakan software, operating system, sampai website. Pada jaman sekarang ini, segala sesuatunya sudah harus User Friendly, mulai dari penggunaan tools sehari-hari (software atau aplikasi), handphone, sampai internet. Jadi tidak salah sekarang banyak sekali kalangan yang mencari sesuatu yang dapat mempermudah hidup mereka atau tidak merepotkan mereka sama sekali. User Friendly adalah sesuatu Blog yang baik dan nyaman untuk para pembaca. Kenyamanan yang ditawarkan, seperti yang sudah Anda bayangkan semisal artikel mudah dibaca,,ramah pen
1 comment
Read more