Robots.txt |
Halo Sobat Master Blogger,
Setelah baca :
Pengertian Robots.txt di BloggerPastinya Sobat Master Blogger mau Men-setting Robots.txt kan ?
Saya akan membahas bagaimana cara setting Robots.txt secara Aman dan Seo Friendly
Dashbord Robots.txt http://indonesiamasterblogger.blogspot.co.id |
1. Masuk ke Dashboard blog sobat, kemudian Pilih Setelan
2. Pilih Preferensi Penelusuran
3. Lihat menu robots.txt khusus
4. Pilih "EDIT"
5. Kemudian pilih Script dibawah ini.
6. Save
- Script
User-agent: Mediapartners-GooglePenjelasan :
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED
- User-agen:t Mediapartners-Google : Menandakan blog ini adalah partner dari Google.
- Disallow : Yang tidak diperbolehkan tidak ada.
- User-agent: * : User agent milik google, dan " * " bisa disebut semua jadi artinya Semua robot penelusuran milik google.
- Disallow: /search : Tidak boleh merayapi halaman /search, seperti /search/label
- Allow: / : Mengijinkan semua halaman, kecuali halaman /search karena terdapat di Disallow diatas.
- Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED : adalah alamat FEED saya sendiri, atau bisa disebut Sitemap blog
Settingan Robots.txt Versi Pertama
User-agent: Mediapartners-GoogleArtinya :
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=updated
Semua artikel blog anda akan di index Robot Webcraw karena pada kode Disallow semua dikosongkan.
Settingan Robots.txt Versi Kedua
User-agent: Mediapartners-GoogleArtinya :
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=updated
Settingan default robots.txt, di Disallow terdapat link yang tidak diperbolehkan ketika Google merayapi.
Settingan Robots.txt Versi Ketiga
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://indonesiamasterblogger.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Artinya :
Nah ini settingan robots.txt untuk mencegah duplikat konten atau judul,khususnya duplikat konten yang terjadi dari Handphone/Mobile Phone.
Bagaimana,Sobat MB mau pilih Settingan Robots.txt yang mana?
Ada pendapat yang menyatakan bahwa jika Blogger dimonetize adsense lalu diubah struktur file robot.txt-nya (bukan bawaan Blogger) maka dapat menganggu iklan adsense. Apakah betul demikian.
ReplyDelete