Cara Setting Robot.txt Dan Tag Tajuk Robot Khusus Bawaan Blogspot
Sebelum saya membahas inti dari judul artikel ini, saya akan menjelaskan apa itu Robot.txt. Yang saya dapat dari berbagai sumber Robot.txt merupakan sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari seperti google, yahoo, dan bing.
Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Lalu bagaimana cara kerja pada robot.txt itu sendiri?
Ketika situs kalian berdomain namadomain.com maupun yang masih menggunakan blogspot.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada saat robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi adalah robots.txt.
Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html bila kalian sudah mendaftarkan domain pada blog kalian, dan untuk yang masih menggunakan blogspot kalian cukup setting yang berada di settingan akun blogspot blog tersebut.
File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melakukan tugasnya.
Sama halnya dengan website, Blog juga memiliki file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt. Di bawah ini adalah salah satu contoh robot.txt bawaan blogspot.
Bila kalian ingin mencoba nya silahkan kalian copy settingan di atas dan ganti cop4sberita.blogspot.com dengan nama blog kalian.
Di bawah ini saya akan menjelaskan masing - masing dari isi robot.txt tersebut.
Lihat contoh seperti gambar di bawah ini.
Itu lah Cara Setting Robot.txt Dan Tag Tajuk Robot Khusus Bawaan Blogspot yang bisa saya bagikan pada artikel kali ini. Semoga artikel ini bisa bermanfaat buat sobat blogger yang sedang mencari Cara setting robot.txt dan tajuk robot khusus di blogspot. Selamat mencoba!
Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Lalu bagaimana cara kerja pada robot.txt itu sendiri?
Ketika situs kalian berdomain namadomain.com maupun yang masih menggunakan blogspot.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada saat robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi adalah robots.txt.
Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html bila kalian sudah mendaftarkan domain pada blog kalian, dan untuk yang masih menggunakan blogspot kalian cukup setting yang berada di settingan akun blogspot blog tersebut.
File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melakukan tugasnya.
Sama halnya dengan website, Blog juga memiliki file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt. Di bawah ini adalah salah satu contoh robot.txt bawaan blogspot.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://cop4sberita.blogspot.com/feeds/posts/default?orderby=UPDATED
Bila kalian ingin mencoba nya silahkan kalian copy settingan di atas dan ganti cop4sberita.blogspot.com dengan nama blog kalian.
Di bawah ini saya akan menjelaskan masing - masing dari isi robot.txt tersebut.
- User-agent: Mediapartners-Google
Berfungsi sebagai Mediapartners-Google yaitu seperti AdSense. - Disallow:
Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs. - User-agent: *
Ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’). - disallow: /search
Melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search. - allow: /
Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow. - Sitemap:
Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.
Lalu bagaimana bara mengaktifkan dan setting Robot.txt?
- Log in ke blogger dengan akun blogger anda.
- Klik setelan -> Preferensi penelusuran / Search preferences.
- Pada tab perayap dan pengindeksan pilih robot.txt.
- Dan masukkan settingan robot.txt bawaan blogspot yang sudah saya sertakan kode di atas.
- Lalu klik simpan
Lihat contoh seperti gambar di bawah ini.
Lalu Bagaimana Cara setting Tag Tajuk Robot Khusus?
- Masih di menu setelan -> Search preferences / Preferensi penelusuran.
- Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
- Pilih Yes/Ya.
- Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini:
Note : Settingan robot.txt dan tajuk robot khusus di atas menurut saya sudah cukup SEO. Karena saya sendiri menggunakan settingan tersebut pada blog ini. Jadi saya rasa tidak ada salah nya bila kalian mencoba nya.
Itu lah Cara Setting Robot.txt Dan Tag Tajuk Robot Khusus Bawaan Blogspot yang bisa saya bagikan pada artikel kali ini. Semoga artikel ini bisa bermanfaat buat sobat blogger yang sedang mencari Cara setting robot.txt dan tajuk robot khusus di blogspot. Selamat mencoba!