Cara Aktifkan Kustom file Robots.txt di Blogger

Robot.txt

Robot.txt adalah cara untuk memberitahu mesin pencari apakah mereka memungkinkan untuk mengindeks halaman dalam hasil pencarian atau tidak. Bot yang otomatis, dan sebelum mereka bisa mengakses situs Anda, mereka memeriksa file Robot.txt untuk memastikan apakah mereka diizinkan untuk menjelajah halaman ini atau tidak. Kadang, orang tidak ingin berhenti mencari mesin dari merangkak seluruh situs web mereka. Di sisi lain, mereka ingin menentukan beberapa halaman, yang tidak harus diindeks dalam hasil pencarian. Oleh karena itu, hari ini di artikel ini, kami akan menunjukkan Cara Aktifkan Kustom file Robots.txt di Blogger?

Pertama-tama, pergi ke Blogger.com >> situs Anda >> Setting >> mesin pencari Preferensi >> crawler dan pengindeksan. Sekarang Anda akan dapat melihat dua pilihan yaitu robots.txt Kustom dan Custom robot tag header. Kedua pilihan akan memberikan Anda fleksibilitas untuk menyesuaikan file robot.txt Anda.

• Kustom robots.txt: Opsi ini memberikan Anda kemampuan untuk mengedit file robot.txt seluruh Anda. Anda hanya dapat mengetik konten Anda apakah Anda ingin konten yang akan dijelajahi oleh spider atau tidak. Namun, Anda selalu dapat membatalkan tindakan Anda dan selalu dapat kembali ke normal.
• Kustom robot Header tags: Pilihan ini sedikit selesai. Ini tidak memberikan Anda kemampuan untuk menulis kode Anda, bukan menyediakan beberapa pilihan dengan kotak centang. Jadi, jika tidak tahu tentang tag kepala kemudian tinggal jauh dari itu.

Sekarang Anda harus mengaktifkan file robot.txt kustom sehingga tekan tombol edit yang hadir di samping "Custom robots.txt" pilihan. Setelah memilih tombol edit, itu akan meminta Anda untuk mengaktifkan konten robots.txt kustom lalu tekan "Yes" dan lanjutkan ke langkah berikutnya.

Di area teks, ketik konten yang ingin Anda kecualikan dari yang dijelajahi. Setelah mengedit file sesuai dengan kebutuhan Anda, tekan tombol simpan untuk menyimpulkan. Namun, jika Anda ingin kembali ke file robot standar kemudian, Anda dapat memilih "Tidak" bukan "Ya.

Untuk Contoh:

User-agent: *
Disallow: /about
User-agent: *
Disallow: /contact
User-agent: *
Disallow: /services

Kami berharap tip ini akan membantu Anda. Jika Anda mengalami masalah apapun mengenai merangkak kemudian, jangan ragu untuk meninggalkan pertanyaan Anda di komentar di bawah dan ahli kami akan mencoba untuk membantu Anda dalam memecahkan masalah tersebut.