Banyak sekali penggunaan meta robot
yang bisa membantu optimasi blog maupun situs kita dari segi onpage,
namun apabila kita salah dalam penggunaanya maka SEO blog kita akan
menurun secara drastis dan kurang maksimal.
Berikut beberapa fungsi dan dampaknya dalam pengunaan Meta robot search engine yang bisa membantu kalian mencegah dan menghindari kesalahan dalam SEO.
1. Robots.txt.
Robots.txt (alias Robot Exclusion Standard) adalah file teks khusus yang ditempatkan di root folder dari sebuah halaman html situs web (misalnya: www.namadomain.com / robots.txt). Hal ini digunakan oleh Webmaster untuk memberikan instruksi atau perintah tentang situs Web mana yang harus di jelajahi dan tidak boleh di jelajahi oleh spider dan web crawler. Salah satu penggunaan yang umum dari robots.txt ini adalah untuk mencegah mesin pencari merangkak ke sebuah halaman tertentu atau folder.
berikut beberapa pertanyaan dan jawaban umum tentang robots.txt.
#. Pertanyaan:
Saya blokir sebuah halaman / folder / situs web dengan menggunakan robots.txt. Apakah robot search engine Google akan / Bing / Yahoo menjelajah halaman tersebut?
Jawaban.
Tidak, robot search engine tidak akan menjelajahi halaman tersebut. Seluruh Search Engine akan menghormati perintah Robots.txt(Robot Exclusion Standard). hal ini di lakukan agar situs maupun blog kita bisa terhindar dari spamboot.
#. Pertanyaan.
Saya menggunakan robots.txt untuk memblokir halaman / folder / website. Apakah akan muncul dalam hasil pencarian serach engine?
Jawaban.
YA! Memblokir halaman tertentu atau bagian dari situs Anda dengan menggunakan robots.txt tidak berarti bahwa situs tersebut tidak akan muncul di Hasil Search Engine. Halaman tidak akan dijelajahi oleh mesin pencari tetapi jika mereka menemukan informasi yang cukup tentang halaman / situs di DMOZ atau di link dari halaman lain, mereka akan menunjukkannya dalam hasil pencarian.
NB:
Judul dan data yang di blokir menggunakan robots.txt yang ditemukan di SERP akan didasarkan pada informasi mesin pencari yang dikumpulkan dari situs-situs lain.
#. Pertanyaan.
Saya diblokir halaman internal dengan robots.txt,apakah masih bisa mendapat PageRank?
Jawaban.
YA! Algoritma PageRank tidak mempertimbangkan apakah halaman diblokir oleh robots.txt, sehingga link masuk yang mengarah ke halaman tersebut menjadi backlink asal berkualitas dan relevan.
2. META-robots.
META-tag menentukan apakah halaman tertentu harus diindeks dan apakah link keluar harus diikuti. Nilai standart dari tag ini adalah "indeks, ikuti" yang berarti bahwa halaman ini diperbolehkan untuk diindeks dan semua link harus diikuti (kecuali link yang memiliki rel = "nofollow" di dalamnya). Nilai-nilai yang valid dari tag META-adalah: indeks dan noindex, follow dan nofollow,
berikut beberapa pertanyaan dan jawaban umum tentang META-robot:
#. Pertanyaan.
Saya blokir halaman dengan menggunakan noindex META-robot. Apakah search engine Google / Bing / Yahoo akan meload halaman tersebut?
Jawaban:
Tentu saja TIDAK! Anda tidak harus bingung dengan persyaratan merangkak dan mengindeks halaman tersebut. Ini adalah satu hal untuk mendapatkan halaman yang dijelajahi oleh mesin pencari dan hal yang sama sekali berbeda untuk diindeks, setelah mesin pencari menjelajah halaman web, mereka akan mengidentifikasi nilai meta noindex robot dan mereka tidak akan mengindeks. Ini berarti bahwa halaman ini tidak akan pernah muncul dalam hasil mesin pencari.
#. Pertanyaan:
Saya agak bingung dengan nilai link follow dan nofollow? Bagaimana mereka mempengaruhi distribusi PageRank?
Jawaban:
Nilai tindak berarti bahwa semua link yang ditemukan dalam aliran PageRank halaman (kecuali atribut di dalamnya yang yang mengandung rel = "nofollow" ).dengan demikian PageRank dari halaman ini tidak akan mengalir keluar. Ini berarti bahwa halaman yang di blokir semua link dengan menggunakan nilai meta robot nofollow tidak akan mendapat pagerank.
#. Pertanyaan:
Saya diblokir halaman internal dengan META-robot noindex, ia akan menerima PageRank?
Jawaban:
YA! Seperti yang telah disebutkan sebelumnya, algoritma PageRank tidak mempertimbangkan apakah halaman diblokir oleh robots.txt atau meta-robot, sehingga link masuk yang mengarah ke halaman tersebut menjadi sebuah backlink. Perbedaan utama dengan robots.txt adalah bahwa halaman yang menggunakan nilai META-robot noindex, dapat mengalir PageRank ke halaman lain jika nilai tidak digunakan. Ini berarti bahwa jika link halaman mereka diikuti oleh robots.txt atau meta-robot, PageRank tetap tidak akan mengalir keluar.
3. rel=”nofollow”
Rel = "nofollow" atribut digunakan dalam anchor link yang ingin kita blok sehingga link tidak mengalir ke halaman target.
berikut beberapa pertanyaan dan jawaban umum tentang rel = nofollow:
#. Pertanyaan:
Saya blokir semua link dari situs saya yang mengarah ke halaman tertentu dengan menggunakan rel = nofollow.apakah Google / Bing / Yahoo merangkak dan mengindeks halaman tersebut?
Jawaban.
Nofollowing semua link dari situs Anda yang mengarah ke halaman tertentu (internal atau eksternal), tidak berarti bahwa mesin pencari tidak akan dapat mengindeks halaman target. Jika mereka menemukan link dofollow menunjuk ke halaman tersebut, mereka akan merangkak dan mengindeks .
Jadi rel = nofollow tidak boleh digunakan sebagai cara untuk mencegah pengindeksan halaman.
#. Pertanyaan:
Apakah mesin pencari merangkak link yang diblokir dengan rel = nofollow?
Jawaban:
Secara teoritis mesin pencari tidak merangkak halaman target link yang beratribut nofollow sampai mereka menemukan setidaknya satu link diikuti yang menunjuk ke halaman tersebut.
Intinya link dengan atribut rel="nofollow" tidak lulus PageRank apapun untuk halaman target.
Ringkasan:
Kita harus berhati-hati ketika menggunakan robots.txt dan META-robot karena dapat mempengaruhi situs maupun blog baik dari segi , pengindeksan dan hasil pencarian di search engine, cara terbaik untuk mencegah halaman muncul dalam hasil pencarian adalah dengan menggunakan noindex dan penggunaan META-robot. Dengan cara ini tidak hanya halaman tidak akan muncul di SERP tetapi juga sebagian besar PageRank dari halaman akan lolos ke halaman lain dari situs melalui link yang keluar.
Untuk cara setingnya akan saya bahas nanti
Berikut beberapa fungsi dan dampaknya dalam pengunaan Meta robot search engine yang bisa membantu kalian mencegah dan menghindari kesalahan dalam SEO.
1. Robots.txt.
Robots.txt (alias Robot Exclusion Standard) adalah file teks khusus yang ditempatkan di root folder dari sebuah halaman html situs web (misalnya: www.namadomain.com / robots.txt). Hal ini digunakan oleh Webmaster untuk memberikan instruksi atau perintah tentang situs Web mana yang harus di jelajahi dan tidak boleh di jelajahi oleh spider dan web crawler. Salah satu penggunaan yang umum dari robots.txt ini adalah untuk mencegah mesin pencari merangkak ke sebuah halaman tertentu atau folder.
berikut beberapa pertanyaan dan jawaban umum tentang robots.txt.
#. Pertanyaan:
Saya blokir sebuah halaman / folder / situs web dengan menggunakan robots.txt. Apakah robot search engine Google akan / Bing / Yahoo menjelajah halaman tersebut?
Jawaban.
Tidak, robot search engine tidak akan menjelajahi halaman tersebut. Seluruh Search Engine akan menghormati perintah Robots.txt(Robot Exclusion Standard). hal ini di lakukan agar situs maupun blog kita bisa terhindar dari spamboot.
#. Pertanyaan.
Saya menggunakan robots.txt untuk memblokir halaman / folder / website. Apakah akan muncul dalam hasil pencarian serach engine?
Jawaban.
YA! Memblokir halaman tertentu atau bagian dari situs Anda dengan menggunakan robots.txt tidak berarti bahwa situs tersebut tidak akan muncul di Hasil Search Engine. Halaman tidak akan dijelajahi oleh mesin pencari tetapi jika mereka menemukan informasi yang cukup tentang halaman / situs di DMOZ atau di link dari halaman lain, mereka akan menunjukkannya dalam hasil pencarian.
NB:
Judul dan data yang di blokir menggunakan robots.txt yang ditemukan di SERP akan didasarkan pada informasi mesin pencari yang dikumpulkan dari situs-situs lain.
#. Pertanyaan.
Saya diblokir halaman internal dengan robots.txt,apakah masih bisa mendapat PageRank?
Jawaban.
YA! Algoritma PageRank tidak mempertimbangkan apakah halaman diblokir oleh robots.txt, sehingga link masuk yang mengarah ke halaman tersebut menjadi backlink asal berkualitas dan relevan.
2. META-robots.
META-tag menentukan apakah halaman tertentu harus diindeks dan apakah link keluar harus diikuti. Nilai standart dari tag ini adalah "indeks, ikuti" yang berarti bahwa halaman ini diperbolehkan untuk diindeks dan semua link harus diikuti (kecuali link yang memiliki rel = "nofollow" di dalamnya). Nilai-nilai yang valid dari tag META-adalah: indeks dan noindex, follow dan nofollow,
berikut beberapa pertanyaan dan jawaban umum tentang META-robot:
#. Pertanyaan.
Saya blokir halaman dengan menggunakan noindex META-robot. Apakah search engine Google / Bing / Yahoo akan meload halaman tersebut?
Jawaban:
Tentu saja TIDAK! Anda tidak harus bingung dengan persyaratan merangkak dan mengindeks halaman tersebut. Ini adalah satu hal untuk mendapatkan halaman yang dijelajahi oleh mesin pencari dan hal yang sama sekali berbeda untuk diindeks, setelah mesin pencari menjelajah halaman web, mereka akan mengidentifikasi nilai meta noindex robot dan mereka tidak akan mengindeks. Ini berarti bahwa halaman ini tidak akan pernah muncul dalam hasil mesin pencari.
#. Pertanyaan:
Saya agak bingung dengan nilai link follow dan nofollow? Bagaimana mereka mempengaruhi distribusi PageRank?
Jawaban:
Nilai tindak berarti bahwa semua link yang ditemukan dalam aliran PageRank halaman (kecuali atribut di dalamnya yang yang mengandung rel = "nofollow" ).dengan demikian PageRank dari halaman ini tidak akan mengalir keluar. Ini berarti bahwa halaman yang di blokir semua link dengan menggunakan nilai meta robot nofollow tidak akan mendapat pagerank.
#. Pertanyaan:
Saya diblokir halaman internal dengan META-robot noindex, ia akan menerima PageRank?
Jawaban:
YA! Seperti yang telah disebutkan sebelumnya, algoritma PageRank tidak mempertimbangkan apakah halaman diblokir oleh robots.txt atau meta-robot, sehingga link masuk yang mengarah ke halaman tersebut menjadi sebuah backlink. Perbedaan utama dengan robots.txt adalah bahwa halaman yang menggunakan nilai META-robot noindex, dapat mengalir PageRank ke halaman lain jika nilai tidak digunakan. Ini berarti bahwa jika link halaman mereka diikuti oleh robots.txt atau meta-robot, PageRank tetap tidak akan mengalir keluar.
3. rel=”nofollow”
Rel = "nofollow" atribut digunakan dalam anchor link yang ingin kita blok sehingga link tidak mengalir ke halaman target.
berikut beberapa pertanyaan dan jawaban umum tentang rel = nofollow:
#. Pertanyaan:
Saya blokir semua link dari situs saya yang mengarah ke halaman tertentu dengan menggunakan rel = nofollow.apakah Google / Bing / Yahoo merangkak dan mengindeks halaman tersebut?
Jawaban.
Nofollowing semua link dari situs Anda yang mengarah ke halaman tertentu (internal atau eksternal), tidak berarti bahwa mesin pencari tidak akan dapat mengindeks halaman target. Jika mereka menemukan link dofollow menunjuk ke halaman tersebut, mereka akan merangkak dan mengindeks .
Jadi rel = nofollow tidak boleh digunakan sebagai cara untuk mencegah pengindeksan halaman.
#. Pertanyaan:
Apakah mesin pencari merangkak link yang diblokir dengan rel = nofollow?
Jawaban:
Secara teoritis mesin pencari tidak merangkak halaman target link yang beratribut nofollow sampai mereka menemukan setidaknya satu link diikuti yang menunjuk ke halaman tersebut.
Intinya link dengan atribut rel="nofollow" tidak lulus PageRank apapun untuk halaman target.
Ringkasan:
Kita harus berhati-hati ketika menggunakan robots.txt dan META-robot karena dapat mempengaruhi situs maupun blog baik dari segi , pengindeksan dan hasil pencarian di search engine, cara terbaik untuk mencegah halaman muncul dalam hasil pencarian adalah dengan menggunakan noindex dan penggunaan META-robot. Dengan cara ini tidak hanya halaman tidak akan muncul di SERP tetapi juga sebagian besar PageRank dari halaman akan lolos ke halaman lain dari situs melalui link yang keluar.
Untuk cara setingnya akan saya bahas nanti
