Mencegah Bot Search Engine - Karena alasan tertentu ,bot juga bisa dicegah untuk memasuki are tertentu .seorang webmaster bisa membuat program yang memungkinkan bot crawler tidak memasuki area tertentu di website ,baik area tersebut berupa file ataupun direktori .
sebuah halaman juga bisa tidak diikutkan dala, database search engine dengan cara menggunakan tag meta yang spesifik untuk robot. ketika crawler bot sedang mengunjungi sebuah website ,file robot.txt yang terletak di directori merupakan file pertama yang di crawl.
Text di file robots.txt kemudian di-parsing yang isinya merupakan perintah-perintah kepada crawler tentang area-area yang tidak diijinkan untuk di gerayangi. pada umumnya search engine dari crawler akan memiliki chace dari file ini. sehinga walaupun kode yang di robots.txt sudah di update ,namun crawler bot masih tetap menggerayangi area-area yang tidak dilarang.
halaman-halaman yang umumnya tidak boleh digerayangi adalah yang berisi informasi sensitif ,seperti halaman login ,halaman shopping cart dan konten-konten tertentu yang bersifat rahasia.
Di bulan maret tahun 2007,google meningkatkan para webmaster untuk mencegah proses pencarian internal diindeks mengingat hal itu bisa dikategorikan sebagai spam.
seperti yang dijelaskan dimuka,teknik seo dapat di kategorikan menjadi 2 jenis ,pertama adalah teknik white hat yang disarankan sementara teknik yang kedua adalah teknik black hat yang dilarang.
Para seo white hat menggunakan teknik-teknik yang direkomendasikan oleh search engine atau dengan kata lain menggunakan desain pembuatan website yang baik dan tidak melakukan spamming dalam pengindeksan.
Teknik-teknik white hat seo ini lebih menguntungkan dalam jangka waktu yang lama karena hasilnya lebih awet ,adapun penggunaan teknik black hat dalam jangka waktu lama tidak menguntungkan karena website bisa di-banned jika search engine tersebut mengetahuinya.
Teknik Seo bisa disebut white hat jika memenuhi persyaratan yang sesuai dengan garis-garis besar aturan yang di izinkan oleh search engine serta tidak melakukan penipuan atau spamming. intinya webmaster harus memastikan bahwa apa-apa yang di indeks oleh search engine haruslah sama dengan apa yang terlihat oleh user apabila user mengklik link tersebut di search engine.
Sebagai Admin Blog Ini Saya Merekomendasikan Betwin188.com Sebagai Agen Bola Sbobet Terbaik , Aman dan Terpercaya
