Beberapa Search Engine yang terkenal seperti Google ,yahoo dan microsoft menggunakan crawler untuk menjelajahi halaman kemudian mengolahnya dengan algoritma tertentu untuk menampilkan hasil pencarian .
jika sebuah website masih baru dan belum memiliki backlink maka anda perlu melakukan pendaftaran ke search engine yang bersangkutan agar crawler dapat mengenali search engine tersebut . hal ini karena search engine tidak bisa mengenali website tanpa adanya search engine terlebih dahulu.
Beberapa search engine (seperti yahoo) menggunakan layanan berbayar dimana website milik pengiklan akan ditampilkan dihalaman depan dengan harapan bisa diklik.
selain melalui layanan search engine ,termasuk usaha SEO adalah melalu pendaftaran direktori .ada beberapa direktori yang terkenal yaitu seperti yahoo directory ,google directory dan open directory project.
Google juga menawarkan google sitemap yang memungkinkan feed bertipe XML di daftarkan agar semua halaman bisa ditemukan oleh bot crawler . hal ini merupakan teknik yang memungkinkan semua bagian dari website tidak terjelajahi karena tidak adanya link yang menuntun crawler menuju ke situ.
Crawler search engine bisa dipengaruhi oleh banyaknya faktor ketika melakukan crawling pada sebuah website . tidak semua halaman di website tersebut akan di indeks oleh search engine . halaman yang memiliki posisi jauh dari halaman muka bisa meyebabkan halaman tersebut tidak ter-crawl oleh robot crawler yang di utus oleh search engine.
Sebagai Admin Blog Ini Saya Merekomendasikan Betwin188.com Sebagai Agen Bola Sbobet Terbaik , Aman dan Terpercaya
