Home | i'm sorry we forgot easily | Web Design and Wordpress Custom
Web Crawl, Proses Index Googlebot
Googlebot mengcrawl situs dengan mengikuti link dari satu situs ke situs lain. Umumnya proses pengindexan google ini mendapat masalah berupa kualitas link. Ada saatnya google mengalami redirect yg menyebabkan pesan error tertentu. Sehingga nantinya, isi situs kamu sama sekali tidak dimasukkan ke dalam index.
Efeknya bisa mengacaukan seluruh hasil kerja kamu sebagai webmaster selama ini. Bila sampai terjadi, maka jangan harapkan traffik pengunjung dari search engine karena tidak satu halaman situs kamu dimasukkan ke index google. Coba baca Mengapa Web sy tidak tampil pada Keyword Tertentu untuk memahami cara kerja index google. Contoh error index google : URLs not Followed yg bisa diartikan kalau beberapa halaman situs kamu memiliki konten sejenis flash dan image tertentu yang tidak dapat dengan mudah dicrawl spider google.
Update : Memang baru baru ini, Flash sudah mengeluarkan format adobe flash yg bisa dicrawl googlebot. Namun berhubung masih baru, tidak direkomendasikan membangun situs menggunakan flash. Coba baca Prinsip Desain Situs Teraman untuk memahami bagaimana kita menentukan teknologi web yg hendak kita pakai. Dalam posting tsb ada beberapa pertimbangan desain web yg berguna.
Untuk memahami hal seputar ini kita perlu memahami sedikit mengenai crawl errors. Namun sayangnya dokumentasi bakawan cuma sampai penjelasan singkat soal crawl stats Btw, perlu diperhatikan, tidak semua pesan error yg ditampilkan pada google webmaster tool itu adalah peringatan bahaya SOS yg sebenarnya. Sebagai contoh, disebabkan kamu memblok beberapa halaman menggunakan robot.txt sehingga bot spider google tidak diijinkan mengcrawl Bila kamu memang bertujuan memblok / membatasi akses maka tidak ada alasan memperbaiki error tsb. Tp Seandainya, kamu tidak berniat menolak bot, maka kamu harus memperbaiki aturan robots.txt agar website kamu bisa segera dimasukkan ke dalam database google.
Tags: Glossary, Google WebMaster Tool, Search Engine, SEO, Webmaster
22 Responses to “Web Crawl, Proses Index Googlebot”
Leave a Reply
hehe terus terang gue msh bingung. Apakah mksudnya setiap link yg kita pasang ke luar ataupun org pasang ke kita itu hrs valid? Terus apa hubungannya dgn redirect yah?
hmm maksud link valid itu adalah saat link tsb merujuk pada halaman web yg bener bener ada. Ambil contoh kesalahan penulisan url paling sering sy lakuan saat melink ke google.com adalah google.cm. Berhubung url link merujuk pada nama domain yg ngak ada maka link tsb jadi ngak valid.
Hubungannya antara validitas link dan redirect adalah mekanisme web / blog. Blog / web memiliki mekanisme mengatasi kunjungan pada link yg tidak valid. Apabil ada pengunjung yg merujuk pada halaman yang tidak lagi exist, maka dia diredirect atau dipindahkan ke halaman lain. Pada bakawan redirect juga dilakukan. Saat pengunjung mencari halaman yg ngak ada diakan diredirct ke halaman depan.
Iya, pada blog ini ada halaman hilang yg disebabkan masalah database tempo hari. Jadi kadang saat ada user yg kebetulan datang dari SERP (daftar hasil pencarian search engine) yg belum diindex ulang google maka dia berpotensi masuk ke halaman web yg sudah tak ada lagi dan terpaksa diredirect ke halaman depan
Soal mengapa harus valid itu disebabkan cara kerja spider google. Spider bekerja dengan mengikuti link link pada halaman web.
Misalnya, spider berkunjung pada halaman A. Otomatis dia engindex konten halaman tsb. Saat pekerjaan pengindexan selesai, dia melanjutkan pekerjaan dengan mengikuti link link pd halaman A. Dari A, spider ke B. Namun spider tidak bisa ke B apabila seandainya penulisan URL link merujuk pada alamat halaman b yg salah.
Alasan kedua adalah daripada spider berputar putar ngak jelas seperti tukang pos mencari alamat, maka bukankah lebih baik spider diberi petunjuk arah yg benar. Apaagi, perlu diingat, kalau waktu spider menginex domain itu dijatah alias tidak mengindex satu domain terus menerus. hheheheh semoga ngak tambah bingung bro
Enakan pake sitemap. Toh format XML nya udah dicontohin sama kang google di halaman help webmaster tools nya. Tapi perlu sedikit kecermatan tuh, karena aku coba beberapa kali, ternyata ada yang tidak valid menurut kang google. He he….
kalau ngak salah di sitemap.org tuh ada spesifikasinya kok bayou. Soal validitas itu mungkin versi protokolnya bukan yg disuport google. Searang tuh protokol sitemap sudah versi Sitemap 0.90. Kebetulan versi terakhir ini udah disupport kebanyakn searh engine utama seperti yahoo, goolge, msn
duh piawai banget bahasanya. Saya sih sebteulnya suka info ini..tapi untuk sebuah blog kyakanya terlalu teksnis bahasanya.. itu menurut saya yang ingin menemukan bahasa yg lebih sosial gitu.. yang lain sih sepertinya asyik2 aja ya… not hard feeling ya bos….
negga donk hehehe malah terpacu untuk menemukan gaya menulis yg lebih merakyat heheheh ngak sampe harus ancur ancuran di menara gading : terlihat kayak blogger keren heheh tapi juga sombong :) makasih banyak atas nasehatnya
Sipp…
Info berguna banget buat saya yang lagi mau ngakalin google. :grin:
Lain kali, kalau saya lagi nyoba2 dan nemu masalah, saya tanya ente aja ya…
Tengs.
~mungkin nyobanya aga lama. Lagi UTS.
hehehe apa ngak sebaik sama master yg asli di forum seo daripada ke saya yg gadungan hahaha tapi seandainya kamu punya pertanyaan, mungkin sy bisa bantu bro. btw selamet uts, semoga bisa pulang dengan selamat hehhehe ngaco
hmmm… mudeng…! mudeng…! dikit…
hahaha maaf atuh :)
saya rombak disain website, semula pengunjuk 200-an skarang 20-an, index URL baru tiap halaman nggak pernah lagi terindex google. Punya solusi?
Terus aja ngeblog. Dan bikin dummt blog dimana banyak link yg merujuk ke blog dgn desain baru kamu. Tunggu sampai sebulan…
konon index dilakukan googlebot setiap hari, namun hanya pada bagian kecil semata.
Sementara baru sekali sebulan, googebot akan mengindex seluruh posting blog kamu.
cara meningkatkan trafik gimana ya
oh nasib punya blog ngak ada mampir
[...] search engine. Situs judi dianggap website yg autority / kepakaran rendah di mata robot google, googlebot. Apalagi soal situs narkoba atau narkoba, seandainya, tld domain tsb bukan gov, maka besar [...]
[...] bukan scraper site. Yahoo dan Google mengumpulkan konten website lain dan mengindexnya sehingga proses index google dapat dicari menggunakan keyword. Sesudah itu, search engine kemudian menampilkan snippets konten [...]
[...] traffik blog. Hehehe lumayan ‘kan daripada mengalami nasib webmaster seperti dalam posting Web Crawl, Proses Index Googlebot, dimana kita capek capek mempsting ratusan posting namun tidak satupun yg tampil saat disearch [...]
Jumpa lagi mbak bakawan.Saya pembaca setia blog ini lo.Saya mau nanya soal Crawl errors.Waktu saya menuju diagnostics|crawl errors.di bawahnya ada tulisan berikut:
HTTP:0
In sitemaps:11
Not Followed:14
Not faund:5
Restricted by robot.txt:0
Time out:0
Unreachable:0
Tolong dong MBAK dijabarkan artinya.Biar saya mudeng.MATUR SUWUN.
SAYA TIDAK MENGGUNAKAN WEBMASTER MANAPUN JUGA META ROBOT HANYA BIKIN MUMET KEPALA,BOSS
wah topik ini yang lagi aku pelajari… aku baca sampai habis ya
halaman blog sy statusnya Restricted by robots txt.pdhl sy gk pernah set sprti itu.trus gmna solusi agar blog sy bisa terindek??mhn petunjuk.trims