Robots.txt adalah suatu file yang di berguna untuk memudahkan suatu search engine mengindex halaman web kita. Jika search engine crawler datang di web kita, maka dia akan mencari file robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di index atau di abaikan. Berikut beberapa kesalahan mengapa robot search engine menjauh di web kita :
1. Robots.txt rusak atau berisi parameter yang salah
Jika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.
Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/
2. Halaman web anda mempunyai code terlalu panjang
Jika halaman web anda berisikan code javascript, CSS, Html dan lainnya yang terlalu banyak dan panjang, maka akan membuat web anda susah di akses ( lambat aksesnya). Jika itu terjadi maka robot search engine akan kesulitan untuk mengurai isi web anda.
3. Navigasi menu web anda mempunyai masalah
Jika anda membuat menu yang menggunakan javascript,DHTML atau AJAX, maka menu tersebut tidak bisa di index oleh robot search engine. karena robot search engine hanya bisa mengindex link yang menggunakan HTML.
4. URL website anda terlalu banyak variable
Jika url anda terlalu banyak variable, maka google juga akan mengabaikan halaman web anda.
Contoh URL yang terlalu banyak variable :
Pernyataan resmi dari search engine google :
“Google indexes dynamically generated webpages, including .asp pages, .php pages, and pages with question marks in their URLs. However, these pages can cause problems for our crawler and may be ignored.”
5. Menggunakan session ID di web anda
Search engine google tidak mau mengindex suatu URL yang berisikan session ID karena menyebabkan duplicate content. Penggunaan cookies lebih baik dari pada menggunakan session ID
About Me
- Hahi milanisti
- Tasikmalaya, Tasik/Jawa Barat, Indonesia
- Kunjungi Selalu Blog Ini!!!! Dan Berikan Saran Dan Kritikannya... Terimakasih Sebelumnya.
Free Download
Kaspersky 2010
Avira 2010
Internet DM 5.19
Microsoft Office 2010
Microsoft Office 2007
Adobe Reader 9
Adobe Photoshop CS4 11.0
Adobe Photoshop CS 8.0
Photoscape 3.4
TuneUp Utilities 2010
K-Lite Mega Codec Pack 5.90
VLC Media Player 1.0.5
Rar Password Recovery Magic
Google Translate Client v4.4.360
Tipard Video Converter v4.2.12
WinRAR 3.93 Final
CCleaner 2.29.1111
Your Uninstaller Pro 2010
Winamp 5.57 Pro
Super MP3 Download 3.2.6.8
Recover My Files 4.0.4.448
Windows 7 Codec Pack 2.2.0
Simply Icon v1.0
3herosoft 3GP Video Converter
KMPlayer 2.9.4.1436
Anti Deep Freeze v0.1
ACDSee Pro v3 Final
Sound Forge Pro 10
Keygen Sound Forge Pro 10
Avira 2010
Internet DM 5.19
Microsoft Office 2010
Microsoft Office 2007
Adobe Reader 9
Adobe Photoshop CS4 11.0
Adobe Photoshop CS 8.0
Photoscape 3.4
TuneUp Utilities 2010
K-Lite Mega Codec Pack 5.90
VLC Media Player 1.0.5
Rar Password Recovery Magic
Google Translate Client v4.4.360
Tipard Video Converter v4.2.12
WinRAR 3.93 Final
CCleaner 2.29.1111
Your Uninstaller Pro 2010
Winamp 5.57 Pro
Super MP3 Download 3.2.6.8
Recover My Files 4.0.4.448
Windows 7 Codec Pack 2.2.0
Simply Icon v1.0
3herosoft 3GP Video Converter
KMPlayer 2.9.4.1436
Anti Deep Freeze v0.1
ACDSee Pro v3 Final
Sound Forge Pro 10
Keygen Sound Forge Pro 10
bloggup
Kotak Ngoceh
Live trafic feed
Beberapa Kesalahan Web Dijauhi Robot Search Engine
Thursday, September 2, 2010Posted by Hahi milanisti at 3:58 PM
Labels: Istilah Komputer
Subscribe to:
Post Comments (Atom)
0 comments:
Post a Comment