Para Spider dan Agent search engine

Bagi yang memiliki website ada baiknya memperhatikan atau melihat siapa saja dari seabrek search engine yang sering mampir dan melakukan pengerukan informasi di website kita.

Kalau dalam wordpress, plugin statpress dapat melakukan perekaman terhadap pengunjung blog. Dapat dilihat pada kolom spider, terdapat sederetan spider yang aktif mengeruk informasi website.

Setiap spider memiliki nama agent  yang dikenali oleh para website.

Beberapa spider yang sering  mengumpulkan informasi antara lain: google, google Adsense, Yahoo!, MSN,  Alexa, Cuil, Baidu, Java, WordPress, Gaisbot, dll.

Dibawah data lebih detail tentang spider.

= Google Adsense

Pemilik robot : Google Inc.

Negara : USA

Tipe Robot : probe

Agent yang dikirim untuk mengunjungi para web serverMediapartners-Google

IP address range : 66.249.64.0 to 66.249.95.255 (googlebot.com)

Access control yang dikenal oleh robot : robots.txt

User Agent di file  robots.txt : Mediapartners-Google

= Google

Pemilik : Google Inc.

Negara : USA

Tipe Robot  : search engine

User Agent yang berkunjung ke  web server :

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

IP address range :

  • 66.249.64.0 to 66.249.95.255 (googlebot.com)

Access control :

  • robots.txt
  • META NAME=”robots”
  • META NAME=”Googlebot”
  • rel=”nofollow”

User Agent di file  robots.txtGooglebot

= YAHOO !

Pemilik robot : Yahoo! Inc.

Negara : USA

Tipe Robot : search engine

User Agent  yang dikirim untuk mengujungi web server :

  • Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

IP address range :

  • 66.228.160.0 to 66.228.191.255 (yahoo.com)
  • 67.195.0.0 to 67.195.255.255 (yahoo.net)
  • 68.180.128.0 to 68.180.255.255 (yahoo.net)
  • 72.30.0.0 to 72.30.255.255 (yahoo.net inktomisearch.com)
  • 74.6.0.0 to 74.6.255.255 (yahoo.net inktomisearch.com yahoo.com)

Access control robot :

  • robots.txt
  • META NAME=”robots”
  • rel=”nofollow”

User Agent file robots.txt : Slurp

= Microsoft

Pemilik robotMicrosoft Corporation

NegaraUSA

Tipe Robot  : search engine

User Agent ke web server : msnbot/1.0 (+http://search.msn.com/msnbot.htm)

IP address range :

  • 65.52.0.0 to 65.55.255.255 (live.com phx.gbl msn.com)
  • 207.46.0.0 to 207.46.255.255 (live.com)

Access control robot :

  • robots.txt
  • META NAME=”robots”
  • rel=”nofollow”

User Agent ke file robot.txt  : msnbot

About me