mar 10th, 2006
Roboty i Googlebot
Prawie każda wyszukiwarka internetowa ( może nawet każda wyszukiwarka) indeksuje strony za pomocą robotów, czyli programów które przeglądają strony przechodząc pomiędzy nimi poprzez linki hipertekstowe. Rozwiązaniem wykorzystanym przez uznawaną za jedną z najlepszych na świecie wyszukiwarek jest robot (inaczej spider, crawler, agent) o nazwie Googlebot.
Kiedy strona internetowa zostaje zgłoszona do wyszukiwarki, adres witryny (URL) jest dodany do kolejki stron oczekujących na odwiedzenie przez robotów. Jeśli strona nie została zgłoszona tradycyjnie najczęściej robot i tak do niej dochodzi poprzez linki prowadzące z innych stron do tej witryny. Najczęściej nawet droga do indeksacji poprzez budowanie linków jest efektywniejsza i skuteczniejsza niż tradycyjne zgłaszanie do wyszukiwarki poprzez formularze.