Indexovací robot

Indexovací robot

Indexovací robot je aplikace, kterou používá fulltextový vyhledávač k indexaci webových stránek.

Informace, které si takto uloží lze poté využívat prostřednictvím uživatelského webového rozhraní.

Soubor robots.txt

Pokud chceme vyhledávacím robotům říct, které stránky našeho webu si přejeme indexovat a které se indexovat nemají, máme možnost toto nastavit v souboru robots.txt.

Jiná možnost jak docílit podobného efektu je využít metaznačky v každé jednotlivé stránce webu.

Jak fungují roboti

Robot se pohybuje po internetu přes hypertextové odkazy na stránkách. Jakmile se dostane na web, začne jej načítat a ukládat do paměti.

Indexovací robot dokáže prohlížet jen text. Pokud je například popis tlačítek v menu v grafické podobě ve formě obrázků, indexovací robot to nevidí a nemůže text zaidnexovat.

Indexovací roboti mívají často problémy s indexací Javascriptových kódů a Flash modulů. Pro správné zaindexování obahu webu je tedy nejdůležitější používat pro důležité části webu prostý text. Ten by měl být navíc vhodně strukturován a doplněn nadpisy a podnadpisy.