Da bi vzpodbudili lastnike spletnih strani, da ustvarjajo spletne strani in vsebino na način, ki omogoča spletnim iskalnikom lažje pregledovanje vsebine, so vsi večji spletni iskalniki izdelali svojo podporo in dokumentacijo. Med seboj se razlikujejo po vrednosti, vendar pa so prav vsi vredni pogleda. Ta orodja priskrbijo podatke in priložnosti za izmenjavo informacij z iskalniki, ki jih ne morete najti nikjer drugje.

Spodaj bomo obrazložili ključne komponente teh orodij vsakega izmed večjih spletnih iskalnikov.

Optimizacija za spletne iskalnike je proces oblikovanja strani tako, da je lahko berljiva tako za obiskovalce kot za pajke spletnih iskalnikov. Ta del opisuje nekatere kompromise, ki jih boste morali vpeljati, da bi zadovoljili tako obiskovalce, kot spletne iskalnike.

Običajne pritožbe podjetij se glasijo:

»Noben pameten inženir ne bi postavil spletnega iskalnika, ki bi zahteval, da spletne strani sledijo določenim pravilom ali načelom, da bi bile visoko uvrščene ali indeksiranje. Vsak dober sistem bi moral biti zmožen preiskati kakršnokoli arhitekturo spletne strani in predelati veliko količino podatkov in še vedno vrniti najboljše in relevantne rezultate in ne tiste, ki so jih optimizirali nepooblaščeni strokovnjaki za SEO.«

Zveni brutalno…

V začetku se ta argument mogoče zdi kot prevelika ovira. Ko pa se poglobimo v delovanje spletnih iskalnikov se to zdi vse bolj mogoče.

Spletni iskalniki imajo štiri funkcije in sicer pregledovanje strani, izgradnja indeksa, preračunavanje pomembnosti strani in rangiranje.

1. Pregledovanje in indeksiranje

Svetovni splet si lahko predstavljate kot veliko omrežje postav v podzemnem železniškem sistemu. Vsaka postaja predstavlja unikaten dokument (običajno spletno stran, lahko pa tudi PDF, JPG ali kateri drugi dokument). Spletni iskalniki morajo na nek način prečesati celo mesto in najti vse postaje zato uporabljajo najboljše poti - povezave. Struktura povezav na spletu služi kot povezava vseh strani, ki obstajajo na svetovnem spletu (oziroma jih spletni iskalnik lahko doseže). Preko povezav spletni iskalniki pošiljajo avtomatske robote, oziroma »pajke« kateri dosežejo milijarde med seboj povezanih dokumentov. Ko spletni iskalnik strani najde jih razčleni in shrani izbrane dele strani na trde diske iz katerih se potem bere ob poizvedbah. Zaradi potreb shranjevanja milijard dokumentov, ki morajo biti na razpolago ob iskanju v delcu sekunde imajo spletni iskalniki velike podatkovne centre po celem svetu. Te ogromne strukture za shranjevanje podatkov imajo na tisoče računalnikov, ki procesirajo nepredstavljive količine informacij. Ko nekdo izvede iskalno poizvedbo v katerem izmed večjih spletnih iskalnikov, zahtevajo takojšen odgovor, že 3 sekundna zamuda lahko povzroči nezadovoljstvo, zato spletni iskalniki stremijo k tem, da je dajanje odgovor takojšnje.