Meta Tags
Meta tags leyfa eiganda á síðu til að tilgreina helstu orð og hugtök þar sem síðan verður verðtryggð. Þetta getur verið gagnlegt, sérstaklega í þeim tilvikum þar sem orðin á síðunni gætir hafa tvöfaldur eða þrefaldur merkingu - meta tags geta leiða leitarvél í að velja hvaða nokkrar mögulegar merkingar þessara orða er rétt. Það er hins vegar hætta á yfir-reiða sig á tags meta, því kærulaus eða unscrupulous síðu eigandi gæti bætt meta tags sem passa mjög vinsæll efni en hafa ekkert að gera með raunverulegt innihald síðunnar. Til að vernda gegn þessu, köngulær mun samhengi meta tags með innihaldi, hafna meta tags sem passa ekki orð á síðunni.
Allt þetta er gert ráð fyrir að eigandi síðunni raun vill það til að vera innifalinn í niðurstöðum starfsemi á leitarvélarinnar. Margir sinnum, eigandi síðunnar vill ekki það að sýna upp á helstu leitarvéla, eða vill ekki virkni kónguló hefur aðgang að síðunni. Tökum sem dæmi, leik sem byggir nýja, virkar síður í hvert sinn sem hluta af síðunni eru birtar eða ný tengsl eru fylgt. Ef Web kónguló aðgangur einn af þessum síðum, og hefst eftir alla tengla fyrir nýjar síður, leikurinn gæti mistök starfsemina í hár-hraði mönnum leikmaður og snúast úr böndunum. Til að forðast aðstæður eins og þetta var útilokun vélmenni siðareglur þróað. Þessi samskiptamáti, framkvæmda í Meta-tag kafla í upphafi vefsíðu, segir kónguló til að fara af síðunni einn -. Að hvorki vísitölu orð á síðunni né reyna að fylgja tengsl sín
Building index
Þegar köngulær hafa lokið verkefni að finna upplýsingar á vefsíðum (og við ættum að huga að þetta er verkefni sem er aldrei lokið - að stöðugt að breytast eðli vefnum þýðir að köngulær eru alltaf skrið) leitarvél verður að geyma upplýsingar á þann hátt sem gerir það að gagni. Það eru tveir helstu þættir sem taka þátt í því að gera safnað gögnum aðgengileg notendum:
Í einföldustu tilvikum, a leitarvél gæti bara geyma orð og slóðina þar sem hún fannst. Í raun og veru, þetta myndi gera fyrir vél og takmarkaða notkun, þar væri engin leið að segja
