Hvernig virkar einhver kónguló byrja ferðast sínar yfir netið? Venjulegur útgangspunktar eru listar yfir mikið notaður netþjóna og mjög vinsæll síður. The kónguló vilja byrja með vinsæll staður, flokkun orð á síðum sínum og eftir hvert tengilinn finna innan svæðisins. Á þennan hátt er spidering kerfið byrjar fljótt að ferðast, breiða út yfir the víða notaður hluta af vefnum.
Google byrjaði sem fræðileg leitarvél. Í blaðinu sem lýsir hvernig kerfið var byggt, Sergey Brin og Lawrence Page gefa dæmi um hversu fljótt köngulær þeirra getur unnið. Þeir byggðu fyrstu þeirra kerfi til að nota mörg köngulær, yfirleitt þrír í einu. Hver kónguló gæti haldið um 300 tengingar vefsíðum opnum í einu. Á afköstum þess, með fjórum köngulær, kerfi þeirra gæti skriðið yfir 100 síður á sekúndu, búa um 600 kílóbæti af gögnum á sekúndu.
Gæsla allt gangi hratt þýddi að byggja upp kerfi til að fæða nauðsynlegar upplýsingar til köngulær. The snemma Google kerfið þurfti miðlara hollur til providing that slóðir til köngulær. Frekar en eftir netveitu um lén miðlara (DNS) sem þýðir nafn netþjóni inn heimilisfang, Google hafði eigin DNS þess, í því skyni að halda töfum í lágmarki.
Þegar Google kónguló horfði á HTML síðu, það tók mið af tvennu:
Orð koma í Titillinn, texti, meta tags og öðrum stöðum á hlutfallslegt mikilvægi voru fram til sérstakrar skoðunar á síðari notanda leit. The Google kónguló var byggð á efnisyfirlit hvert veruleg orð á síðu, fara út greinar " A, " " að " og ". " Önnur köngulær taka mismunandi aðferðir.
Þessar mismunandi aðferðir yfirleitt reyna að gera kónguló ganga hraðar, leyfa notendum að leita skilvirkari, eða bæði. Til dæmis, sumir köngulær mun halda utan um orðum í titlinum, undir-fyrirsagnir og tengla, ásamt 100 mest notuðu orð á síðunni og hverju orði í fyrstu 20 línur af texta. Lycos er sagt að nota þessa aðferð til að spidering á vefnum
Aðrir þættir, svo sem eins og AltaVista, fa
