Jag hade en bra diskussion om det som benämns “crawl budget” med en kollega inom branschen nyligen. En diskussion i hur relevant crawl budget egentligen är när Google själva har sagt att crawl budget är något man kan bortse ifrån ifall man inte har en gigantisk webbplats (mätt i antalet sidor).
Det finns många benämningar som cirkulerar runt på nyhetssajter som bevakar SEO och ofta kan man se crawl budget nämnas. Tyvärr är många buzzwords bara click baits som eskalerar och sprids till andra sajter. Bra exempel på detta är benämningar som link juice och link juice sculpting (som jag tycker är två löjliga begrepp varav det senare är ett irrelevant click bait begrepp som är onödigt att tänka på i det stora perspektivet när man optimerar en webbplats). Jag tycker dock det finns viss relevans i vad som benämns crawl budget, det är dock inte något begrepp jag brukat nämna.
Innan begreppet crawl budget började trenda gillade jag att prata om Googles CPU tid. Det är kanske inte något man direkt tänker på, men den IT infrastruktur som bygger upp möjligheterna till att erbjuda de tjänster som Google har ligger på en globalt nätverk av hundratusentals x86 datorer.
Ju svårare vi gör för dessa datorer att förstå de webbplatser vi vill optimera, desto mer CPU tid behöver dessa datorer använda. Det vill säga, det kommer ta längre tid för datorn att parsa koden och läsa ut innehållet på vår webbplats, det kommer ta mer CPU tid för datorn att leta efter interna länkar och att köa upp JS sidor som inte renderar korrekt utan JS aktiverat, och att jämföra ifall datorn redan varit på samma länk. Detta går blixtsnabbt i datorn värld, men ha i åtanke att vår webbplats är en enda av en miljard webbplatser.
Även om Googles rekommendation är att crawl budget bara är nödvändigt att ha i beaktning för riktigt stora webbplatser tror jag att det finns fördelar att optimera och bygga webbplatser så att Google så enkelt som möjligt hittar, kan läsa av, och förstå informationen på en webbplats.
Vi vill inte slösa Googles CPU tid, vi vill presentera innehållet på webbplatsen på ett silverfat så att Google likt en Pac-man gubbe enkelt bara kan äta upp innehållet i ett nafs utan att behöver tänka för mycket. Ur den synvinkeln tycker jag alltid crawl budget är relevant även om jag föredrar att kalla det Googles CPU tid istället.