Crawl budget: Neviditelný limit pozornosti, který určuje vaši existenci ve vyhledávačích

Rychlá definice

Crawl budget představuje maximální počet stránek, které je robot vyhledávače Google ochotný a schopný projít na vašem webu za určitý časový úsek. Vyhledávače nemají neomezené zdroje. Každá návštěva robota stojí elektrickou energii a obrovský výpočetní výkon. Proto Google každému webu přiděluje specifický denní rozpočet pozornosti. Pokud tento limit vyčerpáte na nesmyslné nebo duplicitní adresy, robot váš web opustí dříve, než stihne vůbec najít vaše nové a byznysově nejdůležitější produkty.

Příklad z praxe: Technický chaos versus čistá dálnice

Představte si obrovský eshop s oblečením trpící špatně nastaveným filtrováním.

Technický chaos a neviditelné produkty: Každá kombinace barvy, velikosti a materiálu vytváří novou unikátní adresu URL. Google na web dorazí a začne tyto miliony prázdných stránek s filtry nadšeně procházet. Po chvíli svůj přidělený rozpočet vyčerpá a odejde. Vaše nová zimní kolekce, kterou jste právě naskladnili a nutně ji potřebujete prodávat, zůstane pro vyhledávač naprosto neviditelná po celé další týdny.
Čistá dálnice a okamžitý prodej: Správně spravovaný web má filtrování pro roboty přísně zablokované. Vyhledávač přijde a nebloudí ve slepých uličkách. Rovnou projde všechny hlavní kategorie, všimne si nových produktů a okamžitě je zařadí do výsledků vyhledávání. Vaše novinky tak začnou okamžitě generovat tržby z organické návštěvnosti.

Jak Crawl budget ovlivňuje váš byznys a proč ho musíte řešit

Schopnost efektivně řídit pohyb robotů po vašem webu přímo rozhoduje o tom, jak rychle dokážete reagovat na tržní poptávku.

Rychlost indexace nových produktů: Okamžité zařazení do vyhledávání rozhoduje o vašem zisku. Obzvlášť v segmentech s rychloobrátkovým zbožím potřebujete, aby Google viděl vaše novinky v řádech hodin, nikoliv měsíců.
Zbytečné pálení SEO autority: Odkazy směřující na váš web předávají ohromnou sílu. Pokud tuto energii rozmělníte mezi tisíce bezcenných stránek s různými parametry řazení, vaše skutečně ziskové kategorie nikdy nezískají dostatečnou autoritu pro dosažení prvních pozic nad konkurencí.
Neviditelné zatěžování serveru: Neustálé přetěžování webhostingu obrovským množstvím zmatených robotů dokáže výrazně zpomalit načítání webu pro běžné platící zákazníky. Pomalý web pak prokazatelně a okamžitě snižuje váš konverzní poměr.

Nejčastější chyby: Kdy necháváte vyhledávače bloudit v kruhu

Technické nedostatky dokážou doslova vysát veškerou pozornost Googlu bez jakéhokoliv obchodního užitku.

Nekontrolované filtrování a řazení: Parametry v adresách URL představují největšího zabijáka vašeho přiděleného rozpočtu. Řazení podle ceny nebo filtrování podle výrobce zkrátka nesmí vytvářet nové stránky přístupné pro vyhledávací roboty.
Ignorování rozbitých odkazů a chybových stránek: Pokud robot neustále naráží na chyby 404 nebo musí zdlouhavě procházet přesměrování na již smazané produkty, zbytečně ztrácí drahocenný čas. Každý takový mrtvý bod odkrajuje obrovskou část z vašeho denního limitu.
Duplicitní obsah napříč webem: Nenechte roboty číst stejný text na třech různých místech. Pokud máte jeden totožný produkt zařazený ve třech různých kategoriích pod naprosto odlišnými adresami, vyhledávač zcela zbytečně plýtvá svými zdroji na indexaci totožného obsahu.

Jak to vidíme v UNIKUM?

Optimalizace průchodu robotů u nás představuje vrcholnou a naprosto nezbytnou disciplínu technického SEO. Menší weby o pár desítkách stránek tento problém většinou vůbec řešit nemusí. Jakmile ale do správy převezmeme masivní portál s desítkami tisíc produktů, stává se pro nás řízení Crawl budgetu absolutní prioritou.

Pomocí pokročilé analýzy serverových logů naprosto přesně sledujeme každý krok vyhledávačů. Následně jim zakazujeme vstup do nedůležitých technických sekcí a prostřednictvím bezchybné mapy stránek je vedeme přímo k obsahu s reálným obchodním potenciálem. Odmítáme totiž situaci, kdy by vaše nejdražší a nejziskovější položky zůstaly pohřbené hluboko pod hromadou zbytečného technického balastu.

Mini FAQ

Týká se tento problém i mého malého firemního webu?

Ve většině případů spíše nikoliv. Společnost Google sama oficiálně uvádí, že weby s méně než tisícem stránek se o vyčerpání rozpočtu vůbec bát nemusí. Pokud ovšem váš redakční systém na pozadí generuje nekonečné kalendáře nebo tisíce prázdných štítků, může se do této nepříjemné pasti chytit i obyčejná lokální prezentace.

Jak zjistím aktuální stav průchodu mého webu roboty?

Základní přehled získáte zcela zdarma ve svém firemním účtu nástroje Google Search Console. V sekci Nastavení naleznete detailní přehled statistik procházení. Tam naprosto přesně uvidíte celkový počet požadavků robotů i průměrnou dobu odezvy vašeho serveru.

Zvýší se můj denní rozpočet automaticky s přidáním nových stránek?

Robotům bohužel vždy chvíli trvá, než si vůbec uvědomí nárůst celkové velikosti vašeho projektu. Přidělený limit se historicky zvyšuje primárně díky rostoucí autoritě celé domény a přibývajícímu počtu kvalitních zpětných odkazů. Rychlý a spolehlivý server navíc robotům reálně umožní projít mnohem více obsahu za stejný časový úsek.