W skrócie
- Crawl budget to liczba adresów, które Googlebot pobiera z serwisu w danym czasie; zależy od serwera i popytu.
- Problem dotyczy głównie serwisów od kilkudziesięciu tysięcy adresów; w małych stronach barierą są blokady, nie budżet.
- Logi serwera to jedyne źródło prawdy o tym, co robot faktycznie pobiera i jak często.
- Najwięcej budżetu marnują nawigacja fasetowa, parametry sortowania, wyszukiwarka wewnętrzna i duplikaty adresów.
Jak to działa i dlaczego ma znaczenie
Google nie ma nieskończonych zasobów na pobieranie Twojej strony. Robot ustala, ile adresów może pobrać, nie przeciążając serwera, i ile warto pobrać, biorąc pod uwagę popularność i częstotliwość zmian. Jeśli sklep generuje 2 miliony adresów z kombinacji filtrów, a wartościowych kategorii i produktów jest 50 tysięcy, robot spędza większość czasu na śmieciach, a nowe produkty czekają tygodniami na indeksację. Optymalizacja polega na pokazaniu robotowi wyraźnej ścieżki: co pobierać, czego nie, i gdzie są strony kanoniczne.
W ostatnich latach Google wyraźnie zaostrzył selekcję tego, co trafia do indeksu. Statusy „Strona została zeskanowana, ale jeszcze nie zaindeksowana” i „Strona wykryta, obecnie niezindeksowana” w Search Console dotykają coraz większej liczby serwisów, bo wyszukiwarka nie chce indeksować stron, które niczym się nie różnią od tysięcy innych. Do tego dochodzi ruch robotów AI, który w wielu serwisach przekracza ruch Googlebota i obciąża serwer, oraz coraz częstsze wykorzystanie HTTP/2 przez Googlebota, co zmienia obraz w logach.
Z praktyki: w serwisie ogłoszeniowym 70 procent żądań Googlebota trafiało w strony sortowania i stronowanie powyżej dziesiątej strony, a nowe ogłoszenia indeksowały się po 5–10 dniach. Po zablokowaniu parametrów sortowania, ograniczeniu stronowania i dodaniu map XML z datami modyfikacji czas indeksacji spadł do kilkunastu godzin. W sklepie z fasetami problemem był z kolei brak reguł: każda kombinacja filtrów była indeksowalna, z canonicalem na samą siebie.
Kiedy potrzebujesz tej usługi
- Nowe produkty, ogłoszenia lub artykuły pojawiają się w Google po wielu dniach albo wcale.
- W statystykach indeksowania robot pobiera dziennie więcej adresów, niż serwis ma wartościowych stron, a ważne strony nadal nie są odświeżane.
- Search Console pokazuje setki tysięcy adresów w statusie „zeskanowana, ale niezindeksowana” lub „wykryta, niezindeksowana”.
- Google indeksuje adresy z parametrami filtrów i sortowania zamiast kategorii.
- Serwer notuje przeciążenia w godzinach wzmożonej aktywności robotów.
Co dokładnie robię
Analiza logów serwera
Przetwarzam logi z kilku tygodni: które adresy robot pobiera, jak często, z jakimi kodami odpowiedzi, ile czasu poświęca na grupy szablonów i ile na śmieci.
Zestawienie z crawlem i indeksem
Porównuję to, co robot pobiera, z tym, co serwis chce mieć w indeksie i co faktycznie w nim jest według Search Console; wyznaczam rozbieżności.
Reguły dla nawigacji fasetowej
Projektuję, które kombinacje filtrów mają być indeksowalne (bo mają popyt), które mają canonical do kategorii, a które są blokowane lub oznaczone noindex.
robots.txt, noindex, canonical
Układam spójny zestaw dyrektyw: blokady dla parametrów i wyszukiwarki wewnętrznej, noindex dla stron bez wartości, canonicale dla duplikatów – bez sprzeczności między nimi.
Stronowanie i linkowanie wewnętrzne
Ograniczam głębokość stronowania, skracam ścieżkę kliknięć do ważnych stron i usuwam linki wewnętrzne do adresów, których robot nie powinien odwiedzać.
Mapy XML i sygnały świeżości
Dzielę mapy według typów stron, dodaję prawdziwe daty modyfikacji i usuwam z nich adresy niekanoniczne, żeby robot wiedział, co się zmieniło.
Wydajność serwera dla robota
Sprawdzam czas odpowiedzi dla Googlebota, błędy 5xx, limity i ruch robotów AI; proponuję cache i reguły dla botów, które nie przynoszą wartości.
Monitoring po wdrożeniu
Po zmianach porównuję logi i raporty Search Console z okresem bazowym: udział wartościowych adresów w crawlu i czas do indeksacji nowych stron.
Jak przebiega współpraca
- 1tydzień 1
Dostęp do logów i danych
Pozyskuję logi z co najmniej 4 tygodni, dostęp do Search Console i mapy szablonów serwisu; uzgadniam, co ma być w indeksie.
- 2tydzień 2–3
Analiza i projekt reguł
Analizuję logi, crawl i indeks; projektuję reguły dla fasetów, parametrów, stronowania, map XML i robots.txt.
- 3tydzień 4–6
Wdrożenie z zespołem
Programiści wdrażają reguły etapami; ja weryfikuję każdy etap, żeby nie zablokować przypadkiem ważnych stron.
- 4tydzień 7–12
Pomiar efektów
Porównuję logi i raporty po wdrożeniu z okresem bazowym i koryguję reguły tam, gdzie efekt jest niepełny.
Czego się spodziewać i kiedy
| Horyzont | Co się dzieje | Czym to mierzę |
|---|---|---|
| 3 tygodnie | Wiesz, na co robot wydaje budżet i jaki zestaw reguł to zmieni. | Udział adresów wartościowych w żądaniach Googlebota, lista reguł z priorytetami. |
| 1–2 miesiące | Robot przestaje pobierać śmieci, częściej odwiedza kategorie i nowe strony. | Logi: udział wartościowych szablonów w crawlu; Search Console: statystyki indeksowania. |
| 2–4 miesiące | Nowe strony indeksują się w godzinach lub dniach zamiast tygodni; indeks zawiera głównie kanoniczne adresy. | Czas od publikacji do indeksacji, liczba stron w statusach niezindeksowanych. |
| 4–8 miesięcy | Czystszy indeks i szybsze odświeżanie przekładają się na widoczność kategorii i stron produktów. | Kliknięcia w Search Console dla kluczowych szablonów, ruch organiczny w GA4. |
Koszt i model rozliczenia
- Liczba adresów w serwisie i objętość logów
- Złożoność nawigacji fasetowej i liczba parametrów w adresach
- Liczba szablonów i wersji językowych
- Zakres wsparcia przy wdrożeniu i długość monitoringu
Wycena obejmuje analizę logów, zestawienie z indeksem, projekt reguł, nadzór wdrożenia etapami i porównanie efektów po 2 miesiącach. Opisz projekt, a dostaniesz wycenę z zakresem prac rozpisanym na etapy.
Najczęstsze błędy, które widzę
- Blokowanie w robots.txt adresów, które mają noindex lub canonical – robot nie może wtedy odczytać dyrektywy i adresy zostają w indeksie.
- Canonical z każdej kombinacji filtrów na samą siebie, przez co Google indeksuje tysiące wariantów kategorii.
- Usunięcie stronowania lub ukrycie go za przyciskiem w JavaScript, co odcina robota od produktów na dalszych stronach.
- Zgłaszanie map XML z milionami adresów bez dat modyfikacji, które niczego nie mówią robotowi o tym, co się zmieniło.
Kiedy tego nie polecam
- Strona ma kilkaset lub kilka tysięcy adresów – crawl budget nie jest problemem; jeśli strony nie indeksują się, przyczyną są blokady, jakość treści lub technika, czyli temat na audyt techniczny.
- Problemem jest brak ruchu mimo poprawnej indeksacji – optymalizacja crawlu nic nie da; zacznij od audytu treści lub analizy konkurencji.
- Serwis nie udostępnia logów serwera – mogę pracować na raportach Search Console, ale uczciwie: bez logów część wniosków pozostanie szacunkiem.
Pytania i odpowiedzi
Co to jest crawl budget?
To liczba adresów, które Googlebot jest w stanie i chce pobrać z Twojego serwisu w danym czasie. Zależy od wydajności serwera (limit pojemności) i od tego, jak bardzo Google chce odświeżać Twoje strony (popyt). W dużych serwisach decyduje o tym, jak szybko nowe strony trafiają do indeksu.
Czy mała strona ma problem z crawl budgetem?
Praktycznie nie. Google wprost pisze, że strony poniżej kilkudziesięciu tysięcy adresów nie muszą się nim przejmować. Jeśli mała strona nie indeksuje się, przyczyną są blokady, noindex, słaba treść lub błędy techniczne.
Co oznacza „Strona została zeskanowana, ale jeszcze nie zaindeksowana”?
Google pobrał stronę i zdecydował, że na razie nie trafi do indeksu – zwykle z powodu niskiej wartości, duplikacji lub zbyt małej liczby sygnałów. Odpowiedzią jest poprawa treści i linkowania wewnętrznego, nie ponowne zgłaszanie adresu.
Jak zablokować filtry w sklepie przed indeksowaniem?
Zależy od popytu: kombinacje z realnymi wyszukiwaniami (np. „buty damskie skórzane”) zostawiam indeksowalne z własną treścią, resztę kieruję canonicalem do kategorii lub oznaczam noindex, a parametry sortowania blokuję w robots.txt. Reguły trzeba zaprojektować, a nie blokować wszystko hurtem.
Czy potrzebna jest analiza logów serwera?
W dużych serwisach tak – tylko logi pokazują, co robot naprawdę pobiera, z jaką częstotliwością i jakie dostaje odpowiedzi. Statystyki indeksowania w Search Console są przydatne, ale zagregowane i bez listy adresów.