Skip to main content
Moje marki: PozycjonowanieStron.pl · PozycjonowanieStrony.pl · Tworzeniestronwww.pl
Fundacja Usuwanie Hejtu
Techniczne SEO

Indeksowanie i crawl budget – duże serwisy, logi serwera, robots.txt

Optymalizacja indeksowania i crawl budgetu to doprowadzenie do tego, by robot Google poświęcał czas na strony, które mają zarabiać, a nie na miliony adresów z filtrów, parametrów i stronowania. Usługa jest dla sklepów, portali i serwisów ogłoszeniowych od kilkudziesięciu tysięcy adresów w górę. Pracuję na logach serwera i raportach Search Console, a efektem jest szybsza indeksacja nowych stron i czystszy indeks.

ŁW Łukasz Wudyka ekspert SEO · Prezes Fundacji Usuwanie Hejtu
Aktualizacja:
ok. 7 min czytania

W skrócie

  • Crawl budget to liczba adresów, które Googlebot pobiera z serwisu w danym czasie; zależy od serwera i popytu.
  • Problem dotyczy głównie serwisów od kilkudziesięciu tysięcy adresów; w małych stronach barierą są blokady, nie budżet.
  • Logi serwera to jedyne źródło prawdy o tym, co robot faktycznie pobiera i jak często.
  • Najwięcej budżetu marnują nawigacja fasetowa, parametry sortowania, wyszukiwarka wewnętrzna i duplikaty adresów.

Jak to działa i dlaczego ma znaczenie

Google nie ma nieskończonych zasobów na pobieranie Twojej strony. Robot ustala, ile adresów może pobrać, nie przeciążając serwera, i ile warto pobrać, biorąc pod uwagę popularność i częstotliwość zmian. Jeśli sklep generuje 2 miliony adresów z kombinacji filtrów, a wartościowych kategorii i produktów jest 50 tysięcy, robot spędza większość czasu na śmieciach, a nowe produkty czekają tygodniami na indeksację. Optymalizacja polega na pokazaniu robotowi wyraźnej ścieżki: co pobierać, czego nie, i gdzie są strony kanoniczne.

W ostatnich latach Google wyraźnie zaostrzył selekcję tego, co trafia do indeksu. Statusy „Strona została zeskanowana, ale jeszcze nie zaindeksowana” i „Strona wykryta, obecnie niezindeksowana” w Search Console dotykają coraz większej liczby serwisów, bo wyszukiwarka nie chce indeksować stron, które niczym się nie różnią od tysięcy innych. Do tego dochodzi ruch robotów AI, który w wielu serwisach przekracza ruch Googlebota i obciąża serwer, oraz coraz częstsze wykorzystanie HTTP/2 przez Googlebota, co zmienia obraz w logach.

Z praktyki: w serwisie ogłoszeniowym 70 procent żądań Googlebota trafiało w strony sortowania i stronowanie powyżej dziesiątej strony, a nowe ogłoszenia indeksowały się po 5–10 dniach. Po zablokowaniu parametrów sortowania, ograniczeniu stronowania i dodaniu map XML z datami modyfikacji czas indeksacji spadł do kilkunastu godzin. W sklepie z fasetami problemem był z kolei brak reguł: każda kombinacja filtrów była indeksowalna, z canonicalem na samą siebie.

Kiedy potrzebujesz tej usługi

  • Nowe produkty, ogłoszenia lub artykuły pojawiają się w Google po wielu dniach albo wcale.
  • W statystykach indeksowania robot pobiera dziennie więcej adresów, niż serwis ma wartościowych stron, a ważne strony nadal nie są odświeżane.
  • Search Console pokazuje setki tysięcy adresów w statusie „zeskanowana, ale niezindeksowana” lub „wykryta, niezindeksowana”.
  • Google indeksuje adresy z parametrami filtrów i sortowania zamiast kategorii.
  • Serwer notuje przeciążenia w godzinach wzmożonej aktywności robotów.

Co dokładnie robię

01

Analiza logów serwera

Przetwarzam logi z kilku tygodni: które adresy robot pobiera, jak często, z jakimi kodami odpowiedzi, ile czasu poświęca na grupy szablonów i ile na śmieci.

02

Zestawienie z crawlem i indeksem

Porównuję to, co robot pobiera, z tym, co serwis chce mieć w indeksie i co faktycznie w nim jest według Search Console; wyznaczam rozbieżności.

03

Reguły dla nawigacji fasetowej

Projektuję, które kombinacje filtrów mają być indeksowalne (bo mają popyt), które mają canonical do kategorii, a które są blokowane lub oznaczone noindex.

04

robots.txt, noindex, canonical

Układam spójny zestaw dyrektyw: blokady dla parametrów i wyszukiwarki wewnętrznej, noindex dla stron bez wartości, canonicale dla duplikatów – bez sprzeczności między nimi.

05

Stronowanie i linkowanie wewnętrzne

Ograniczam głębokość stronowania, skracam ścieżkę kliknięć do ważnych stron i usuwam linki wewnętrzne do adresów, których robot nie powinien odwiedzać.

06

Mapy XML i sygnały świeżości

Dzielę mapy według typów stron, dodaję prawdziwe daty modyfikacji i usuwam z nich adresy niekanoniczne, żeby robot wiedział, co się zmieniło.

07

Wydajność serwera dla robota

Sprawdzam czas odpowiedzi dla Googlebota, błędy 5xx, limity i ruch robotów AI; proponuję cache i reguły dla botów, które nie przynoszą wartości.

08

Monitoring po wdrożeniu

Po zmianach porównuję logi i raporty Search Console z okresem bazowym: udział wartościowych adresów w crawlu i czas do indeksacji nowych stron.

Jak przebiega współpraca

  1. 1
    tydzień 1

    Dostęp do logów i danych

    Pozyskuję logi z co najmniej 4 tygodni, dostęp do Search Console i mapy szablonów serwisu; uzgadniam, co ma być w indeksie.

  2. 2
    tydzień 2–3

    Analiza i projekt reguł

    Analizuję logi, crawl i indeks; projektuję reguły dla fasetów, parametrów, stronowania, map XML i robots.txt.

  3. 3
    tydzień 4–6

    Wdrożenie z zespołem

    Programiści wdrażają reguły etapami; ja weryfikuję każdy etap, żeby nie zablokować przypadkiem ważnych stron.

  4. 4
    tydzień 7–12

    Pomiar efektów

    Porównuję logi i raporty po wdrożeniu z okresem bazowym i koryguję reguły tam, gdzie efekt jest niepełny.

Czego się spodziewać i kiedy

Horyzont Co się dzieje Czym to mierzę
3 tygodnie Wiesz, na co robot wydaje budżet i jaki zestaw reguł to zmieni. Udział adresów wartościowych w żądaniach Googlebota, lista reguł z priorytetami.
1–2 miesiące Robot przestaje pobierać śmieci, częściej odwiedza kategorie i nowe strony. Logi: udział wartościowych szablonów w crawlu; Search Console: statystyki indeksowania.
2–4 miesiące Nowe strony indeksują się w godzinach lub dniach zamiast tygodni; indeks zawiera głównie kanoniczne adresy. Czas od publikacji do indeksacji, liczba stron w statusach niezindeksowanych.
4–8 miesięcy Czystszy indeks i szybsze odświeżanie przekładają się na widoczność kategorii i stron produktów. Kliknięcia w Search Console dla kluczowych szablonów, ruch organiczny w GA4.

Koszt i model rozliczenia

Model projekt – stała cena za analizę i projekt reguł; nadzór wdrożenia godzinowo
Co wpływa na cenę
  • Liczba adresów w serwisie i objętość logów
  • Złożoność nawigacji fasetowej i liczba parametrów w adresach
  • Liczba szablonów i wersji językowych
  • Zakres wsparcia przy wdrożeniu i długość monitoringu

Wycena obejmuje analizę logów, zestawienie z indeksem, projekt reguł, nadzór wdrożenia etapami i porównanie efektów po 2 miesiącach. Opisz projekt, a dostaniesz wycenę z zakresem prac rozpisanym na etapy.

Najczęstsze błędy, które widzę

  • Blokowanie w robots.txt adresów, które mają noindex lub canonical – robot nie może wtedy odczytać dyrektywy i adresy zostają w indeksie.
  • Canonical z każdej kombinacji filtrów na samą siebie, przez co Google indeksuje tysiące wariantów kategorii.
  • Usunięcie stronowania lub ukrycie go za przyciskiem w JavaScript, co odcina robota od produktów na dalszych stronach.
  • Zgłaszanie map XML z milionami adresów bez dat modyfikacji, które niczego nie mówią robotowi o tym, co się zmieniło.

Kiedy tego nie polecam

  • Strona ma kilkaset lub kilka tysięcy adresów – crawl budget nie jest problemem; jeśli strony nie indeksują się, przyczyną są blokady, jakość treści lub technika, czyli temat na audyt techniczny.
  • Problemem jest brak ruchu mimo poprawnej indeksacji – optymalizacja crawlu nic nie da; zacznij od audytu treści lub analizy konkurencji.
  • Serwis nie udostępnia logów serwera – mogę pracować na raportach Search Console, ale uczciwie: bez logów część wniosków pozostanie szacunkiem.

Pytania i odpowiedzi

Co to jest crawl budget?

To liczba adresów, które Googlebot jest w stanie i chce pobrać z Twojego serwisu w danym czasie. Zależy od wydajności serwera (limit pojemności) i od tego, jak bardzo Google chce odświeżać Twoje strony (popyt). W dużych serwisach decyduje o tym, jak szybko nowe strony trafiają do indeksu.

Czy mała strona ma problem z crawl budgetem?

Praktycznie nie. Google wprost pisze, że strony poniżej kilkudziesięciu tysięcy adresów nie muszą się nim przejmować. Jeśli mała strona nie indeksuje się, przyczyną są blokady, noindex, słaba treść lub błędy techniczne.

Co oznacza „Strona została zeskanowana, ale jeszcze nie zaindeksowana”?

Google pobrał stronę i zdecydował, że na razie nie trafi do indeksu – zwykle z powodu niskiej wartości, duplikacji lub zbyt małej liczby sygnałów. Odpowiedzią jest poprawa treści i linkowania wewnętrznego, nie ponowne zgłaszanie adresu.

Jak zablokować filtry w sklepie przed indeksowaniem?

Zależy od popytu: kombinacje z realnymi wyszukiwaniami (np. „buty damskie skórzane”) zostawiam indeksowalne z własną treścią, resztę kieruję canonicalem do kategorii lub oznaczam noindex, a parametry sortowania blokuję w robots.txt. Reguły trzeba zaprojektować, a nie blokować wszystko hurtem.

Czy potrzebna jest analiza logów serwera?

W dużych serwisach tak – tylko logi pokazują, co robot naprawdę pobiera, z jaką częstotliwością i jakie dostaje odpowiedzi. Statystyki indeksowania w Search Console są przydatne, ale zagregowane i bez listy adresów.

ŁW
Łukasz Wudyka – autor

Ekspert SEO i ochrony wizerunku w internecie z ponad dziesięcioletnią praktyką. Prezes Fundacji Usuwanie Hejtu. Prowadzi własne serwisy, na których testuje metody, zanim zaproponuje je klientom. Komentuje algorytmy Google i hejt w sieci dla mediów. Więcej o mnie

Następny krok

Indeksowanie i crawl budget – zacznijmy od diagnozy

Opisz, co ma się zmienić. Odpowiem, co da się zrobić, w jakim czasie i za ile.