348

Naprawianie indeksu w Google - najlepsze metody na usunięcie zbędnych podstron z SERP

internet-search-engine-1433323-1280.jpg

Google dobrze sobie radzi. Czasami trochę za dobrze z indeksowaniem stron, których nigdy nie zamierzaliśmy indeksować. Google może zaindeksować niepożądane adresy URL, które nie są zawarte w mapie witryny, a także osierocone adresy URL niepowiązane z witryną i jej strukturą czy też dziwne adresy URL, o których istnieniu możesz nawet nie wiedzieć.

Większość specjalistów SEO obawia się takich sytuacji, a i Ty drogi czytelniku musisz również zadbać o usunięcie stron o niskiej jakości z indeksu.

Przyjrzyjmy się dziś, dlaczego posiadanie mniejszej liczby zaindeksowanych stron może prowadzić do większej liczby wejść na stronę jak i do zwiększenia jej widoczności. Dowiecie się dziś również, w jaki sposób różne metody deindeksowania wpływają na SEO.

Indeks może cierpieć na wzdęcie

I tak, to Ty jesteś winny jego cierpieniom. Dlaczego piszę o wzdęciach? Otóż indeksowanie wszystkiego i byle czego, treści o niskiej jakości sprawiają, że w indeksie znajdziemy wiele podstron z naszego serwisu – pozornie to bardzo fajnie, ale tracimy my na tym najwięcej. Tak napakowany indeks bezsensownymi wynikami można łatwo porównać do przypadłości jaką jest wzdęcie.

Śmieciowe adresy, to podstrony serwisu automatycznie generowane, z niewielką ilością unikalnej treści lub całkowicie jej nie posiadającej. Istnienie tych adresów URL ma kaskadowy wpływ na cały techniczny proces SEO.

Przykłady typowych adresów URL powodujących wzdęcia indeksu to:

  • Nieuporządkowane strony archiwalne
  • Niekontrolowane strony tagów
  • Strony paginacji
  • Niesforne strony z milionem parametrów
  • Usunięte podstrony
  • Niezoptymalizowane strony wyników wyszukiwania w witrynie
  • Automatycznie generowane profile użytkowników z niewielką zawartością
  • Adresy URL służące do śledzenia
  • Brak przekierowania na https
  • Działające obie wersje www i bez www dla badanej witryny
  • Podkatalogi strony, które nie powinny się indeksować

Tak przeładowany indeks zmniejsza wydajność indeksowania, gdy Googlebot przebija się przez ścieżki o niskiej wartości. Spowalnia to szybkość indeksowania nowych treści i ponownego indeksowania zaktualizowanych treści o dużej wartości SEO.

Często indeks zawiera zduplikowane treści lub powoduje kanibalizację słów kluczowych. Ponieważ wiele stron z jednej witryny konkuruje o ten sam cel wyszukiwania, dla algorytmów wyszukiwarek staje się to mylące, która strona jest najbardziej odpowiednia, ponieważ sygnały w rankingu zostają podzielone na wiele adresów URL. Utrudnia to witrynie możliwości zajmowania najwyższych pozycji.

Dodatkowo, jeśli stronom o niskiej jakości uda się zdobyć wysoką pozycję w rankingu, to użytkownicy będą prawdopodobnie rozczarowani stroną docelową i szybko wyjdą, a nam kolejny raz skoczy współczynnik odrzuceń. Wysyłanie stron słabej jakości do Google to zwykłe szkodzenie Twojej marce.

Wszystko to co opisałem powyżej obniża ocenę jakości domeny w oczach wyszukiwarek.

Jak usunąć takie strony z indeksu? 

Istnieje wiele mechanizmów, dzięki którym możesz usunąć niechciane strony z indeksu wyszukiwarki. Każdy ma swoje zalety i wady.

Status 410 kontra 404

Najszybszą metodą jest zastosowanie dla podstron, których chcemy się pozbyć nagłówka http 410 (Gone). Ten sygnał daje do zrozumienia robotom, ze strona została świadomie przez nas usunięta, działa to szybciej niż wywoływanie statusu 404 (Strona nie znaleziona). Stosowanie 404 znacznie wydłuży proces deindeksacji. Tak czy inaczej, czy 410 czy 404 zastosujesz to nic złego się nie stanie, nie będziesz jakoś za to negatywnie oceniany. Jednak jeśli usunięty adres generował Ci jakiś tam ruch na stronie to pamiętaj, stracisz go.

Przekieruj swoją moc młody Skywalkerze

Kolejnym sposobem jest zastosowanie przekierowania 301. To stosowałbym raczej wtedy, gdy masz wiele artykułów na stronie opisujących ten sam temat. Możesz je połączyć w jeden, a wszystkie inne adresy przekierować na ten jeden docelowy i skonsolidować ich moc o ile takową już posiadały. Aby to wszystko zrobić Google musi zaindeksować oryginalny adres URL, zobaczyć kod stanu 301, dodać docelowy adres URL do kolejki indeksowania, a następnie przetworzyć treść, aby potwierdzić, że ma ona równoważny charakter. Jeśli tak się stanie to moc bez żadnych strat zostanie przekazana.

Może to być powolny proces, jeśli docelowy adres URL ma niski priorytet w kolejce indeksowania. I niezwykle powolny proces, jeśli robot napotka łańcuchy przekierowań.

Co więcej, jeśli przekierujesz na nietrafną stronę, taką jak strona główna, Google potraktuje to jako miękkie 404 i nie przekaże żadnej mocy. W takim przypadku wynik działania 410 byłby taki sam, ale przy szybszym deindeksowaniu.

Link kanoniczy, ale czy magiczny?

W przypadku zduplikowanych treści na różnych adresach URL zastosowanie rel = canonical zasugeruje Google, który ze zduplikowanych adresów URL ma zostać zindeksowany.

Jeśli tag zostanie zaakceptowany, alternatywne strony (duplikaty o niższej wartości) zostaną przeszukane, ale znacznie rzadziej i zostaną wykluczone z indeksu, przekazując swoją moc do kanonu (preferowana strona do indeksowania wskazana jako kanoniczna).

Aby jednak zostać zmiana została zatwierdzona przez wszechwiedzące roboty, treść musi być bardzo podobna, a oba adresy URL muszą być zaindeksowane i przetworzone przez Google. Metoda ta jest dość powolna, ale skuteczna.

Blokowanie w Robots.txt

Dodanie strony do pliku robots.txt nie gwarantuje, że nie będzie on indeksowany. Jeśli odnośniki do danej podstrony znajdują się na wielu stronach o dość dobrym autorytecie to wyszukiwarki mogą ją uznać za istotną i włączyć do indeksu. Co więcej, blokowanie w pliku robots.txt nie jest wyraźnym sygnałem, jak wyszukiwarki powinny traktować aktualnie indeksowane adresy URL.

Tak więc z biegiem czasu strony prawdopodobnie zostaną usunięte z indeksu, ponieważ Google zwykle nie uwzględnia stron w indeksie, których nie może zaindeksować, będzie to jednak powolny proces.

Ustawienie tagu noindex

Metoda blokuje definitywnie adres przed zaindeksowaniem. Może zastosować tag meta noindex lub X-Robots-Tag. Nie używaj dyrektywy noindex w pliku robots.txt, ponieważ nie jest to honorowane przez wyszukiwarki.

Blokada hasłem

Hasło chroniące pliki na serwerze zatrzymuje wyszukiwarki przed ich indeksowaniem. Blokowanych tak adresów URL nie można indeksować ani nie przekazują mocy rankingowej.

Ale oczywiście blokuje to również użytkowników, więc nie ogranicza się to tylko do dezindeksowania treści, ale bez właściwego hasła z treści nie skorzysta nikt.

Każde deindeksowanie wymaga od wyszukiwarek przeszukania ścieżki adresu URL, zobaczenia, że nie są już mile widziane i dopiero potem następuje usunięcie treści.

Google Search Console

Jeśli masz pilną potrzebę usunięcia strony z Google, narzędzie „Usunięcia” jest szybką opcją. Żądania są zazwyczaj przetwarzane w dniu ich przesłania.

Ograniczeniem jest tutaj to, że jest to blok tymczasowy. Pomyślne żądania usunięcia potrwają około 90 dni, zanim zawartość będzie mogła ponownie pojawić się w SERP. Aby efekt został na stałe należy skorzystać z opcji blokowania np. w robots.txt zgłoszonych w tym narzędziu adresów.

Podsumowując

Ogólnie rzecz biorąc, lepiej jest zapobiegać niż leczyć.

Strategicznie zaprojektowana architektura strony internetowej i strategia treści zorientowana na użytkownika są niezbędne do osiągnięcia długoterminowego sukcesu w SEO.

Powinno temu towarzyszyć rozsądne użycie linków kanonicznych i rozsądne użycie tagu noindex, aby zapobiec rozdęciu indeksu.

Google ma wyjątkowo długą pamięć. Po zaindeksowaniu stron Google może być uparty, jeśli chodzi o ich zapomnienie. Może to sprawić, że deindeksowanie stanie się powolnym i żmudnym procesem.

Kiedy już zastosujesz odpowiednią strategię deindeksowania to uzbrój się w cierpliwość. Wyniki Twoich działań mogą zauważalne po bardzo długim czasie, ale będzie to dla Ciebie opłacalne.

06-12-2019 2486 odsłon