467

John Mueller z Google o blokowaniu plików Robots.txt przed indeksowaniem

question-mark-1872665-1280.jpg

Niedawno John Mueller z Google udzielił kilku porad na temat blokowania plików robots.txt i map witryn przed indeksowaniem w wynikach wyszukiwania.

Ta rada została zainspirowana przez tweeta Gary'ego Illyesa, który wskazał, że plik robots.txt może być technicznie indeksowany jak każdy inny adres URL. Chociaż zawiera on specjalne wskazówki dotyczące indeksowania, nic nie stoi na przeszkodzie, aby został zaindeksowany przez roboty.

W odpowiedzi na tego tweeta, Mueller powiedział, że nagłówek HTTP x-robots-tag może być użyty do blokowania indeksowania plików robots.txt lub map witryn. To jednak nie wszystko, co miał do powiedzenia w tej sprawie, ponieważ nie obyło się bez dodatkowego komentarza:

„Ponadto, jeśli plik robots.txt lub mapa witryny znajduje się w wynikach wyszukiwania (nie witryny :), zwykle oznacza to, że witryna jest naprawdę w złym stanie i powinna zostać poprawiona”.

Jeśli więc masz problem z tym, że plik robots.txt pojawia się w wynikach wyszukiwania, zablokowanie go za pomocą nagłówka HTTP x-robots-tag jest dobrym rozwiązaniem krótkoterminowym. Ale jeśli pomimo tego tak się dzieje, prawdopodobnie w dłuższej perspektywie należy rozwiązać znacznie większe problemy, jak sugeruje Mueller.

Jagusiak Jacek
Od 2010 roku zajmuje się wszelkimi sprawami dotyczącymi SEO. Przeżyłem niejedną aktualizację algorytmu Google, więc trudno mnie dziś zaskoczyć. Lata doświadczenia robią swoje – moje metody są sprawdzone na przestrzeni lat i przede wszystkim bezpieczne.
13-11-2019 1722 odsłon