467

John Mueller z Google o blokowaniu plików Robots.txt przed indeksowaniem

question-mark-1872665-1280.jpg

Niedawno John Mueller z Google udzielił kilku porad na temat blokowania plików robots.txt i map witryn przed indeksowaniem w wynikach wyszukiwania.

Ta rada została zainspirowana przez tweeta Gary'ego Illyesa, który wskazał, że plik robots.txt może być technicznie indeksowany jak każdy inny adres URL. Chociaż zawiera on specjalne wskazówki dotyczące indeksowania, nic nie stoi na przeszkodzie, aby został zaindeksowany przez roboty.

W odpowiedzi na tego tweeta, Mueller powiedział, że nagłówek HTTP x-robots-tag może być użyty do blokowania indeksowania plików robots.txt lub map witryn. To jednak nie wszystko, co miał do powiedzenia w tej sprawie, ponieważ nie obyło się bez dodatkowego komentarza:

„Ponadto, jeśli plik robots.txt lub mapa witryny znajduje się w wynikach wyszukiwania (nie witryny :), zwykle oznacza to, że witryna jest naprawdę w złym stanie i powinna zostać poprawiona”.

Jeśli więc masz problem z tym, że plik robots.txt pojawia się w wynikach wyszukiwania, zablokowanie go za pomocą nagłówka HTTP x-robots-tag jest dobrym rozwiązaniem krótkoterminowym. Ale jeśli pomimo tego tak się dzieje, prawdopodobnie w dłuższej perspektywie należy rozwiązać znacznie większe problemy, jak sugeruje Mueller.

13-11-2019 1669 odsłon