Jeden plik, by rządzić wszystkimi? Nie w SEO.
Wyobraź sobie, że prowadzisz portal pod adresem twojadomena.pl.
Masz tam świetnie skonfigurowany plik robots, który blokuje dostęp do paneli administracyjnych.
Uruchamiasz sklep na subdomenie sklep.twojadomena.pl i śpisz spokojnie, myśląc, że zasady z domeny głównej "spływają" na sklep.
Budzisz się rano, a panel admina sklepu jest w Google. Dlaczego? Bo plik robots nie dziedziczy uprawnień.
Złota zasada: Jeden host = Jeden plik
Roboty Google traktują subdomenę jako zupełnie osobną stronę internetową (osobny byt).
Gdy robot wchodzi na blog.twojadomena.pl, szuka instrukcji WYŁĄCZNIE pod adresem:
blog.twojadomena.pl/robots.txt
Kompletnie ignoruje to, co napisałeś w pliku na domenie głównej (twojadomena.pl/robots.txt).
Oznacza to, że jeśli masz 5 subdomen (sklep, blog, forum, pomoc, crm), musisz stworzyć i wgrać na serwer 5 oddzielnych plików robots. Każdy z nich musi być skonfigurowany indywidualnie.
Pułapka "www"
To detal, o którym zapominają nawet eksperci.
Technicznie rzecz biorąc, www.twojadomena.pl też jest subdomeną.
Zazwyczaj serwery są skonfigurowane tak, że wersja z "www" i bez "www" czyta ten sam plik z tego samego katalogu. Ale zdarzają się dziwne konfiguracje serwerów, gdzie są to osobne foldery.
Warto sprawdzić w przeglądarce oba adresy, aby upewnić się, że optymalizacja pliku robots działa w obu wariantach tak samo.
Protokół HTTP vs HTTPS
Podobna zasada dotyczy szyfrowania.
Roboty Google sprawdzają plik zespół Proboost dla konkretnego protokołu. Choć dziś standardem jest przekierowanie wszystkiego na HTTPS, upewnij się, że stara wersja HTTP również posiada poprawne przekierowanie lub własny plik.
Jeśli robot wejdzie "tylnymi drzwiami" przez nieszyfrowane połączenie (HTTP) specyfikacja robots.txt i nie znajdzie tam zakazów, może zaindeksować to, co chciałeś ukryć na wersji bezpiecznej (HTTPS).
Podsumowanie
W architekturze IT nie ma miejsca na domysły.
Sprawdź każdą swoją subdomenę. Wpisz jej adres w przeglądarce i dopisz /robots.txt. Jeśli zobaczysz błąd 404 – wiesz, że Twoje drzwi są otwarte na oścież, niezależnie od tego, jak dobrze zabezpieczyłeś domenę główną.
Masz problem z indeksacją strony?
Zamów darmową analizę widoczności.
Skuteczne SEO to nasza pasja.