Większość doświadczonych blogerów z pewnością wie, czym jest robots.txt i do czego potrzebny jest ten plik. Ale niewielu autorów od razu spieszy się z utworzeniem pliku robots.txt po zainstalowaniu bloga na WordPressie.
Robots.txt to plik tekstowy, który jest przesyłany do katalogu głównego witryny i zawiera instrukcje dla robotów indeksujących. Głównym celem jego użycia jest uniemożliwienie indeksowania poszczególnych stron i sekcji w serwisie. Jednak za pomocą robots.txt możesz również określić poprawny mirror domeny, przepisać ścieżkę do mapy witryny i tym podobne.
Większość nowoczesnych wyszukiwarek nauczyła się dobrze poruszać po popularnym CMS i zwykle nie próbuje indeksować treści, które nie są do tego przeznaczone. Na przykład Google nie zindeksuje obszaru administracyjnego Twojego bloga WordPress, nawet jeśli nie określisz go bezpośrednio w pliku robots.txt. Jednak w niektórych przypadkach stosowanie bezpośrednich zakazów może być nadal przydatne. A mówimy przede wszystkim o zakazie powielania treści.
Niektórzy webmasterzy posuwają się tak daleko, że zabraniają indeksowania stron kategorii i tagów, ponieważ ich zawartość częściowo powiela zawartość strony głównej. Jednak większość ogranicza się do zakazu stron śledzenia i kanałów, które całkowicie powielają treść artykułu i nie są w ogóle przeznaczone dla wyszukiwarek. Takie zabezpieczenie nie tylko sprawi, że wyniki w witrynie będą „czystsze”, ale także uchroni Cię przed ewentualnymi filtrami wyszukiwania, zwłaszcza po wprowadzeniu nowego algorytmu Google Panda.
Oto zalecane dyrektywy dla pliku robots.txt (będzie działać na prawie każdym blogu WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / motywy Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Należy pamiętać, że w pliku robots.txt foldery administracyjne wp-admin i wp-includes są całkowicie zamknięte dla indeksowania. Folder wp-content jest tylko częściowo zamknięty, ponieważ zawiera katalog przesyłania, który zawiera wszystkie obrazy z Twojego bloga, które powinny być zindeksowane.
Wszystko, co musisz zrobić, to skopiować dyrektywy z powyższego kodu (pamiętaj, że każda dyrektywa musi być napisana w nowej linii), zapisać je w pliku tekstowym o nazwie robots.txt i przesłać do katalogu głównego witryny.
Zawsze możesz sprawdzić, czy plik robots.txt działa poprawnie, korzystając z interfejsów Google Webmaster Tools i Yandex Webmaster.
