# robots.txt — sovalab.pl # # Zasada, na której stoi ten plik: robots.txt blokuje tylko to, czego # wyszukiwarka nie ma po co pobierać. Tym, co ma być pobrane, ale nie ma trafić # do wyników, zajmuje się `noindex` i `canonical` — a żeby Google je zobaczył, # musi mieć prawo wejść na stronę. Blokada w robots.txt to uniemożliwia. # # Co zmieniono względem poprzedniej wersji: # # 1. Odblokowane /wp-content/themes/ i /wp-content/plugins/. Na jednej stronie # produktu wisi 22 plików CSS i JS z tych katalogów — poprzednia wersja je # blokowała, więc Googlebot renderował sklep bez arkuszy stylów. Google # odradza to wprost od 2014 roku. # # 2. Usunięte reguły z gotowca pod sklepy anglojęzyczne: /product, /shop, # /goods, /cate, /brand, /list, /item, /citem, /groupbuy, /cofing, # /dailydeal, /timesale, /categorys, /abe.php, /siti.php, /wpup.php. # Żadna nie łapała realnego adresu — produkty siedzą w korzeniu z polskimi # slugami — ale wystarczyłby jeden produkt ze slugiem „lista-…” albo # „item-…”, żeby zniknął z wyników bez ostrzeżenia. # # 3. Odblokowane boty AI. Poprzednia wersja przepuszczała wyłącznie OpenAI, # a blokowała Claude, Perplexity, Gemini, Apple i resztę — mimo że cała # praca nad danymi strukturalnymi w motywie była robiona pod czytelność # dla AI. Blokada sprawiała, że ta praca trafiała w ścianę. # # 4. Zdjęte blokady /koszyk/, /moje-konto/ i /tag/. Koszyk i konto mają już # „noindex, follow” z WooCommerce, a /tag/ zwraca 404 — blokada tylko # zasłaniała Google te odpowiedzi. # # 5. Zdjęte blokady ?orderby= i ?sort=. Rank Math ustawia na nich canonical # na /sklep/, co jest mocniejszym i czytelniejszym sygnałem. # # 6. Poprawiona lista sitemap. Poprzednia wskazywała product-sitemap.xml, # a indeks zawiera product-sitemap1.xml i product-sitemap2.xml — wystarczy # podać sam indeks. User-agent: * # Zaplecze i katalogi bez treści Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-includes/ Allow: /wp-admin/admin-ajax.php # Pliki, które nigdy nie powinny trafić do wyników Disallow: /wp-content/uploads/wc-logs/ Disallow: /wp-content/uploads/woocommerce_transient_files/ Disallow: /wp-content/uploads/woocommerce_uploads/ Disallow: /wp-content/litespeed/ # CSS, JS i obrazki zostają dostępne — bez nich wyszukiwarka nie widzi strony # tak, jak widzi ją klient. Allow: /wp-content/themes/ Allow: /wp-content/plugins/ Allow: /wp-content/uploads/ # Wyszukiwarka wewnętrzna i archiwa bez własnej treści Disallow: /?s= Disallow: /search/ Disallow: /author/ Disallow: /date/ Disallow: /feed/ # Pułapki na crawlera: adresy zmieniające stan i kombinacje filtrów, # których liczba rośnie wykładniczo. Disallow: /*?add-to-cart= Disallow: /*?filter= Disallow: /*?min_price= Disallow: /*?max_price= Disallow: /*?filter_* Sitemap: https://sovalab.pl/sitemap_index.xml