# For all robots
User-agent: *

# Block access to B2B
Disallow: /b2b

# Block access to disabled basestores
Disallow: /es/es
Disallow: /ch/it
Disallow: /gb/en/
Disallow: /ie/en
Disallow: /it/it

# Block access to specific groups of pages

Disallow: /se/sv/my-account
Disallow: /se/sv/cart
Disallow: /se/sv/checkout
Disallow: /se/sv/affiliate
Disallow: /se/sv/lf/s
Disallow: /se/sv/lf/f
Disallow: /se/sv/faq
Disallow: /se/sv/search
Disallow: /se/sv/_s/
Disallow: /at/de/my-account
Disallow: /at/de/cart
Disallow: /at/de/checkout
Disallow: /at/de/affiliate
Disallow: /at/de/lf/s
Disallow: /at/de/lf/f
Disallow: /at/de/faq
Disallow: /at/de/search
Disallow: /at/de/_s/
Disallow: /ch/fr/my-account
Disallow: /ch/fr/cart
Disallow: /ch/fr/checkout
Disallow: /ch/fr/affiliate
Disallow: /ch/fr/lf/s
Disallow: /ch/fr/lf/f
Disallow: /ch/fr/faq
Disallow: /ch/fr/search
Disallow: /ch/fr/_s/
Disallow: /ch/de/my-account
Disallow: /ch/de/cart
Disallow: /ch/de/checkout
Disallow: /ch/de/affiliate
Disallow: /ch/de/lf/s
Disallow: /ch/de/lf/f
Disallow: /ch/de/faq
Disallow: /ch/de/search
Disallow: /ch/de/_s/
Disallow: /no/no/my-account
Disallow: /no/no/cart
Disallow: /no/no/checkout
Disallow: /no/no/affiliate
Disallow: /no/no/lf/s
Disallow: /no/no/lf/f
Disallow: /no/no/faq
Disallow: /no/no/search
Disallow: /no/no/_s/
Disallow: /nl/nl/my-account
Disallow: /nl/nl/cart
Disallow: /nl/nl/checkout
Disallow: /nl/nl/affiliate
Disallow: /nl/nl/lf/s
Disallow: /nl/nl/lf/f
Disallow: /nl/nl/faq
Disallow: /nl/nl/search
Disallow: /nl/nl/_s/
Disallow: /fr/fr/my-account
Disallow: /fr/fr/cart
Disallow: /fr/fr/checkout
Disallow: /fr/fr/affiliate
Disallow: /fr/fr/lf/s
Disallow: /fr/fr/lf/f
Disallow: /fr/fr/faq
Disallow: /fr/fr/search
Disallow: /fr/fr/_s/
Disallow: /de/de/my-account
Disallow: /de/de/cart
Disallow: /de/de/checkout
Disallow: /de/de/affiliate
Disallow: /de/de/lf/s
Disallow: /de/de/lf/f
Disallow: /de/de/faq
Disallow: /de/de/search
Disallow: /de/de/_s/
Disallow: /dk/da/my-account
Disallow: /dk/da/cart
Disallow: /dk/da/checkout
Disallow: /dk/da/affiliate
Disallow: /dk/da/lf/s
Disallow: /dk/da/lf/f
Disallow: /dk/da/faq
Disallow: /dk/da/search
Disallow: /dk/da/_s/
Disallow: /be/fr/my-account
Disallow: /be/fr/cart
Disallow: /be/fr/checkout
Disallow: /be/fr/affiliate
Disallow: /be/fr/lf/s
Disallow: /be/fr/lf/f
Disallow: /be/fr/faq
Disallow: /be/fr/search
Disallow: /be/fr/_s/
Disallow: /be/nl/my-account
Disallow: /be/nl/cart
Disallow: /be/nl/checkout
Disallow: /be/nl/affiliate
Disallow: /be/nl/lf/s
Disallow: /be/nl/lf/f
Disallow: /be/nl/faq
Disallow: /be/nl/search
Disallow: /be/nl/_s/
Disallow: /fi/sv/my-account
Disallow: /fi/sv/cart
Disallow: /fi/sv/checkout
Disallow: /fi/sv/affiliate
Disallow: /fi/sv/lf/s
Disallow: /fi/sv/lf/f
Disallow: /fi/sv/faq
Disallow: /fi/sv/search
Disallow: /fi/sv/_s/
Disallow: /fi/fi/my-account
Disallow: /fi/fi/cart
Disallow: /fi/fi/checkout
Disallow: /fi/fi/affiliate
Disallow: /fi/fi/lf/s
Disallow: /fi/fi/lf/f
Disallow: /fi/fi/faq
Disallow: /fi/fi/search
Disallow: /fi/fi/_s/

# Block access to swedish finnish site
# Disallow: /fi/sv

#Block inactive categories
Disallow: /at/de/B%C3%BCro
Disallow: /at/de/Batterien
Disallow: /at/de/Beleuchtung
Disallow: /at/de/Drogerieartikel
Disallow: /at/de/Elektronik
Disallow: /at/de/Kleidung-und-Schuhpflege
Disallow: /at/de/Putzartikel/Reinigungsprodukte
Disallow: /at/de/Putzartikel/Staubsaugerzubeh%C3%B6r
Disallow: /be/fr/%C3%89clairage
Disallow: /be/fr/Bureau
Disallow: /be/fr/Hygi%C3%A8ne
Disallow: /be/fr/Informatique
Disallow: /be/fr/Nettoyage/Accessoires-sacs-aspirateur
Disallow: /be/fr/Nettoyage/Produits-de-nettoyage
Disallow: /be/fr/Piles-et-batteries
Disallow: /be/fr/V%C3%AAtements-et-entretien-chaussures
Disallow: /be/nl/Batterijen
Disallow: /be/nl/Elektronica
Disallow: /be/nl/Hygi%C3%ABne
Disallow: /be/nl/Kantoor
Disallow: /be/nl/Kleding-en-schoenonderhoud
Disallow: /be/nl/Schoonmaak/Reinigingsproducten
Disallow: /be/nl/Schoonmaak/Stofzuiger-accessoires
Disallow: /be/nl/Verlichting
Disallow: /ch/fr/%C3%89clairage
Disallow: /ch/fr/Bureau
Disallow: /ch/fr/Hygi%C3%A8ne
Disallow: /ch/fr/Informatique
Disallow: /ch/fr/Nettoyage/Accessoires-sacs-aspirateur
Disallow: /ch/fr/Nettoyage/Produits-de-nettoyage
Disallow: /ch/fr/Piles-et-batteries
Disallow: /ch/fr/V%C3%AAtements-et-entretien-chaussures
Disallow: /ch/de/B%C3%BCro
Disallow: /ch/de/Batterien
Disallow: /ch/de/Beleuchtung
Disallow: /ch/de/Drogerieartikel
Disallow: /ch/de/Elektronik
Disallow: /ch/de/Kleidung-und-Schuhpflege
Disallow: /ch/de/Putzartikel/Reinigungsprodukte
Disallow: /ch/de/Putzartikel/Staubsaugerzubeh%C3%B6r
Disallow: /de/de/B%C3%BCro
Disallow: /de/de/Batterien
Disallow: /de/de/Beleuchtung
Disallow: /de/de/Drogerieartikel
Disallow: /de/de/Elektronik
Disallow: /de/de/Kleidung-und-Schuhpflege
Disallow: /de/de/Putzartikel/Reinigungsprodukte
Disallow: /de/de/Putzartikel/Staubsaugerzubeh%C3%B6r
Disallow: /fr/fr/%C3%89clairage
Disallow: /fr/fr/Bureau
Disallow: /fr/fr/Hygi%C3%A8ne
Disallow: /fr/fr/Informatique
Disallow: /fr/fr/Nettoyage/Accessoires-sacs-aspirateur
Disallow: /fr/fr/Nettoyage/Produits-de-nettoyage
Disallow: /fr/fr/Piles-et-batteries
Disallow: /fr/fr/V%C3%AAtements-et-entretien-chaussures
Disallow: /nl/nl/Batterijen
Disallow: /nl/nl/Elektronica
Disallow: /nl/nl/Hygi%C3%ABne
Disallow: /nl/nl/Kantoor
Disallow: /nl/nl/Kleding-en-schoenonderhoud
Disallow: /nl/nl/Schoonmaak/Reinigingsproducten
Disallow: /nl/nl/Schoonmaak/Stofzuiger-accessoires
Disallow: /nl/nl/Verlichting
Disallow: /se/sv/Batterier
Disallow: /se/sv/Kl%C3%A4der-och-skov%C3%A5rd
Disallow: /no/no/Batterier
Disallow: /no/no/Kl%C3%A6r-og-skopleie
Disallow: /dk/da/Batterier
Disallow: /dk/da/T%C3%B8j-og-skopleje
Disallow: /fi/fi/Akut-ja-paristot
Disallow: /fi/fi/Vaatteet-ja-keng%C3%A4nhoito
Disallow: /fi/sv/Batterier
Disallow: /fi/sv/Kl%C3%A4der-och-skov%C3%A5rd

#
#Request-rate: 1/10              # maximum rate is one page every 10 seconds
#Crawl-delay: 10                 # 10 seconds between page requests
#Visit-time: 0400-0845           # only visit between 04:00 and 08:45 UTC
#
User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

# Block CazoodleBot as it does not present correct accept content headers
User-agent: CazoodleBot
Disallow: /
#
# Block MJ12bot as it is just noise
User-agent: MJ12bot
Disallow: /
#
# Block dotbot as it cannot parse base urls properly
User-agent: dotbot/1.0
Disallow: /
#
# Block Gigabot
User-agent: Gigabot
Disallow: /
#


# Block SemrushBot from crawling your site for web graph of links
User-agent: SemrushBot
Disallow: /

#Block MegaIndex from crawling your site for web graph of links
User-agent: MegaIndex.ru
Disallow: /

#Block AhrefsBot from crawling your site for web graph of links
User-agent: AhrefsBot
Disallow: /

#Block wotbox from crawling your site for web graph of links
User-agent: wotbox
Disallow: /

#Block SafeDNSBot from crawling your site for web graph of links
User-agent: SafeDNSBot
Disallow: /