User-agent: CCBot Allow: /
Ce site (stockavenue.fr) autorise explicitement le crawler Common Crawl (CCBot) à explorer et indexer l’ensemble de son contenu public.
Référence : Common Crawl Robots Documentation
User-agent: CCBot Allow: /
Ce site (stockavenue.fr) autorise explicitement le crawler Common Crawl (CCBot) à explorer et indexer l’ensemble de son contenu public.
Référence : Common Crawl Robots Documentation