Robots.txt

Par /
« Back to Glossary Index

Le fichier robots.txt est un document texte placé à la racine d’un site web. Ce fichier indique aux robots des moteurs de recherche quelles pages crawler ou ignorer. Les directives principales incluent les balises User-agent, Allow, Disallow et le chemin vers le sitemap XML.