Il semblerais que Google teste actuellement une nouvelle commande pour son fichier robots.txt.

Des webmasters ont en effet découvert que Google prenait en compte une directive nommée “noindex” pour le fichier “robots.txt” d’un site.

Si votre fichier robots.txt contient cette nouvelle commande, il est possible que cela signifie pour le moteur de recherche de ne pas indexer votre site. (la directive Disallow permet de bloquer ou de supprimer des pages).

Alors que la directive “Disallow” permettrait d’indiquer aux robots de ne pas tenir compte du contenu d’un répertoire (pas d’indexation, pas de suivi des liens), “Noindex” se réduirait à la non-indexation des pages, mais en identifiant les liens qu’elles contiennent. Soit l’équivalent de la balise meta “Robots” contenant “Noindex, Follow”.

Les autres directives que Google semble tester sont Noarchive et Nofollow.