Pourquoi Slurp explore-t-il ma page ?

Vous êtes webmaster et vous recherchez des informations sur l’agent utilisateur Slurp ? Nous nous occupons de tout.

Qu’est-ce que Slurp ?

Slurp est le robot Yahoo Search qui permet de parcourir et d'indexer les informations des pages Web. Certains résultats Yahoo Search proviennent de nos partenaires et ces sites doivent autoriser Yahoo Slurp à y accéder pour apparaître dans les résultats de la recherche mobile Yahoo. Par ailleurs, Slurp effectue les opérations suivantes :

  • Il collecte des contenus sur les sites partenaires et les intègre dans des sites tels que Yahoo Actualités, Yahoo Finance et Yahoo Sport.
  • Il accède aux pages des sites Web afin de vérifier et d'améliorer le contenu personnalisé de Yahoo pour nos utilisateurs.

Comment Slurp s’identifie-t-il ?

L'accès aux sites Web par Slurp est identifié par l'agent utilisateur Slurp. La valeur complète de l'agent utilisateur qui apparaît dans les journaux des accès est la suivante :

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Empêcher Slurp de lire des pages de votre site

Slurp obéit à la norme d'exclusion des robots. Si vous souhaitez empêcher Slurp de lire certaines parties de votre site, créez un fichier robots.txt dans le répertoire racine (dossier de base) de votre site Web, puis ajoutez une règle « User-agent: Slurp ».

Exemple de code dans un fichier robots.txt :

User-agent: Slurp
Disallow: /cgi-bin/

  Remarque : Slurp suit la règle de la première entrée du fichier robots.txt avec agent utilisateur contenant « Slurp ». En l'absence d'un tel enregistrement, il suit la règle de la première entrée avec agent utilisateur « * ».

Plus d'informations sur les métatags et robots.txt

Gérez l'affichage de votre site Web dans Yahoo Search - Consultez notre guide sur l'utilisation des métatags et de robots.txt avec Slurp.

FAQ

Slurp ralentit-il mon site Web ?

Slurp est conçu pour effectuer des requêtes raisonnables qui ne surchargent pas les sites Web. Toutefois, si les performances de votre site vous préoccupent, vous pouvez limiter les pages parcourues par Slurp en ne lui autorisant pas l'accès à certains sous-répertoires ou en ralentissant la vitesse de cette navigation à l'aide d'un retardateur de navigation. En savoir plus sur l'utilisation avec Slurp des instructions « disallow » et « crawl-delay » dans le fichier robots.txt.

Obtenir de l'aide

Les webmasters peuvent contacter directement l'assistance Yahoo en écrivant à l'adresse suivante : crawl-support@yahoo-inc.com.