Plus de 5 milliards de recherches Google sont effectuées chaque jour! Tout le monde est sur Google pour trouver des réponses à leurs requêtes et découvrir de nouvelles choses. En fait, Google est classé comme le site Web le plus populaire sur les marchés mondiaux et américains. Si votre entreprise ne figure pas sur la page de résultats du moteur de recherche Google (SERP), vous êtes condamné!
Pourquoi les robots Google sont-ils importants?
Rampant. Indexage. Classement. Ce sont les trois étapes de base utilisées par les robots automatisés des moteurs de recherche de Google (également appelés robots ou araignées) pour générer des résultats sur le SERP. Si votre site Web est hostile à ces robots d'exploration, vous n'avez aucune chance d'attirer du trafic organique vers votre site.
Alors, comment pouvez-vous faire en sorte que les robots Google trouvent et explorent votre site? Tout d'abord, sachez où vous en êtes. Effectuez un audit SEO approfondi de votre site pour évaluer ses performances SEO sur site, hors site et techniques. Deuxièmement, déterminez le nombre de pages indexées. Tapez simplement "site: yoursite.com" dans la barre de recherche Google. Si le nombre de résultats est considérablement inférieur au nombre réel de pages sur votre site, Google n'explore pas toutes les pages de votre site et vous devez y remédier.
Six raisons pour lesquelles les robots Google n'explorent pas votre site
Sans plus tarder, comprenons ce qui rend un site Web hostile aux robots et ce que les webmasters peuvent y faire.
1. Vous avez bloqué les robots Google.
Google n'indexe-t-il pas l'intégralité de votre site Web? Dans ce cas, la première chose que vous devez vérifier est votre fichier robots.txt. Recherchez des extraits de code qui empêchent les robots d'explorer une page de votre site et supprimez simplement ce code.
En outre, recherchez un bloc d'analyse dans le fichier robots.txt à l'aide de l'outil d'inspection d'URL dans Google Search Console. Si vous voyez une erreur indiquant que l'exploration est bloquée par robots.txt, supprimez-la pour aider les robots Google à explorer et à indexer votre page.
Parfois, il faut plus d'une semaine à Google pour explorer un nouveau site Web. Dans de tels cas, il est sage d'ouvrir un compte Google Search Console et de pointer Google vers l'URL de votre sitemap. Si votre site n'a pas de plan du site, créez-en un maintenant.
Une autre façon d'interdire l'indexation de recherche à partir de votre site Web est d'avoir la balise Meta "noindex". Si vous voyez le code suivant dans la balise META, supprimez-le pour permettre à Google d'indexer votre site.
2. Vous n'avez pas encore créé de compte Google Console / Analytics.
Google Analytics est un outil d'analyse Web gratuit qui collecte et organise les données de trafic dans des rapports personnalisables et Google Search Console offre aux webmasters des informations détaillées sur la façon dont Google voit un site Web.
L'activation manuelle de ces services Google enverra un signal aux robots Google que vous travaillez sérieusement à renforcer votre présence sur le Web. En fait, Search Console peut vous aider à évaluer la santé de votre site Web et à résoudre les problèmes qui empêchent vos pages d'être indexées.
Par exemple, si vous avez une nouvelle page sur votre site, il est fort possible que Google n'ait pas encore eu l'occasion de l'explorer. L'outil d'inspection d'URL dans GSC peut vous aider à savoir si la page est indexée ou non et vous proposer un rapport complet. Alors, dites bonjour à Google en configurant un compte Search Console et visitez-le régulièrement pour voir les performances de votre site dans le SERP.
Un autre point à garder à l'esprit est que l'ancienne Google Search Console permettait aux webmasters de faire tester, afficher, explorer et indexer n'importe quelle URL par Google à l'aide de l'outil "Récupérer comme Google". Bien que cette fonctionnalité n'existe pas dans la nouvelle version, vous pouvez toujours demander à Google d'indexer vos pages Web.
3. Votre site Web a un mauvais profil de liaison interne.
Les liens internes sont essentiels pour aider Google à trouver, comprendre et indexer vos pages Web. Ils permettent aux utilisateurs de naviguer facilement sur un site, d'établir une hiérarchie d'informations et de répartir l'équité des liens sur le site. Par exemple, selon Moz, la structure de liens optimale pour un site Web devrait ressembler à une pyramide, avec votre page d'accueil en haut de la structure.
La plupart des sites de commerce électronique, y compris Amazon, utilisent cette structure et ajoutent des liens internes à partir de leurs pages les plus fiables. Google va réanalyser ces pages puissantes, lui permettant de trouver le lien interne et d'indexer la page respective. Vous pouvez trouver les pages les plus fiables sur votre site Web à l'aide d'outils tels que Google Analytics et Ahrefs Site Explorer.
Enfin, les robots Google n'explorent pas de liens avec la balise rel = "nofollow". Les liens internes non suivis obligent les robots de Google à ignorer le lien. Par conséquent, il est important de supprimer la balise nofollow des liens internes, sauf s'ils pointent vers une page sans importance que vous souhaitez exclure de l'index du moteur de recherche.
4. Google n'aime pas votre structure d'URL.
Google conseille aux webmasters de garder les structures d'URL simples et lisibles. Par conséquent, vous devez éviter d'utiliser des ID longs et complexes qui peuvent causer des problèmes aux robots d'exploration. Selon Google, ces URL complexes contiennent plusieurs paramètres et créent un nombre inutilement élevé d'URL qui pointent vers un contenu identique sur votre site. Cela obligera les robots de Google à consommer plus de bande passante pour explorer la page Web ou à ne pas explorer la page du tout.
Dans la mesure du possible, ayez une taxonomie d'URL propre que les bots peuvent comprendre. De plus, utilisez le fichier robots.txt pour bloquer l'accès du bot aux URL problématiques s'il y en a.
Les permaliens sont des URL qui permettent de lier votre contenu sur votre site Web, permettant à Google de trouver facilement la page. Google aime les URL courtes qui indiquent clairement le titre ou les mots clés importants.
Par défaut, WordPress crée des permaliens étranges ou des structures d'URL qui peuvent contenir des ID de jour, de date, de mois ou de publication. Ceux-ci ne sont pas préférés par Google. Si votre site est hébergé par WordPress, utilisez la structure "Post name" dans les paramètres de Permalink sur le tableau de bord WordPress.
5. Google a temporairement supprimé votre site de son index.
Si votre site Web ne respecte pas les consignes de qualité de Google ou a un historique louche, le moteur de recherche peut désindexer, pénaliser ou supprimer votre site des résultats de recherche.
Désindexé ou interdit: Si un site Web est complètement supprimé de la page de recherche Google, il est désindexé.Pénalisé: Parfois, une pénalité manuelle qui se cache peut empêcher votre site d'être indexé. Si votre site Web ou une page existe toujours mais est introuvable dans les résultats de recherche, Google a pénalisé votre site. Cette pénalité peut être appliquée par l'algorithme de Google ou appliquée manuellement par l'ingénieur qualité de Google.Bac à sable: Google Sandbox est un filtre présumé qui empêche les nouveaux sites Web de se classer en tête. Si le trafic de votre nouveau site ou page a soudainement chuté et qu'il n'a pas été désindexé ou pénalisé, Google a mis votre site en sandbox.
En règle générale, Google alerte les webmasters lorsque leurs sites Web enfreignent les consignes de qualité. Dans de tels cas, il est conseillé de modifier le site et de demander à Google d'examiner le site une fois les problèmes résolus.
6. Vous n'avez pas optimisé pour les robots Google.
L'optimisation de votre site Web pour les robots Google n'est pas la même chose que l'optimisation des moteurs de recherche. Une fois que vous avez soumis votre site Web au moteur de recherche, les robots Google explorent les pages pour trouver du contenu. Ces araignées analysent votre site pour le méta-contenu, la saturation des mots clés, le contenu pertinent et certains autres facteurs. Par conséquent, il est important d'optimiser votre père pour de tels scans.
Créez un site indexable et offrant des informations pertinentes aux robots Google. Faites attention aux facteurs de classement technique pour améliorer l'expérience du robot d'exploration de votre site. Voici quelques paramètres que vous ne devez pas ignorer.
Contenu de bonne qualité: Créez du contenu pertinent et de haute qualité pour votre public. L'algorithme de Google attribue aux sites qui proposent un contenu original et pertinent un classement plus élevé que ceux qui utilisent des fillers ou partagent du contenu en double. Bien que la canonisation des pages soit logique, faites-le judicieusement. La canonisation, lorsqu'elle n'est pas effectuée avec soin, peut confondre les araignées de Google, ce qui rend difficile pour elles l'exploration et l'indexation de votre site. Navigation facile: Assurez-vous que votre site Web dispose d'une barre de navigation qui renvoie à toutes les pages principales de votre site Web.Rapport texte / HTML: Étant donné que les robots de Google lisent du texte, assurez-vous que votre site Web présente un rapport texte / HTML élevé (idéalement, entre 25% et 70%) en faveur du texte. De plus, minimisez JavaScript ou assurez-vous qu'il se charge après HTML, car les bots reçoivent des signaux du texte dans le code HTML. Vitesse du site: Le temps de chargement de votre site est un facteur de classement important que les robots Google prennent en compte lors de l'indexation de votre site. Assurez-vous de tester la vitesse de votre site et de prendre les mesures nécessaires pour améliorer son temps de chargement. Données structurées: Le balisage de schéma ou les données structurées donnent du contexte à votre site Web, permettant aux araignées de Google de faire le sens du contenu et d'indexer les pages en toute simplicité. Boostez le référencement de votre site en utilisant le balisage de schéma.
Quel que soit le nombre de backlinks dont ils disposent ou le contenu de haute qualité qu'ils partagent, les sites hostiles aux robots n'existent pas aux yeux de Google. Si votre site Web ou vos pages Web présentent des problèmes d'exploration, les robots Google ne pourront pas les découvrir ou les indexer, ce qui vous fera perdre votre classement en ligne. Les informations partagées dans ce post vous aideront à identifier pourquoi les robots Google ne parcourent pas votre site, vous permettant de prendre les mesures correctives nécessaires.