TechSEO360 Crawler Guide – Sitemaps et audits techniques de référencement

Depuis 10 ans, le robot que j'utilise pour les audits techniques de sites Web que je fais chez Search Engine People s'appelle aujourd'hui TechSEO360. Un joyau caché; rentable, efficace (analyse n’importe quel site de n’importe quelle taille), visionnaire (par exemple: avait le support AJAX avant d’autres outils de ce type). J'ai déjà écrit sur le robot d'exploration de ce site Web, mais je voulais faire un article plus complet tout-en-un.

TechSEO360 expliqué

TechSEO360 est un robot de référencement technique dont les points forts sont:

Logiciel natif pour Windows et Mac.
Peut explorer de très grands sites Web prêts à l'emploi.
Configuration de robot flexible pour ceux qui en ont besoin.
Utilisez des rapports intégrés ou personnalisés pour analyser les données de site Web collectées (bien que je compte généralement exporter toutes les données vers Excel et utiliser ses filtres puissants, ses fonctions de pivotement, de formatage automatique, etc.).
Créez des sitemaps XML pour images, vidéos et hreflang en plus de visuels sitemaps.

Comment ce guide est structuré

Ce guide couvrira toutes les fonctionnalités de référencement les plus importantes trouvées dans ce logiciel.

Nous utiliserons le site Web de démonstration https://Crawler.TechSEO360.com dans tous nos exemples.
Toutes les captures d'écran proviendront de la version Windows – mais la version Mac contient les mêmes fonctionnalités et outils.
Nous utiliserons TechSEO360 dans son mode libre qui est l’état basculé sur lorsque l’essai initial gratuit, totalement fonctionnel, prend fin.
Nous allons utiliser paramètres par défaut pour l'exploration et l'analyse de sites Web, sauf indication contraire.
Nous commencerons par montrer comment configurer l’exploration du site, puis nous passerons au référencement technique, aux rapports et aux plans de site.

Configuration et démarrage de l'exploration

La plupart des sites vont bien analyser les paramètres par défaut. Cela signifie que la seule configuration requise consiste généralement à entrer le chemin du site Web que vous souhaitez analyser, qu'il réside sur Internet, sur un serveur local ou sur un disque local.

Comme alternative simple à la configuration manuelle, il est également possible d'appliquer divers "préréglages rapides" qui configurent les paramètres sous-jacents. Des exemples pourraient être:

Vous savez que vous souhaitez créer un plan de site vidéo et que vous souhaitez générer le meilleur rendu possible.
Vous utilisez un CMS de site Web spécifique qui génère de nombreuses URL de contenu léger à exclure.

Pour ceux qui souhaitent se plonger dans les paramètres, vous pouvez affirmer un contrôle quasi complet du processus d'analyse, notamment:

Moteur de chenille

C’est là que vous pouvez déconner avec les éléments internes plus profonds de la façon dont les requêtes HTTP sont exécutées. Vous pouvez notamment augmenter la vitesse d’exploration en augmentant simplement le nombre de threads et de connexions simultanés. Assurez-vous simplement que votre ordinateur et votre site Web peuvent gérer la charge supplémentaire.

Filtres pour les webmasters

Contrôle dans quelle mesure le robot d'exploration doit obéir à noindex, nofollow, robots.txt et similaire.

Filtres d'analyse

Configurez les règles pour lesquelles les URL doivent avoir leur contenu analysé. Il existe plusieurs options de filtrage "exclure" et "limite", notamment les modèles d'URL, les extensions de fichier et les types MIME.

Filtres de sortie

Similaire à "Analyser les sites Web | Filtres d'analyse" – mais est utilisé à la place pour contrôler les URL "étiquetées" à supprimer lors de la fin de l'analyse du site Web.

Les URL exclues par les options trouvées dans "Analyser le site Web | Filtres pour les webmasters" et "Analyser le site Web | Filtres de sortie" peuvent toujours être conservées et affichées après l'arrêt de l'analyse du site Web si l'option "Analyser le site Web | Options du crawler | Appliquer les filtres de Webmaster et de sortie après l'analyse du site arrête "est décochée. Avec cette combinaison vous:

Gardez toutes les informations recueillies par le robot d'exploration afin de pouvoir tout inspecter.
Evitez néanmoins d'inclure les URL lors de la création de plans de site HTML et XML.
Obtenez toujours le "marquage" approprié pour les rapports et les exportations.

Progression de l'exploration

Lors de l'exploration du site Web, vous pouvez consulter diverses statistiques indiquant le nombre d'URL dont le contenu a été analysé, le nombre de liens et de références résolus et le nombre d'URL en attente dans les files d'attente.

Aperçu du site après analyse

Une fois l’exploration du site terminée, le programme ouvre une vue avec les colonnes de données à gauche:

Si vous sélectionnez une URL, vous pouvez afficher d'autres détails à droite:

Voici une vignette de ce à quoi cela peut ressembler sur un écran de taille normale:

Côté gauche

Vous trouverez ici les URL et les données associées trouvées lors de l'analyse du site Web. Par défaut, seules quelques unes des colonnes de données les plus importantes sont affichées. Au-dessus, il y a un panneau composé de cinq boutons et d'une zone de texte. Leurs buts sont:

#1
Liste déroulante avec "rapports rapides" prédéfinis. Ceux-ci peuvent être utilisés pour configurer rapidement:

Quelles colonnes de données sont visibles.
Quelles "options de filtrage rapide" sont activées?
Le "texte de filtre rapide" actif pour limiter davantage ce qui est affiché.

# 2
Liste déroulante pour basculer entre l’affichage de toutes les URL du site Web sous forme de "liste" à plat et par opposition à "un arbre"

# 3
Liste déroulante pour configurer les colonnes de données visibles.

# 4
Par rapport à ce qui précède, l'activation de la visibilité de la colonne de données "Redirections vers le chemin" se présente comme suit:

# 5
Liste déroulante pour configurer les "options de filtrage rapide" sélectionnées.

# 6
Bouton marche / arrêt pour activer / désactiver toutes les fonctionnalités "filtres rapides".

#7
Boîte contenant le "texte de filtre rapide" utilisé pour personnaliser davantage ce qui est affiché.

La manière d'utiliser les fonctionnalités "rapports rapides" et "filtres rapides" sera expliquée ultérieurement avec des exemples.

Côté droit

C'est là que vous pouvez voir des détails supplémentaires sur l'URL sélectionnée sur le côté gauche. Ceci inclut la liste "Lié par" avec des détails supplémentaires, "Liens [internal]"liste, liste" Utilisé par "," résumé du répertoire "et plus.

Pour comprendre comment l’utiliser lors de l’examen des détails, comparez les deux scénarios suivants.

#1
À gauche, nous avons sélectionné l'URL http://crawler.techseo360.com/noindex-follow.html – nous pouvons également voir que le robot d'exploration l'a tagué "[noindex][follow]"dans la colonne de données" URL flags ":

À droite dans l'onglet "Liens" [internal]", nous pouvons confirmer que tous les liens ont été suivis y compris et voir Détails supplémentaires.

# 2
À gauche, nous avons sélectionné l'URL http://crawler.techseo360.com/nofollow.html – nous pouvons également voir que le robot d'exploration l'a tagué "[index][nofollow]"dans la colonne de données" URL flags ".:

À droite dans l'onglet "Liens" [internal]", nous pouvons confirmer que pas de liens ont été suivis.

Utiliser les rapports rapides

Comme je l'ai dit, je ne les utilise pas souvent, préférant afficher toutes les colonnes de données, puis exporter vers Excel. Mais pour ceux qui aiment ce genre de rapports intégrés dans d'autres outils, voici quelques-uns des rapports rapides les plus utilisés disponibles:

Tous les types de redirections

Le "rapport rapide" intégré pour afficher toutes sortes de redirections, y compris les informations nécessaires pour suivre les chaînes de redirection:

Essentiellement, cela a:

Changement de la visibilité des colonnes de données sur celles qui conviennent le mieux.
Définissez le texte du filtre sur:
[httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
Filtres activés:
Afficher uniquement les URL avec tous [filter-text] trouvé dans la colonne "drapeaux d'état d'URL"
Afficher uniquement les URL avec un numéro de filtre-texte trouvé dans la colonne "code de réponse"

Pour cela, une URL doit remplir les trois conditions suivantes:

Doit pointer vers une autre URL par une redirection HTTP, une instruction canonique ou une méta-actualisation "0 seconde".
Ne peut pas contenir d'instruction "noindex".
Doit avoir le code de réponse 200, 301, 302 ou 307.

404 introuvable

Si vous devez identifier rapidement les liens rompus et les références d’URL, ce rapport est un bon choix. Avec cela, les colonnes de données "Linked.List" (par exemple "une" balise), "Used.List" (par exemple, "src") et "Redirected.List" sont rendues visibles.

Noindex

Voir rapidement toutes les pages avec l'instruction "noindex".

Titres en double # 1

Visualisez rapidement toutes les pages comportant des titres en double, y compris celles contenant des titres vides en double.

Titres en double # 2

S'il n'est pas remplacé par d'autres filtres, le texte du filtre correspond au contenu de toutes les colonnes de données visibles. Ici, nous avons réduit notre liste de titres en double à ceux qui contiennent le mot "exemple".

Nombre de caractères de titre

Limitez le nombre d'URL indiquées par le nombre de caractères du titre. Vous pouvez contrôler le seuil et s'il est supérieur ou inférieur. Similaire est disponible pour les descriptions.

Nombre de pixels du titre

Limitez les URL indiquées par le nombre de pixels du titre. Vous pouvez contrôler le seuil et s'il est supérieur ou inférieur. Similaire est disponible pour les descriptions.

Images et texte Alt / Ancre manquant

Affiche uniquement les URL d'image qui ont été utilisées sans autre texte ou liées sans aucun texte d'ancrage.

Autres outils

Analyse sur page

Par défaut, une analyse de texte complète est effectuée sur toutes les pages lors de l'exploration du site Web. L'option trouvée pour cela réside dans "Analyser le site Web | Collecte de données" qui donne les résultats suivants:

Cependant, vous pouvez aussi toujours analyser des pages simples sans explorer tout le site:

Notez que vous pouvez voir quels mots-clés et expressions sont ciblés sur l'ensemble d'un site Web si vous utilisez le bouton "totaliser les scores pour les pages sélectionnées".

Listes de mots clés

Un générateur de liste de mots-clés flexible qui permet de combiner des listes de mots-clés et d'effectuer un nettoyage complet.

Outils en ligne tiers

Si vous avez besoin de plus d’outils, vous pouvez les ajouter vous-même et même décider lesquels devraient être accessibles par des onglets au lieu du menu déroulant.

Le logiciel transmettra automatiquement l'URL sélectionnée ou similaire à l'outil en ligne sélectionné. Chaque outil en ligne est configuré par un fichier texte qui définit quelles données sont transmises et comment elles sont transmises.

Plans Sitemap

Types de fichiers Sitemap

Avec 13 formats de fichier sitemap distincts, il est probable que vos besoins soient couverts. Cela inclut les sitemaps XML, les sitemaps vidéo et les sitemaps image.

Sitemaps XML et Hreflang

Même si votre site Web n'inclut pas de balisage hreflang, TechSEO360 sera souvent en mesure de générer des plans de site XML avec d'autres informations hreflang de remplacement, si vos URL contiennent des éléments qui incluent une référence à la langue, à la culture ou au pays.

Sitemaps XML pour images et vidéos

Vous pouvez généralement accélérer votre configuration en utilisant l’un des "préréglages rapides":

Sitemap Google pour les vidéos
Sitemap Google pour les vidéos (le site Web contient des vidéos hébergées en externe)
Sitemap Google image
Sitemap Google pour les images (le site Web contient des images hébergées en externe)

Si vous avez l'intention de créer des sitemaps pour les images et les vidéos, utilisez l'un des choix vidéo car ils incluent également toute la configuration optimale pour les sitemaps pour images.

TechSEO360 utilise différentes méthodes pour calculer les pages, les vidéos et les images qui appartiennent à des sitemaps XML générés – ce qui peut être délicat si une image ou une vidéo est utilisée à plusieurs endroits.

Plans Sitemap HTML

Choisissez parmi les modèles HTML intégrés ou concevez vos propres modèles, y compris le code HTML / CSS / JS et les diverses options utilisées lors de la création des sitemaps.

Autre fonctionnalité

Support Javascript et AJAX

Vous pouvez configurer TechSEO360 pour qu'il recherche dans le code Javascript les références de fichier et d'URL en cochant l'option "Analyser le site Web | Options du robot d'indexation | Essayez d'effectuer une recherche dans le Javascript".

Si vous utilisez un site Web AJAX, vous pouvez passer à une solution compatible AJAX dans "Site Web d'analyse | Moteur de chenille | Type de chemin et gestionnaire par défaut".

Texte personnalisé et recherche de code

Il peut souvent être utile de rechercher du texte et du code sur un site Web entier – par exemple. pour rechercher des pages à l'aide de l'ancien code Google Analytics ou similaire.

Vous pouvez configurer plusieurs recherches dans "Analyser le site Web | Collecte de données" | Rechercher des chaînes, codes et modèles de texte personnalisés ".

Les résultats sont affichés dans la colonne de données "Recherches personnalisées", qui présente un nombre pour chaque recherche – éventuellement avec le contenu extrait de la correspondance de modèle.

Score d'importance calculé

TechSEO360 calcule l’importance de toutes les pages en fonction des liens internes et des redirections internes.

Vous pouvez le voir en activant la visibilité de la colonne de données "Score d'importance importé".

Détection de contenu similaire

Parfois, les pages sont similaires mais ne sont pas des doublons exacts. Pour les trouver, vous pouvez activer l'option "Analyser le site Web | Collecte de données | Suivi et stockage des données étendues | Effectuer une analyse des mots clés pour toutes les pages" avant l'analyse.

Lorsque vous affichez les résultats, activez la colonne de données "Contenu de la page en double (affichage visuel)" pour obtenir une représentation graphique du contenu.

Interface de ligne de commande (CLI)

Si vous utilisez la version d'évaluation ou payante, vous pouvez utiliser la ligne de commande – voici un exemple:
"techseo.exe" -exit -scan -build ": mon-projet.ini" @ override_rootpath = http: //example.com@
Ce qui précède transmet un fichier de projet avec toutes les options définies, remplace le domaine du site Web et demande à TechSEO360 d’exécuter une analyse complète, de créer des sitemaps et de quitter.

Importation de données

La fonctionnalité "Fichier | Importer …" fonctionne intelligemment et peut être utilisée pour:

Exporter des données

La fonctionnalité "Fichier | Exporter …" permet d'exporter des données au format CSV, Excel, HTML, etc., en fonction de ce que vous exportez. Utiliser:

Sélectionnez le contrôle avec les données que vous souhaitez exporter.
Appliquez les options pour que le contrôle ne contienne que les données que vous souhaitez exporter. (Cela peut inclure par exemple "colonnes de données", "options de filtrage rapide" et "texte de filtrage rapide")
Cliquez sur le bouton "Exporter" pour obtenir les données souhaitées au format souhaité.

TechSEO360 Tarifs

Il existe essentiellement trois états différents:

Lorsque vous téléchargez le logiciel pour la première fois, vous obtenez un logiciel entièrement fonctionnel. 30 jours d'essai gratuit.
À la fin du procès, il continue de fonctionner dans mode libre ce qui permet d'explorer 500 pages dans des sites Web.
Lors de l'achat du prix de l'abonnement annuel est de 99 $ pour une licence mono-utilisateur utilisable sous Windows et Mac.

Vous pouvez télécharger la version d'essai pour Windows et Mac à l'adresse https://TechSEO360.com.