TERMES ESSENTIELS :
Code HTTP 403
ACCÈS FORMELLEMENT INTERDIT
mauvaise configuration de Cloudflare
Protection contre les robots de contenu
Page d'accueil désindexée
Page d'accueil exclue de l'indexationIl s'agit généralement d'un problème lié à la capacité d'un ou plusieurs robots à accéder à la page d'accueil et/ou à d'autres pages du site. Ce problème est souvent suivi d'un message de la Search Console affichant le code HTTP 403, signifiant « l'accès à la ressource demandée est interdit ».
Autres raisons possibles : voir Mes pages ont été désindexées par Google.
Le blocage involontaire de l'accès aux robots, que ce soit via le fichier robots.txt ou la configuration de Cloudflare, est plus complexe. Dans ce dernier cas, Cloudflare est plus délicat car il n'est pas toujours évident de l'identifier. Par exemple, face à une augmentation soudaine du trafic et des soumissions de formulaires provenant de robots, et en tentant de les bloquer, vous pourriez confondre par inadvertance certains robots avec les robots de Google, ce qui engendrerait ce genre de problème. Mon conseil : pensez à vérifier la configuration de Cloudflare dès le départ (si vous utilisez ce service).
Récemment, un client m'a contacté car, suite à une intervention (j'avais recommandé de modifier les balises de titre HTML des pages de catégories), son trafic avait chuté brutalement. Fort de mon expérience, j'ai immédiatement pensé à l'impact de la mise à jour en cours de Google Core. C'est ce que j'ai expliqué au client, et nous avons conclu notre échange. Un ou deux jours plus tard, curieux d'en savoir plus, j'ai ouvert sa Search Console et constaté la chute brutale du trafic. C'est alors que j'ai vu un message :

En explorant davantage, j'ai constaté que la récupération de la page a échoué car le bot a été bloqué (accès interdit).

J'ai donc répondu au client en lui signalant le problème. En fait, il ne s'agissait pas seulement d'une page d'accueil, mais de tout un ensemble d'URL bloquées pour les robots — environ 7 000 URL dans mon cas.
Voici comment les choses se sont déroulées en coulisses. Le client, selon ses propres termes, cherchait à se protéger des robots d'extraction de contenu et utilisait protection contre les robots de contenu fonctionnalité disponible dans Cloudflare.

La fonction reposait donc sur l'attribution de scores aux bots, puis sur le blocage de l'accès aux pages pour les bots ayant un score faible.
Explorez d'autres problèmes de croissance et de référencement.
Le premier effet est l'apparition d'environ 6 000 pages non indexées, soit une grande partie du total du site web.

Le deuxième effet est une chute rapide et significative du trafic issu de la recherche organique : les clics ont diminué de près de 5 fois.

Enlever le protection contre les robots de contenu La modification apportée à la section Gestion des bots de Cloudflare constitue une solution temporaire. Cet article ne traite pas des solutions appropriées pour lutter contre les bots de contenu.
Le processus de récupération est assez rapide. Comme on peut le constater sur l'image ci-dessus, il a fallu deux jours pour retrouver le nombre de clics précédent.
Le plus difficile est d'établir un diagnostic précis, c'est-à-dire d'identifier la cause, surtout lorsqu'il existe plusieurs causes possibles. Agir sur la base de prémisses erronées engendre souvent des gaspillages supplémentaires. Dans ce cas, la « réparation » se multiplie : le défaut initial et les gaspillages involontaires qui en découlent.
Dans ce cas, la « réparation » se multiplie : le défaut initial et le gaspillage involontaire qui en découle.
À propos de Bohdan Lytvyn
Contexte et approche détaillés — bohdanlytvyn.com

Bohdan Lytvyn
« CROISSANCE SANS GASPILLAGE » AUTEUR DE LIVRES
Si vous soupçonnez des problèmes d'indexation, parlons-en.