Comment bloquer le crawl de son site Drupal par ChatGPT?

Introduction

Avec l'essor fulgurant de l'intelligence artificielle (IA) dans le paysage numérique, les propriétaires de sites web sont de plus en plus préoccupés par la manière dont leurs contenus sont explorés et utilisés. ChatGPT, propulsé par OpenAI, est l'un des acteurs majeurs de cette révolution, parcourant le web pour alimenter ses vastes bases de données. Dans ce contexte, Drupal offre des outils pour aider les webmasters à garder le contrôle. L'un de ces outils est le module robotstxt, qui permet de définir qui peut accéder à quoi sur un site. Avant de plonger dans les détails techniques, comprenons pourquoi cette interaction entre Drupal et l'IA est devenue si cruciale aujourd'hui.

ChatGPT et OpenAI : Qui sont-ils ?

ChatGPT, une création d'OpenAI, est bien plus qu'un simple chatbot. C'est une manifestation avancée de l'IA, capable de générer des réponses contextuelles basées sur une vaste quantité de données collectées sur le web. OpenAI, la force motrice derrière ChatGPT, a récemment dévoilé GPTBot, le robot spécifiquement conçu pour parcourir et récolter ces précieuses données. Pour les propriétaires de sites web, cela soulève une question essentielle : comment s'assurer que leurs contenus sont protégés ou, du moins, utilisés de manière éthique ? Alors que certains peuvent voir l'exploration par ces robots comme une opportunité de visibilité, d'autres peuvent la percevoir comme une intrusion. 

Comment bloquer le crawl de ChatGPT et OpenAI sur votre site Drupal

Lorsqu'il s'agit de gérer l'accès des robots d'exploration à votre site, le fichier robots.txt est votre première ligne de défense. C'est un outil simple mais puissant que chaque webmaster devrait maîtriser. Pour ceux qui souhaitent empêcher ChatGPT et GPTBot d'OpenAI d'explorer leur site, voici les directives à ajouter à votre robots.txt :

UserAgent: GPTBot
Disallow: /

Ces deux lignes indiquent au robot GPTBot de ne pas explorer aucune partie de votre site. Si, à l'inverse, vous souhaitez autoriser explicitement GPTBot à parcourir l'intégralité de votre site, les directives seraient :

UserAgent: GPTBot 
Disallow:

Il est essentiel de noter que ces directives sont spécifiques à GPTBot. Si vous souhaitez également gérer l'accès d'autres robots, comme ceux de ChatGPT utilisés avant 2023 ou ceux associés aux plugins de ChatGPT, des directives similaires avec le bon "UserAgent" devront être ajoutées. 

UserAgent: ChatGPT-User 
Disallow: /

UserAgent:CCBot
Disallow: /

Sur Drupal, nous vous invitons à utiliser le module RobotsTxt qui permet de personnaliser le contenu de ce fichier robots.txt au travers du back office.

Faut-il bloquer OpenAI et ChatGPT ?

La technologie, avec toutes ses avancées, nous confronte souvent à des dilemmes éthiques. Dans le cas d'OpenAI et ChatGPT, la question est de savoir si nous devrions permettre à ces outils d'IA d'accéder librement à nos contenus. Historiquement, un accord tacite existait entre les moteurs de recherche et les éditeurs de sites : en échange de la visibilité offerte par les moteurs de recherche, les sites autorisaient le crawl et l'indexation de leurs contenus. Cependant, avec l'émergence d'outils basés sur l'IA comme ChatGPT, cet accord est remis en question. Si les contenus sont utilisés sans attribution claire ou sans apporter de valeur directe au site source, est-ce toujours équitable ?

D'un autre côté, l'exclusion de son site de ces outils pourrait-elle être préjudiciable à long terme ? Avec l'évolution rapide de la recherche vers des formats plus conversationnels et interactifs, ne pas être présent sur ces plateformes pourrait signifier manquer des opportunités futures. De plus, si ces outils commencent à citer leurs sources de manière transparente, l'exclusion pourrait s'avérer être une faiblesse stratégique.

En fin de compte, chaque propriétaire de site doit peser les avantages et les inconvénients, en tenant compte à la fois des implications éthiques et stratégiques. Dans un monde numérique en constante évolution, la flexibilité et l'adaptabilité sont essentielles.