GraphInsightBot
Le robot de lecture de GraphInsight
GraphInsight est un agrégateur d'actualités : ses lecteurs y suivent des flux RSS et consultent les articles dans une vue de lecture unifiée, comme dans un lecteur de news. GraphInsightBot est le programme qui va chercher ces articles pour eux.
Comment le reconnaître
GraphInsightBot/1.0 (+https://graphinsight.fr/bot)
Requêtes signées
Chaque requête est signée en Ed25519 selon la RFC 9421 (HTTP Message Signatures, mécanisme Web Bot Auth). Notre clé publique est servie à l'adresse suivante, et c'est elle qui permet de vérifier qu'une requête vient réellement de nous plutôt que d'un tiers qui emprunterait notre User-Agent :
https://graphinsight.fr/.well-known/http-message-signatures-directory
Ce qu'il fait, et ce qu'il ne fait pas
- Il lit les flux RSS et Atom de sources explicitement ajoutées par nos lecteurs, et récupère la page des articles qui y paraissent pour les afficher en vue de lecture.
- Il n'explore pas les sites : il ne suit pas les liens d'une page à l'autre et ne visite que les adresses publiées dans un flux.
-
Il consulte
robots.txtavant chaque récupération et renonce si l'accès y est refusé. Il y lit aussi votreCrawl-delayet le respecte. - Il n'entraîne aucun modèle d'apprentissage et ne republie pas les articles : l'application affiche un extrait et renvoie vers la page d'origine.
À quelle fréquence
Un flux est relu environ une fois par heure. Les articles qui en sortent sont ensuite
récupérés l'un après l'autre, espacés d'au moins une seconde — ou du
Crawl-delay que vous déclarez, s'il est plus long. Jamais de requêtes
simultanées vers un même site. Une source qui répond en erreur est interrogée de plus
en plus rarement, jusqu'à une fois par jour.
Nous exclure
Ces deux lignes dans votre robots.txt suffisent, et sont respectées :
User-agent: GraphInsightBot Disallow: /
Pour toute autre demande — retrait, question, signalement d'un comportement anormal —, écrivez à contact@graphinsight.fr.
In English
GraphInsight is a news aggregator. GraphInsightBot fetches articles from the RSS and
Atom feeds our readers subscribe to, so they can read them in the app. It does not
crawl sites, only URLs published in a feed. Every request is signed with Ed25519 per
RFC 9421 (Web Bot Auth); our
public key is published at
/.well-known/http-message-signatures-directory. It honours
robots.txt and your Crawl-delay before every fetch, re-reads
each feed about once an hour, never issues concurrent requests to the same site,
trains no model and republishes nothing. To opt out, add
User-agent: GraphInsightBot / Disallow: / to your
robots.txt, or write to
contact@graphinsight.fr.