Un prompt peut-il remplacer Ubersuggest ?

Construis un analyseur d’écart de contenu qui fonctionne entièrement à partir de sitemaps publics et de contenu de page. Aucun volume de recherche, aucune estimation de trafic, aucune SERP scrapée.

Entrée : une liste de domaines — le tien plus une poignée de concurrents. Pour chacun, découvre le sitemap depuis robots.txt ou les emplacements conventionnels, et parse-le y compris les fichiers d’index de sitemap.

Crawl : récupère chaque URL poliment avec un user agent descriptif, respecte robots.txt et une limite de débit, et plafonne les URL par domaine. Extrais le titre, la meta description, les titres H1 et H2, le premier paragraphe, le nombre de mots visibles, et les dates de publication et de modification là où elles sont présentes dans les données structurées.

Extraction de sujet : depuis le titre et les titres de section de chaque page, extrais des expressions de sujet candidates (groupes nominaux, avec les mots vides et le texte passe-partout retirés). Garde le texte brut à côté pour que tout sujet puisse être retracé jusqu’à la page dont il vient.

Regroupement : encode localement le texte titre-plus-titres-de-section de chaque page et regroupe à travers tous les domaines à la fois, pour que le même sujet couvert par trois sites différents tombe dans un seul groupe quel que soit le libellé. Étiquette chaque groupe avec l’expression la plus représentative de ses membres.

Le rapport, qui est l’essentiel :

- Écarts : groupes où les concurrents ont des pages et le domaine de l’utilisateur n’en a aucune, classés par le nombre de concurrents qui le couvrent — un sujet dont trois ont écrit est un signal plus fort qu’un seul.
- Couverture faible : groupes où l’utilisateur a une page mais nettement plus courte que les pages concurrentes dans le même groupe.
- Chevauchement : groupes où l’utilisateur a deux pages ou plus, ce qui est où se cache habituellement la concurrence interne.
- Fraîcheur : groupes où les pages des concurrents sont sensiblement plus récentes que celle de l’utilisateur.

Chaque chiffre dans chaque vue doit être quelque chose que l’outil a mesuré sur une page qu’il a récupérée : nombre de mots, dates, nombre de pages. N’estime jamais un volume de recherche, une difficulté ou un chiffre de trafic, et dis dans le README que l’absence de ces chiffres est délibérée et constitue la vraie limite face à un outil payant.

Stockage : SQLite, pour qu’un crawl puisse être relancé et comparé à un précédent.

Hors périmètre : le scraping de résultats de moteur de recherche, les données de backlinks, le volume de mots-clés de quelque source que ce soit, et le suivi de classement.