Un prompt peut-il remplacer Tabnine ?

Construis une installation locale de complétion de code : un serveur d’inférence, un index de dépôt, et un client éditeur. Rien ne quitte la machine.

Serveur d’inférence : fais tourner un modèle de code ouvert en local via llama.cpp ou Ollama, exposant un point de terminaison de complétion compatible OpenAI pour que n’importe quel client éditeur parlant ce protocole puisse l’utiliser. Prends en charge au moins deux tailles de modèle pour que l’utilisateur puisse arbitrer entre qualité et latence, et rapporte les tokens par seconde et le temps jusqu’au premier token par requête — la complétion devient inutilisable au-delà d’environ 300 millisecondes jusqu’au premier token, et l’utilisateur doit voir où se situe son matériel.

Remplissage-au-milieu, ce que la plupart des installations naïves ratent : la complétion de code n’est pas de la continuation de texte. Utilise le propre format de prompt FIM du modèle, en lui donnant le préfixe avant le curseur et le suffixe après, pour qu’une complétion insérée au milieu d’une fonction ferme ses accolades et respecte ce qui suit. Un moteur de complétion qui ne voit que le texte avant le curseur produit du code qui ne compile pas, et c’est l’échec le plus courant d’une installation maison.

Contexte du dépôt : construis un index local de l’espace de travail. À chaque requête de complétion, assemble le contexte à partir du préfixe et du suffixe du fichier courant, plus les extraits les plus pertinents d’ailleurs dans le dépôt — fichiers récemment édités, fichiers importés par le fichier courant, et définitions des symboles apparaissant près du curseur. Récupère par une combinaison de correspondance de symboles et de similarité d’embeddings, calculée en local. Plafonne le contexte assemblé à la fenêtre réelle du modèle et montre ce qui a été inclus quand l’utilisateur le demande.

Client éditeur : implémente sous forme de serveur Language Server Protocol fournissant de la complétion en ligne, pour que n’importe quel éditeur compatible LSP fonctionne sans plugin spécifique. Débounce les requêtes, annule les requêtes en cours quand l’utilisateur continue de taper, et met en cache par un hash du contexte assemblé.

Chat : un panneau latéral qui envoie le code sélectionné plus le contexte de dépôt récupéré au même modèle local, pour explication et refactoring. Même modèle, même serveur, même propriété de confidentialité.

Honnêteté sur la qualité, intégrée dans l’outil : livre une commande de benchmark qui exécute un petit ensemble de tâches de complétion contre le modèle configuré et rapporte des métriques façon taux d’acceptation, pour que l’utilisateur puisse comparer les tailles de modèle sur son propre matériel plutôt que de deviner. Indique dans le README que les modèles locaux de taille ordinateur portable sont sensiblement en retrait par rapport aux modèles hébergés de pointe sur la qualité de complétion, et que l’argument de ce projet est la confidentialité et le coût, pas la qualité.

Hors périmètre : toute API hébergée ou solution de repli, toute forme de télémétrie, l’entraînement ou l’ajustement fin d’un modèle, et les fonctionnalités de politique ou d’audit d’entreprise.