SolidOps EN

Model-Driven Harness

L'IA écrit le modèle, un générateur déterministe écrit le code, les tests tranchent.

Burgr est utile sans aucune IA. Cette page concerne le cas où un agent IA fait le travail : ce que Burgr apporte au harness qui l'entoure, le harness à copier, la comparaison avec d'autres approches, et ce qu'il fait économiser, mesuré.

L'idée

Le harness engineering cadre un agent IA par tout ce qui l'entoure : son contexte (règles, CLAUDE.md, skills), ses outils et permissions, et des boucles de retour déterministes (compilateur, tests). Un document seul reste indicatif. Le harness devient solide quand une règle est appliquée au lieu d'être demandée.

Un Model-Driven Harness place un générateur de code déterministe au centre :

Le gain attendu est moins de tokens sur le code structurel (CRUD, API, persistance), et moins d'itérations pour obtenir du code qui compile et passe ses tests. Le gain dépend de la part de code générable : la logique métier écrite à la main coûte autant que dans n'importe quelle approche.

Le langage du code généré est indifférent. Les templates sont du texte : les jeux existants produisent du C#, du TypeScript, du SQL et du PlantUML, et un jeu peut cibler Java, Python ou Go. Le concept, c'est la séparation entre modèle, génération déterministe et harness, pas une stack.

Ce qui est généré, ce qui est framework

Un critère décide où va un comportement : le code généré porte ce qui varie d'un modèle à l'autre (noms, propriétés, types, relations, routes, colonnes, validations propres à une entité), et le framework porte ce qui est identique pour toutes les entités (unit of work, droits, événements, pagination, erreurs, sérialisation).

Deux signaux d'un mauvais partage : un template qui contient de gros blocs sans aucune variable du modèle (cette logique va dans le framework), et un framework qui fait de la réflexion ou un switch sur le type d'entité (cette logique doit être générée). La cible est un code généré volumineux mais jamais lu, et un framework réduit, stable et documenté pour l'agent. Un jeu sans framework propre, comme Mini, s'appuie seulement sur celui du langage.

Le harness à copier

Chaque jeu de templates livre son harness. dotnet burgr specs/ /harness:. le copie dans votre dépôt, sans jamais écraser un fichier existant :

FichierRôle
AGENTS.mdLe déroulé, ce qui est permis et interdit, la syntaxe de modèle que le jeu prend en charge, ce qui est généré, les points d'extension, la façon de tester. Pour un jeu avec framework, les contrats de ce framework aussi, pour que l'agent n'ait jamais à lire du code généré afin de comprendre un comportement.
CLAUDE.mdRenvoie Claude Code vers AGENTS.md (@AGENTS.md).
.claude/hooks/block-generated-files.sh et .claude/settings.jsonUn hook PreToolUse qui refuse Read, Edit et Write sur un fichier généré.

Le déroulé qu'il donne à l'agent :

1. Changer le modèle : les fichiers *.yaml à côté de burgr.json.
2. Régénérer : dotnet burgr <dossier de burgr.json>.
3. Compiler : le compilateur liste les points d'extension que le modèle exige désormais.
4. Écrire le code à la main et ses tests, puis dotnet build et dotnet test.

Permis : modifier le modèle et régénérer ; écrire les points d'extension, les tests et tout fichier écrit à la main ; chercher dans un fichier généré avec Grep pour trouver une signature. Interdit : éditer, créer ou supprimer un fichier généré ; lire un fichier généré en entier ; écrire à la main ce que le générateur produit.

Pourquoi un hook et pas une règle de permission

Une règle permissions.deny sur Read(**/*.g.*) est aussi appliquée par Claude Code à Grep et à Glob. L'agent ne voit alors plus du tout les fichiers générés, sans qu'on le lui dise : il ne trouve plus la signature d'une méthode partial et conclut qu'elle n'existe pas. Le hook ne refuse que Read, Edit et Write : Grep et Glob trouvent toujours ce dont l'agent a besoin, pour une fraction des tokens que coûte la lecture du fichier.

Le hook ne code pas en dur le motif des fichiers générés : il lit GeneratedFilePrefix et GeneratedFileSuffix dans chaque burgr.json du dépôt, la même source que Burgr pour écrire et nettoyer ses fichiers. Un fichier de framework (suffixe .f par défaut) peut être lu mais pas édité. Un refus dit à l'agent quoi faire à la place. Une limite : la lecture par un shell (cat, Get-Content) n'est interdite que par la règle écrite, pas par le hook.

Les fichiers du harness se trouvent dans les jeux de templates : Mini, Onion. Le hook et AGENTS.md sont des fichiers ordinaires : copiez-les, ou écrivez l'équivalent pour votre propre jeu de templates.

Comparaison

ApprocheCe qui diffère
Spec-driven developmentLa spécification est de la prose que l'agent retranscrit en code à chaque fois, vérifiée seulement par la relecture et les tests. Ici la spécification est un modèle validé, et le code est produit par un générateur plutôt que redérivé : la sortie est la même à chaque passage, et un modèle qui utilise une fonctionnalité non prise en charge est refusé en la nommant.
Ingénierie dirigée par les modèlesLa même idée, avec un modèle texte volontairement petit, des templates en texte brut, et un harness qui décide ce que l'agent peut toucher.
Générateurs OpenAPIIls partent d'un contrat d'API et s'arrêtent au client ou au squelette de serveur. Burgr part du domaine et peut aussi produire la persistance, le schéma et les diagrammes.
JHipster, scaffolding RailsUne stack fixe, générée une fois puis éditée à la main. Ici les fichiers générés ne sont jamais édités, donc le modèle reste la source de vérité, et le jeu de templates est à vous, à choisir ou à écrire.
Un agent sans générateurL'agent écrit chaque ligne, et paie le même code structurel pour chaque entité. Voir les chiffres plus bas.

Si vous utilisez une IA pour écrire du code que vous ne relisez pas, la même discipline s'applique : elle écrit le modèle, le code généré n'est pas relu, et ce sont les tests qui tranchent.

Benchmarks

Mêmes tâches et mêmes prompts avec et sans Burgr, Claude Sonnet 5.5 (claude-sonnet-5-5) via Claude Code 2.1.327 en mode headless, run du 19 novembre 2026, 5 passages par cas, dans un conteneur neuf à chaque fois. Une suite d'acceptation cachée, lancée contre l'API démarrée en boîte noire, juge chaque passage. La base « sans Burgr » est du C# écrit à la main, avec la même architecture que le jeu de templates comparé.

CasProjet
simple-createWarehouse (Mini) : 2 agrégats, un enum, une référence, une propriété calculée, des validations
complex-createTicketing (Onion) : 3 agrégats, une entité synchronisée, un value object, des règles, un service, des droits, JWT
complex-evolveUne API de gestion d'utilisateurs existante, plus des équipes à membres synchronisés, deux règles et un droit
simple-fixDéfavorable : un bug d'un caractère dans une propriété calculée
entryDéfavorable : une question sur le code, sans modification (coût d'entrée du harness)

Ratios Burgr / à la main, sur les médianes de 5 passages par cas :

CasCoûtTokens de sortieDuréeTokens d'entrée
complex-create−37 %−63 %−52 %+105 %
complex-evolve−47 %−54 %−30 %−30 %
simple-create−31 %−51 %−34 %+36 %
simple-fix+12 %0 %−4 %+8 %
entry+18 %−9 %−15 %+15 %

Coût médian d'un passage, en dollars :

CasBurgrÀ la main
complex-create0,43 $0,69 $
complex-evolve0,25 $0,47 $
simple-create0,12 $0,18 $
simple-fix0,07 $0,06 $
entry0,06 $0,05 $

Toutes les mesures (tokens, tours, builds, lignes écrites, minimums et maximums) sont dans le rapport du run.

Les 40 passages jugés passent la suite d'acceptation, avec et sans Burgr. Sur la création complexe, les passages Burgr ont écrit environ un tiers du code (493 lignes contre 1435), et les fourchettes de coût des deux variantes ne se chevauchent pas.

À lire avec leurs réserves.

Les refaire

Le protocole, les cas, les suites cachées et le runner sont publics dans SolidOps/burgr-benchmarks. dotnet run bench.cs -- verify juge les références et les états de départ sans appeler aucun modèle, et ne coûte rien. run --yes appelle l'API Anthropic avec votre propre clé et est facturé.