Ils ont grandi à Catane et ont commencé à programmer ensemble enfants : d'abord des jeux et des scripts, puis tout ce qui demandait à un ordinateur de faire quelque chose qu'il ne faisait pas d'origine. L'habitude est restée. L'université lui a donné deux noms, informatique pour l'un et ingénierie informatique pour l'autre, tous deux à l'université de Catane.
Les deux cursus se recouvrent exactement là où vit MAFDET. D'un côté la théorie de la façon dont un modèle de langage lit (le prefill, parallèle et rapide) et écrit (le decode, un token à la fois). De l'autre le matériel qui doit le faire assez vite pour paraître instantané, avec un cache KV qui tient dans six gigaoctets.
MAFDET est né d'une mesure, pas d'un slogan. Un modèle local sur une RTX 2060 répond à un problème de mathématiques environ douze secondes après Entrée, et la plupart de ces secondes sont du raisonnement. Pendant les vingt ou trente secondes passées à taper la question, le GPU ne fait rien. La question est venue d'elle-même : ce temps peut-il servir ?
Lire à l'avance était la moitié facile : garder le cache KV synchronisé avec le texte, retenir les derniers tokens, couper au préfixe commun à chaque modification. C'est exact, et mafdet judge le prouve face à un calcul à partir de zéro. Réfléchir à l'avance était la moitié difficile : un modèle qui raisonne sur un message pas encore terminé, avec ses notes conservées d'une modification à l'autre. Ce n'est pas exact, alors cela a été mesuré de la seule façon honnête, sur des problèmes à réponse connue, des dizaines de fois, sur deux machines.
Il a été construit exprès pour le matériel que la plupart des gens possèdent déjà : une carte de six gigaoctets de 2019 comme machine de référence, un M2 Pro comme seconde, un chemin CPU pour tout le reste. Un matériel plus rapide le rend plus rapide. Il n'en a pas besoin.
