Sono cresciuti a Catania e hanno iniziato a programmare insieme da bambini: prima giochi e script, poi qualunque cosa richiedesse a un computer di fare qualcosa che non faceva di suo. L'abitudine è rimasta. L'università le ha dato due nomi, Informatica per uno e Ingegneria Informatica per l'altro, entrambi all'Università di Catania.
I due percorsi si sovrappongono esattamente dove vive MAFDET. Da un lato la teoria di come un modello linguistico legge (prefill, parallelo e veloce) e scrive (decode, un token alla volta). Dall'altro l'hardware che deve farlo abbastanza in fretta da sembrare istantaneo, con una KV cache che entra in sei gigabyte.
MAFDET è nato da una misura, non da uno slogan. Un modello locale su una RTX 2060 risponde a un problema di matematica circa dodici secondi dopo Invio, e la maggior parte di quei secondi è ragionamento. Durante i venti o trenta secondi passati a scrivere la domanda, la GPU è ferma. La domanda è venuta da sola: quel tempo si può usare?
Leggere in anticipo era la metà facile: tenere la KV cache allineata al testo, trattenere gli ultimi token, tagliare al prefisso comune a ogni modifica. È esatto, e mafdet judge lo dimostra contro un calcolo da zero. Ragionare in anticipo era la metà difficile: un modello che ragiona su un messaggio non ancora finito, con le sue note conservate tra una modifica e l'altra. Non è esatto, quindi è stato misurato nell'unico modo onesto, su problemi con una risposta nota, decine di volte, su due macchine.
È stato costruito apposta per l'hardware che la maggior parte delle persone ha già: una scheda da sei gigabyte del 2019 come macchina di riferimento, un M2 Pro come seconda, un percorso CPU per tutto il resto. Hardware più veloce lo rende più veloce. Ma non ne ha bisogno.
