Ce que cette démo montre, et ce qu'elle ne montre pas
Le dispositif
Un GPT de type nanoGPT (8 couches, 256 dimensions, 4 têtes), entraîné de zéro sur 100 000 paires « mélange → solution ». La perte ne porte que sur la solution. La cible est la solution de Kociemba, et non l'inverse du mélange : on retire même les exemples où les deux coïncident, pour fermer le raccourci « relire les tokens à l'envers ». Aucune information sur les couleurs ou l'état n'entre dans le modèle.
Pourquoi ce n'est pas une simple manipulation de tokens
L'objection naturelle : le modèle apprendrait des motifs dans les suites de tokens, par exemple relire le mélange à l'envers ou défaire les derniers coups. Deux éléments l'écartent.
- La cible n'est pas l'inverse du mélange. C'est la solution de Kociemba, calculée à partir de l'état du cube, et les exemples où elle coïncide avec l'inverse sont retirés. Relire à l'envers ne donne donc pas la bonne réponse.
- À tokens identiques, la décision change (onglet II). Si l'on remplace la représentation interne du cube réel A par celle du cube modifié B, sans changer un seul token lu, le modèle joue le coup de B dans 93 % des cas en couche 6. C'est donc cette représentation qui décide, pas les tokens.
Le modèle se construit bien un modèle interne du cube, mais un modèle partiel : il ne range pas le cube sous forme de 54 cases (voir plus bas), et sur les mélanges courts, ce qui décide du premier coup dépend surtout de la fin du mélange.
Résultat comportemental
Le modèle résout bien les mélanges courts, puis décroche vers 12-13 coups (tableau ci-contre). Il ne faut jamais lire un taux de résolution global sans sa courbe par profondeur.
Résultat causal (onglet II)
Greffer, au <SEP>, l'activation calculée sur une variante du mélange fait basculer le premier coup vers celui du cube modifié bien plus souvent qu'avec une greffe de contrôle. L'effet est nul jusqu'à la couche 3, apparaît en couche 4 et atteint 93 % en couche 6, contre 6 % au contrôle (tableau 2). Sur des variantes quelconques, où le modèle se trompe parfois déjà sur la variante lue normalement, on mesure 39 % en couche 5 contre 15 % au contrôle. Une étude séparée, en fin de solution et à orientation identique, isole la permutation : bascule dans 41 % des cas contre 10 % au contrôle.
Ce qui ne marche pas
La version « à la Othello-GPT » échoue : lire le cube case par case avec une sonde, puis éditer l'activation pour que la sonde lise un autre cube (« inverser deux pièces dans sa tête »). Au <SEP>, une sonde par case (48 cases × 6 couleurs) ne fait pas mieux que sur un réseau aux poids aléatoires (23,0 % contre 21,9 %). Les éditions guidées par cette sonde ne battent pas les contrôles, que ce soit un échange de deux pièces, une torsion de deux coins ou un coup changé.
Le modèle utilise donc un état interne, mais cet état n'est pas rangé sous la forme de 54 cases colorées. Sa bonne « base » reste à trouver.
Limites à garder en tête
- La greffe fonctionne sur une seule position et une seule couche : l'effet est partiel. Au-delà de 10 coups de mélange, on ne mesure plus d'effet, parce que le modèle se trompe déjà sur le cube lui-même.
- Sur les mélanges courts, le premier coup de Kociemba dépend surtout de la fin du mélange. Les variantes qui le changent touchent donc presque toujours l'avant-dernier coup. La greffe au <SEP> montre que cette information transite par une activation et y est lue par le modèle. Elle ne prouve pas à elle seule que tout le cube y est rangé. Le résultat en fin de solution (41 % contre 10 %) est plus fort sur ce point.