Notes sur les modèles de langage
Ce qu'il y a vraiment là-dedans
Que représente un modèle de langage ? Où sont les limites ? Qu'est-ce qui ressemble à du raisonnement et qu'est-ce qui est complétion de motifs ?
Notes de travail : ce qu'un LLM représente réellement, où se situent ses limites, ce qui ressemble à du raisonnement, ce qui relève de la complétion de motifs, et où l'émergence est un vrai phénomène plutôt qu'un mot qu'on emploie quand on est surpris.
Aussi : la sûreté, et les limites autour de la génération de code nuisible — que je prends au sérieux et que je ne brouillerai pas.
Et la question pratique dans laquelle je vis chaque jour : combien de logiciel une seule personne peut-elle désormais construire, et qu'est-ce qui change quand on passe d'écrire des systèmes à la main à diriger des systèmes qui s'écrivent ? On gagne quelque chose. On perd quelque chose, c'est certain. Je compte encore.