ChatGPT peut-il raisonner ?

Dialogue avec ChatGPT :

Q : Comment fonctionnes-tu (apprentissage, génération, etc.) ?

Bonne question. Mon fonctionnement peut être découpé en deux grandes phases : l'apprentissage (avant d'être déployé) et la génération (pendant notre conversation).

1. L'apprentissage

Je suis un modèle de langage entraîné par OpenAI.

L'entraînement se déroule en plusieurs étapes :

1. Pré-entraînement
   • Je suis exposé à une très grande quantité de textes provenant de sources diverses (livres, articles, sites web sous licence ou accessibles publiquement, documentation, etc.).
   • Mon objectif n'est pas de mémoriser ces textes, mais d'apprendre les régularités du langage : grammaire, style, faits généraux, raisonnement, programmation, etc.
   • Techniquement, j'apprends à prédire le prochain "token" (un morceau de mot) dans une séquence.
2. Affinage (fine-tuning) Ensuite, le modèle est entraîné sur des exemples de conversations afin de mieux suivre les instructions et produire des réponses utiles.
3. Alignement Des évaluateurs humains et des méthodes automatiques sont utilisées pour améliorer la qualité des réponses, réduire les erreurs et limiter les comportements dangereux ou trompeurs.

Une fois cette phase terminée, mes paramètres sont figés jusqu'à une nouvelle version du modèle.

Lire la suite