GGUF le format de fichier successeur de GGML

GGUF est un format de fichier conçu pour stocker des modèles destinés à remplacer GGML. Il s’agit d’un format qui a été spécialement conçu pour un chargement et une sauvegarde rapides des modèles, tout en restant facile à lire. Les modèles sont généralement développés à l’aide de PyTorch ou d’un autre framework, puis convertis au format GGUF pour être utilisés.

GGUF est le successeur de formats de fichiers tels que GGML, GGMF et GGJT, et son objectif principal est de garantir une lisibilité totale du modèle sans ambiguïté. Il est également conçu pour être extensible, ce qui signifie que de nouvelles informations peuvent être ajoutées aux modèles sans compromettre la compatibilité avec les modèles existants.

Spécifications :

• Déploiement en un seul fichier : Les modèles GGUF sont autonomes et ne nécessitent pas de fichiers externes pour des informations supplémentaires. Ils peuvent être distribués et chargés facilement.
• Extensibilité : Les nouvelles fonctionnalités peuvent être ajoutées aux exécutables basés sur GGML et de nouvelles informations peuvent être intégrées dans les modèles GGUF sans casser la compatibilité avec les modèles existants.
• Compatibilité mmap : Les modèles peuvent être chargés en utilisant mmap, ce qui permet un chargement et une sauvegarde rapides.
• Facilité d’utilisation : Les modèles GGUF peuvent être chargés et sauvegardés facilement avec un code simple, sans avoir besoin de bibliothèques externes, quelle que soit la langue de programmation utilisée.
• Information complète : Toutes les informations nécessaires pour charger un modèle sont contenues dans le fichier du modèle, et aucun renseignement supplémentaire n’est requis de la part de l’utilisateur.

Pour plus d’informations

Vous pouvez consulter la documentations du dépôt github sur ggml : ggml/docs/gguf.md at gguf-spec · philpax/ggml · GitHub