Livraison des résultats d'entraînement
Comment envoyer des modèles d'IA, des checkpoints et des jeux de données ?
Un modèle dépend souvent de plus que son plus gros fichier de poids. La configuration, les données du tokenizer, les index de fragments, les sommes de contrôle et les instructions d'exécution doivent l'accompagner. Gardez ces fichiers ensemble lorsque vous transmettez le travail à un collègue.
Organisez les fichiers du modèle, la configuration, les données du tokenizer, les exemples, les sommes de contrôle et la documentation dans un seul dossier. Supprimez les données et les identifiants qui ne doivent pas être partagés, puis envoyez le fichier ou le dossier complet. Le destinataire doit le vérifier avant de charger le modèle.
Que doit contenir le dossier du modèle ?
- Les poids ou les checkpoints fragmentés et leurs fichiers d'index.
- La configuration du modèle, les données du tokenizer, les paramètres de prétraitement et les versions des dépendances.
- Les sommes de contrôle, les conditions de licence, les restrictions sur les données et les notes sur les sources.
- Un exemple de chargement minimal et les détails requis sur l'entraînement ou la quantification.
Vérifiez le contenu sensible avant le transfert
Vérifiez si les données d'entraînement contiennent des informations personnelles, des secrets commerciaux ou du matériel soumis à des restrictions, et confirmez que vous pouvez envoyer à la fois le modèle et le jeu de données. Supprimez les clés API, les jetons d'accès, les identifiants de suivi d'expérience et les caches locaux. Le transfert pair-à-pair ne remplace pas votre examen des accès.
Envoyez ensemble les poids volumineux et les dossiers de fragments
Chrome et Edge sur ordinateur prennent en charge un fichier unique jusqu'à 200 Go et des dossiers contenant jusqu'à 20 000 fichiers. Cela fonctionne pour une transmission en direct de fichiers safetensors, de fragments de checkpoint, de configuration et d'exemples de test à un collègue qui est en ligne maintenant.
Quand utiliser un registre de modèles ou un stockage d'objets ?
Utilisez un registre de modèles, une plateforme de données ou un stockage d'objets approuvé pour le versionnage, le contrôle d'accès, les téléchargements persistants, le travail multi-utilisateurs ou le déploiement automatisé. 8ma Quick Transfer gère une livraison unique en direct ; il ne remplace pas un registre de modèles.