トレーニング成果物の配信
AIモデル、チェックポイント、データセットを送信するには？
モデルは多くの場合、最大の重みファイルだけに依存するわけではありません。設定、トークナイザーデータ、シャードインデックス、チェックサム、実行手順も一緒に移動する必要があります。チームメイトに作業を引き継ぐ際は、これらのファイルをまとめておきましょう。
簡潔な答え
モデルファイル、設定、トークナイザーデータ、サンプル、チェックサム、ドキュメントを1つのフォルダに整理します。共有すべきでないデータや認証情報を削除し、ファイルまたはフォルダ全体を送信します。受信者はモデルをロードする前に検証する必要があります。
モデルフォルダに含めるもの
- 重みまたは分割チェックポイントとそのインデックスファイル。
- モデル設定、トークナイザーデータ、前処理設定、依存関係のバージョン。
- チェックサム、ライセンス条項、データ制限、ソースノート。
- 最小限のロード例と、必要なトレーニングまたは量子化の詳細。
転送前に機密コンテンツを確認
トレーニングデータに個人情報、企業秘密、または制限付き資料が含まれていないか確認し、モデルとデータセットの両方を送信できることを確認します。APIキー、アクセストークン、実験追跡の認証情報、ローカルキャッシュを削除します。ピアツーピア転送はアクセスレビューの代わりにはなりません。
大規模な重みとシャードフォルダをまとめて送信
デスクトップ版ChromeとEdgeは、最大200GBの単一ファイルと、最大20,000ファイルを含むフォルダをサポートします。これは、safetensorsファイル、チェックポイントシャード、設定、テストサンプルを、現在オンラインのチームメイトにライブで引き渡すのに適しています。
モデルレジストリやオブジェクトストレージを使用すべき場合
バージョン管理、アクセス制御、永続的なダウンロード、複数ユーザー作業、または自動デプロイには、承認されたモデルレジストリ、データプラットフォーム、またはオブジェクトストアを使用します。8ma Quick Transferは1回限りのライブ配信を処理します。モデルレジストリの代わりにはなりません。