「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>テキスト生成系(Transformer系)#j2f01d54]] > [[チューニング、拡張系>テキスト生成系(Transformer系)#j2f01d54]] --[[LLMのPE]] --[[LLMのRAG]] --[[LLMのFT]] ---huggingface/transformers Trainer ---[[huggingface/trl SFTTrainer]] --[[LLMエージェント]] *目次 [#j6ad69ad] #contents *概要 [#p7b76cbe] huggingface/transformers Trainer -huggingface/transformers --Hugging Faceが提供するNLP向けのライブラリ。 --BERTやGPTなどの事前学習済みモデルの読み込み、推論、ファインチューニングができる。 **huggingface/transformers [#q0f1dc6a] -Hugging Faceが提供するNLP向けのライブラリ。 -BERTやGPTなどの事前学習済みモデルの読み込み、推論、ファインチューニングができる。 -Trainer **Trainer [#ieb88919] ***transformersに含まれるトレーナー・クラス [#ade4e10b] ***Trainerでできること [#fd9e82cf] *参考 [#w465ae3e] **Qiita m__k #自然言語処理 [#x7ffee2d] -huggingfaceのTrainerクラスを使えばFineTuningの学習コードがスッキリ書けてめちゃくちゃ便利です~ https://qiita.com/m__k/items/2c4e476d7ac81a3a44af **Hugging Face [#n4339d0b] The AI community building the future. -Transformers~ https://huggingface.co/docs/transformers/index -Trainer~ https://huggingface.co/docs/transformers/main_classes/trainer