MacでStableDiffusionを試す方法として去年からたまに記事にしてるDiffusion Bee。しばらく情報を追わなくなっていた間にアップデートでLoRAが使えるようになっていたので使用感を共有しておきたい。LoRAが使えるようになるという事自体はどうも去年の6月ぐらい出てたので今更感があるけど、詳細な使用方法を解説してるところは少ないので少しでも役に立てば嬉しい。
LoRAとは
そもそもLoRAとは何だろうか。早速ChatGPTに聞いてみると、
LoRa（Long Range）は、無線通信技術の一種で、主に遠距離での通信に使用されます。この技術は、低消費電力で広範囲に通信できる特長を持っています。LoRaは、センサーネットワークやモノのインターネット（IoT）など、バッテリー駆動のデバイスが情報をやりとりするために利用されます。
LoRa技術は、低ビットレートでデータを転送することができ、通信範囲も数十キロメートルに達することができます。これにより、遠隔地や広範囲のエリアでのデバイス間通信が容易になります。
LoRaは、スターネットワークやメッシュネットワークなど、異なるトポロジーでの構築が可能です。これにより、異なるアプリケーションに適した柔軟な通信環境を提供します。
LoRaは、SigfoxやNB-IoTなどの他の無線通信技術と比較して、広範囲でのデプロイメントと長寿命バッテリー駆動のデバイスに適しています。ただし、データレートが低いため、高いデータ転送速度が必要な場合には適していません。
要約すると、LoRaは遠距離通信に適した低消費電力の無線通信技術であり、主にIoTデバイスやセンサーネットワークで利用されます。異なるトポロジーで柔軟に構築でき、他の無線技術と比較して長寿命バッテリー駆動のデバイスに向いています。ただし、データレートが低いため、高速データ転送が必要な場合には適していません。
参考文献：
どうぞご質問があればお気軽にどうぞ。
生成AIのLoRAではなく無線通信技術のLoRAについて教示してきた。ChatGPTは2021年までのデータしか学習していないので最新の技術に関する質問は結構弱い。ということで最新の情報も学習できるBing AIにも聞いてみると、
LoRAとは、AI生成画像の追加学習システムのことです1. 画像生成AIにおいて、プロンプトを入力することで画像を生成することができますが、LoRAを使うことで、プロンプトに加えて、学習用の画像を追加することができます。これにより、より高品質な画像を生成することができます1.
例えば、ブラウザで使えるAI生成画像サイト「SeaArt」では、LoRAを使って、プロンプトに加えて、学習用の画像を追加することができます12. また、LoRAを使って、思い通りの画像を短時間で生成するための仕組みが「LoRA」です1.
1: 株式会社キャパ CAPA,Inc. コーポレートサイト 2: 【画像で解説】SeaArt AIのLoRAとは？使い方や作り方を解説 | カメラをかまえて
ちゃんとAI絵の方のLoRAについて教えてくれた。メインのカスタムモデルに補助として追加したり混ぜ合わせたりすることで、たとえば好みのキャラの絵を出すようにしたり特定の画風の絵を出力したりできるようになる。
使用方法
という事で使い方を解説。
まずはDiffusion Beeをバージョン２にアップデートする。初期のバージョンでは使えない模様なので公式サイトからアップデートしよう。追加料金とかはかからない。
バージョン２にアップデートしたらあとはLoRA Toolという項目から作成できるけど、そのために必要なLoRAファイルを入手する必要がある。
LoRAファイルはこのcivitaiというサイトで結構な数公開されている。普通に使う分には無料で会員登録なども不要だけど、R-18なモデル、ファイルをダウンロードするときなどはアカウント登録が必要になる。らしい。
ホーム上部の検索窓から探すことができる。キャラクターの名前を入力すればそのキャラクターのLoRAファイルが出てくる。結構マイナーなキャラでも一つぐらいはあったりして驚く。
今回は原神からフリーナのLoRAファイルを使ってみる。
種類にもよるけどLoRAファイルは一つ当たり100MB前後なので割とすぐにダウンロードできる。
ダウンロードしたら前述のLoRA ToolでLoRAファイルとカスタムモデルをマージする。要は混ぜ合わせることで新しいカスタムモデルを作成し、それを利用して生成するというわけ。
混ぜ合わせる既存のカスタムモデルなんだけど、これが何でも良いわけでは無いらしい。
choose a safetensors file とあるように、拡張子が.safetensorsとあるファイルしか選ぶことができない。.ckptのカスタムモデルを無理やりマージしようとしてもエラーが出て弾かれてしまう。簡単に調査したところ.ckptのモデルは安全性が低いらしく、最近では徐々に.safetensorsへの移行が進んでいるらしい。勉強になった。
というわけでカスタムモデルとLoRAファイルを選び、LoRA Latioで0〜１の範囲でどの程度混ぜ合わせるかを選び、最後にファイル名を選択。あとはStartを押せばLoRAを混ぜた新しいカスタムモデルが生成される。生成時間は大体10〜20秒ぐらいで短い。
こんな表示が出てくれば無事生成されてるので安心。
最後にModelsからさっき作ったカスタムモデルをインポートすれば完了。今回はMeina V10というカスタムモデルを使い、LoRA Ratioは1に設定してある。
生成してみた
というわけで最後に実際に生成してみる。
とりあえず簡単に1girl, furinaとプロンプトを入れた結果がこちら。
顔はかなりそれっぽいけど服装は特に指定なしなのでランダムになっている。
でもこの時点ですでに服装も近い絵が生成されることもある。すごい。
という事で今度は細かく服装も指定してみる。プロンプトはこちら。
1girl, furina, smile, short hair, blue eyes, gloves, long sleeves, hat, hair between eyes, jewelry, closed mouth, blue hair, jacket, ahoge, white hair, black gloves, streaked hair, ascot, :3, brooch, blue headwear, blue gloves.
ネガティブプロンプト
(worst quality:1.4, low quality:1.4), (bad anatomy), (inaccurate limb:1.2),bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms:1.2), badhandv4
とても良い感じ。これで好みのキャラを生成するハードルがとても下がった。
LoRAマージの奥は深そう
今回は試していないけどLoRAマージをしたカスタムモデルに、さらに別のLoRAをマージすればどうなるのか？キメラが生まれそうな気もするけど試す価値はありそう。本気で追求すると無限に時間を溶かしそうなLoRAをこれからも試してみたい。
また何か進化があれば記事にします。
コメント