専門知識に詳しいLLM Botを作りたい(LLM Meetup Tokyo#3用)

専門知識に詳しい LLM Botを作りたい LLM Meetup Tokyo#3 2023/7/5 Kan Hatakeyama https://twitter.com/kanhatakeyama

• https://twitter.com/kanhatakeyama

最先端でマニアックな○○○について､教えて (Loraのrって何ですか?, RWKVでfine tuningしたいです, …) ×××ですよ! 出典は … 誰もが欲しい(?)けれど､なかなか作るのが難しいBot 問題点 • 学習コスト&モデル精度 • ハルシネーション • 専門･機密情報 • 出典 • 回答の正確さ • …

今回の設計

RWKV-4-Pile-7BのLora(r=32)のfine tuning例 Dataset: 約10 M tokens (from オープンアクセス論文, 英語) GPU: RTX-3090 x2 (140 W制限), 1 epochあたり30 minほど Finetune 前 ユーザー：スーパーミセルとは何ですか？ ボット: スーパーミセルは、「ある」、「ない」、「あれ」、「ある」、「ない」、「ない」。 User: What are supermicelles? Bot: supermicelles are, are not, that, is, is not, does not. Finetune 後(epoch=5) ユーザー：スーパーミセルとは何ですか？ Bot: スーパーミセルは疎水性の直鎖ブロックと親水性の直鎖ブロックからなる両親媒性のブロック共 重合体です。水中で自己集合し、疎水性のコアと親水性のシェルを持つミセルを形成する。 User: What are supermicelles? Bot: Supermicelles are amphiphilic block copolymers composed of a hydrophobic linear block and a hydrophilic linear block. They self-assemble in water to form micelles with a hydrophobic core and a hydrophilic shell.

Demo動作 Google colab

メモ書き

Fine tuning前 rwkv-4-pile-169m (通常, 5 epoch) Q. グラフェンの特長は何ですか? A. * 最高のグラフェン材料は、多くの用途に使用されている。 * グラフェンは様々な用途に使用できる。 * グラフェンは、世界で最も広く使用されている材料である。 * グラフェンは、グラファイトよりも安定している。 * グラフェンは金よりも安価である。 * グラフェンは金よりも安価である。 * グラフェンは金よりも耐久性がある * グラフェンは金よりも耐久性がある。 * グラフェンは錆びにくい。 * グラフェンは金よりも酸化に強い。 * グラフェンは金よりも酸化に強い。

Fine tuning後 rwkv-4-pile-169m (通常, 5 epoch) Q. グラフェンの特長は何ですか? グラフェン、酸化グラフェン（GO）、セルロースナノファイバーなどである。 グラフェンナノマテリア ルの利点は以下の通りである： グラフェンナノマテリアルの利点は以下の通りである： - 強い化学的・物理的結合：グラフェンは原子量が大きく、共有結合が強いため、酸化や析出が容易であ る。 - 強い化学耐性：グラフェンには化学耐性があるため、意図した化学構造から容易に外れることはない。 - - スケーラブルな製造：グラフェンは、酸化グラフェン（GO）、酸化グラフェン・チャントラル複合 体前駆体、グラフェン・ポリピロール複合体など、さまざまなナノ材料に加工できる。 (不正確だが､改善)

出典探し [{'path': 'dataset/original_text/***.yaml'、 'text': '. グラフェンをベースとしたデバイスや複合材 料の分野では進歩が見られるが、グラフェンの特性を連続繊維などの巨視的な秩序材料に効果 的に応用するには、一般的な溶媒への分散性に限界があることや、スケーラブルな組み立て方 法がないことなどの課題を克服する必要がある。あるいは、グラフェンの前駆体として最も入 手しやすい化学酸化グラフェンや酸化グラフェン（GO）は、水や極性有機溶媒によく溶け、 異方性の高いコロイドの典型的なメソ相であるリオトロピックネマティック液晶（LC）を形成 することができる。GOシートのこの従来型の相挙動は、新規なメソ相の発見につながる可能 性がある。さらに、規則的な秩序を持つGO液晶は、湿式紡糸技術による巨視的なグラフェン 繊維への最も実行可能な流体集合アプローチを約束する。このような繊維は、強靭なケブラー 繊維やカーボンナノチューブ（CNT）繊維と同様に液晶紡糸ドープから紡糸されることから、 多くの用途に有用な強靭で導電性の繊維となるであろう、 … スケーラブルな製造ができると回答しているが､実際は､その逆｡ (169mモデルの限界?)

データセット(Q&A)作成

今後の目標 • MPT-30bをfine tuningしたい • これはわりと､“賢い!” • loraできないか…? • CPUで学習出来ないか..? • 今回のloraはca. 1 hr/epochで､数epoch回せばOK｡ • 学習時間が10倍でも､acceptableなレベル • 文献検索 • LLMに文献を読ませて､興味のあるtopicと関係のある箇所だけ拾いたい • ヒトが読むべき箇所のハイライト / 検索結果のranking • GPT3.5/4でゴリ押し(?) • マルチモーダル • ロボットに実験させたい