ChatGPT 進化 応用 課題 展望

ChatGPT 進化 応用 課題 展望 B-frontier 研究所 高橋 浩

自己紹介 - B-frontier研究所代表 高橋浩 • 略歴： • 元富士通 • 元宮城大学教授 • 元北陸先端科学技術大学院大学 非常勤講師 • 資格：博士(学術)(経営工学) • 趣味/関心： • 温泉巡り • 英語論文の翻訳 • それらに考察を加えて情報公開 • 主旨：“ビジネス(B)の未開拓地を研究する” 著書： 「デジタル融合市場」 ダイヤモンド社(2000),等 • SNS： hiroshi.takahashi.9693（facebook) ＠httakaha（Twitter）

目次 1. 2. ChatGPT： 3. 4. 進化 応用 課題 展望 3

１.進化 生成AIと創造性 • 生成 AI は、複雑なアルゴリズムと統計モデルを活用して、トレーニ ングデータのパターンと特性を模倣した新しいコンテンツを生成で きる。この点で生成AIは従来のAIとは一線を画す。 • そして、生成AIで示される創造性は、トレーニングプロセス中で予 見される可能性を超えることが期待される。 • このような創造力を獲得し、予期せぬ出力を生成する能力を示すた めには十分な分散が必要になる。 • 分散はモデルの出力にランダム性を保証し、出力結果の範囲に渡っ て十分に良好な結果を生成できるようにするために導入される。 • そうすることで、トレーニング データの構成範囲を超えて、出力コ ンテンツの多様性を高めることができる。 • このような能力が短期間で急激に進化を遂げた。 4

さまざまな研究機関や企業における LLM の進化 5

典型的あるいは有名な幾つかのLLM の比較 Model 機関/企業 パラメータ数 事前トレーニング用データ 注目すべき機能 GPT-1 (2018) OpenAI 1億1千万個 Webテキスト 大型トランスフォーマーモデル の第一弾として登場 GPT-2 (2019) OpenAI 15億個 Webテキスト 改良されたトランスフォーマー モデル GPT-3 (2020) OpenAI 1,750億個 Webテキスト, 書籍, Wikipedia 数ショット学習が可能な最大級 のモデルの 1 つ GPT-J (2021) ElutherAI 60億個 Webテキスト, Stack交換, ArXiv, PubMed, EuroParl, 書籍, Wikipedia,一般的クロール、 OpenSubtitles、フリーベース GPT-3 など他の大規模言語モ デルよりアクセスしやすい代替 としてリリースされた。 GPT-Neo (2021) ElutherAI 27億個–2.8兆個 Webテキスト,書籍, Wikipedia, 一 般的クロール、Reddit、パイル GPT に代わるオープンソースの 代替ツール BLOOM (2022) BigScience 1,760億個 13 のプログラミング言語、46 の自 然言語 GPT-3ベースの多言語コーパ ス ChatGPT-4 (2023) OpenAI 1.76兆個 大規模なデータセットでの教師あり 学習と人間と AI の両方のフィード バックを使用した強化学習 GPT-3.5 よりも信頼性が高く、 創造的で、かつより微妙な命令 も処理できる。 ChatGPTはGPT-3に人間フィードバックによる強化学習技術(RLHF)を使用して開発 したInstructGPT(GPT3.5相当)にチャットボット機能を付加して登場した。 6

ユーザーインタフェースとアプリケーションも進化 - ChatGPTとGPT-3の比較 - モデル 構造 インタラク ションの形式 GPT-1 (2018) アクセスのため オンデマンドでイ の一般モードを ンテリジェンス利 備えた AI モデル 用時は API 経由で アクセスする。 ChatGPT (2022) 対話および会話 スタイルでのア クセスを備えた チャットボット アプリケーション 意味論的テキストの理解、情報の検索、 抽出を行い、多種多様なアプリケー ション開発に使用できる。スマートア プリケーションも作成でき、コパイ ロットアプリケーション構築もできる。 アプリケーション 一般的な質問への回答、コード生成の ユーザーと対話し ための支援、言語の翻訳、高度な推論 タスクを実行する。 のための言語拡張、生産的アプリケー ション、コンテンツ作成、コードのデ バッグができる。かつ速度も速く簡潔 なインタフェースを提供する。 7

ChatGPT登場までの進化のプロセス 優れている 生成 AI モデルの進歩と洗練化 GPT4以来登場した類似モデル DALL-E2: 2022にDALL-E の上位版発表 Meta ImageBind multisensory AIモデル, May 2023 Google Project Magi, May 2023 Google Bard, March 2023 Meta LLaMa, February 2023 約 100 兆個？のパラメータ (噂) があり、より事実 に近く、ChatGPT よりも長いテキスト出力を生成 し、画像からも情報を抽出する。 DALL-E: 2021にGPT-3を使用して自 然言語記述からデジタル画像を生成 人間フィードバックによる強化学習技術を使用して、コンテ キストと会話の特徴に適合した賢明で有用なテキストを生成 1,750 億個のパラメータがあり、人間のようにテキスト生成、質問への回 答、コード作成を行うが、文章が正しく文脈に適合していない場合もある。 GPT1 で使用されたデータの 10 倍以上のデータに基づい てトレーニングされた 15 億個パラメータのシステム Common Crawl、数十億語の単語を含む Web ページ、さまざまな ジャンルの 11,000 冊を超える書籍コレクションである書籍コーパス でトレーニングされた 1 億 1,700 万個パラメータのシステム 2017 年に Google がTransformer Architectureを発表 劣っている 8

基本となるLLMの仕組み • LLM は高度な統計モデルと深層学習技術を採用して、大量のテ キストデータを事前学習することによって機能する。 • そして、データ内に存在する複雑なパターンや関係性を学習し、 特定のスタイルや特徴によく似た新しいコンテンツを生成でき る。 • 事前処理に流し込むためには次のような前処理もいる。 • コーパスソースによる事前トレーニングを行うため、まず各種のフィ ルタリングを行い、トレーニングコーパスから低品質で不要なデータ を除去する。 • 次に、重複を排除し、プライバシーを削減した上で、生テキストを 個々のトークンのシーケンスに分割し、パターンや関係性を学習する 事前トレーニングに供給する（次頁図）。 9

LLM を事前トレーニングするためのデータ処理パイプライン 生のコーパス 重複排除 品質フィルタリング • • • • メトリックの フィルタリング 言語フィルタリ ング キーワードフィ ルタリング 統計フィルタリ ング 著者がLLM に関 する論文を作成し ている。 • • • 文章レベル ドキュメントレ ベル 集合レベル プライバシー削減 • • 個人識別情報 (PII)の検出 PII の削除 トークン化 • • • 著者がLLM に関 する論文を作成 している。 LLM に関する論 文を作成してい る著者の著者名 を置き換える。 事前トレーニン グの準備完了 既存のトークナ イザーを再利用 センテンスピー ス(生文から直 接分割し学習) バイトレベルの BPE(バイトペ アエンコーディ ング) (「[誰か] が LLM に関する論 文を作成してい る」)とコード化 する。 10

これまでの進化の経緯 • GPT-3までで一定品質のテキストを生成できるようになった。 しかし、思わぬ不確実なテキストを生成することもあった。 • この問題を解決するため、人間によるフィードバック（RLHF: Reinforcement Learning from Human Feedback）を行った結 果、パラメータ数を縮小させても良好な結果が得られた。 • そこで、このバージョン(InstructGPT=GPT3.5)を基礎に チャットボット機能を付与しユーザインタフェースを改良して 市場に投入した(ChatGPT)ところ抜本的な評価を得た。 • この延長で、パラメータ数拡大、マルチモーダル対応など多様 な機能をOpenAI社だけでなく、各機関、各企業が独自に進化さ せる競争に突入して現在に至っている。 11

２.応用 • このようなChatGPTおよび類似製品は様々なアプリケーション分野 に適応できる。 医学研究と 健康 取引と収益 法的サポート アプリケーション: ロードマップと展望 学習と教育 金融機関 取引と収益 商業活動 取引と収 取引と収益 益 12

アプリケーションの展望１ 医学研究と健康： • 有用性は患者の健康状態、適応症の分析や患者個別の希望/要件に合わ せた治療計画の立案、患者への分かりやすい方法での医療知識の提供な どで確認できる。 • 更に医者は患者の病気の重症度を評価し必要な治療決定の支援も期待で きる。 取引と収益： • 有用性は会計書類などの自動作成、消費者の評価やコメントに関する感 情分析、ユーザーのリスクに応じた投資推奨などで確認できる。 • 更に大量の財務情報を分析することで一定程度市場や動きの見解も得ら れる。 法的サポート： • 有用性は法的拘束力のある書類作成の支援あるいは自動作成、判決など 法的文書の要約などで確認できる。 • 更に以前の情報と判例に基づいて法的紛争の分析や予測なども期待でき る。 13

アプリケーションの展望２ 革新的な記事作成と資料制作： • 有用性は新ストーリーのコンセプト作成、個人の好みに基づいた各種オ ンライン投稿の自動作成、語彙、簡潔さ、読みやすさの向上支援などで 確認できる。 • 更にインスピレーションに困っている著者に革新的な文章提案も期待で きる。 学習と教育： • 有用性は学習者の要件興味に基づいた個別指導、学習者のタイムリーな ガイド、興味深い学習教材の作成、生徒への建設的な批評などで確認で きる。 • 更に教室での生徒の選択、能力などに関する情報分析で、生徒個別の教 育計画も期待できる。 コーディングとプログラムのトラブルシューティング： • 有用性はプログラミング言語、機能、仕様に関する情報を分析し、利用 できるコード抜粋をクライアントに提供などで確認できる。 • 更にプログラム、データ構造を分析したプログラムの最適化、考えられ るエラーを指摘し解決することによる信頼性の向上なども期待できる。 14

アプリケーションの展望３ ジャーナリズムとメディア： • 有用性は脚本の執筆、映画/ビデオ/ゲームのセリフ考案、コンテンツの 種類、音声情報の分析で興味ある応答の提案などで確認できる。 • 更にユーザーの人口統計や行動データの分析、インタラクションを向上 させるソリューションの提供なども期待できる。 商業活動： • 有用性は顧客行動や欲求の分析によるリード創出、カスタマイズされた 製品/サービス提案により見込み顧客獲得や顧客維持などで確認できる。 • 更に顧客の問い合わせに答えたり、製品を推奨したり、購入を処理した りするチャットボット提供も可能である。 金融機関： • 有用性は質問回答、提案、購入完了のチャットボット提供、消費者ニー ズや過去の行動に基づく個別提案などで確認できる。 • 更にはマネーロンダリングや詐欺発見などにChatGPT の助けを借りる ことも期待できる。 15

アプリケーションの展望４ 学術研究： • 有用性は科学出版物からのデータの取得、大量情報の合成や要約、新し い傾向やパターンの自動識別などで確認できる。 • 更に研究者のデータとのやり取りやデータの解釈を促進し、これまで知 られていなかった発見できる効果が証明されている。 コーチングと個別指導： • 有用性はユーザー独自の学習の好みや長所、短所を考慮することで、 ユーザーが概念を理解し、記憶するのをより適切に支援できるなどで確 認できる。 • この個別化された指導法は、知識のギャップを解消し、多くの 分野で 成功するために必要なツールを学習者に提供すると期待されている。 16

ChatGPTとIoT • 更に、ChatGPT と IoT デバイスの統合は、テクノロジーとの やり取りの方法に革命をもたらす可能性がある。 • これによって、話し言葉を理解できるシームレスなコミュニ ケーションが可能になり、ユーザー エクスペリエンスが大幅に 向上し、さまざまな分野に渡って新たな世界が拓ける。 • 最初の分野は音声制御のホームオートメーションや車両との双方向会 話、などかもしれない。 • この応用のシステムイメージとしては、コネクテッドカー、スマート 家電、更には工場設備のレベルアップ、などが考えられる。 • この延長であらゆる物品にインターネット接続が追加され、物 品をオンライン＆話し言葉で管理、追跡、分析、制御できる世 界が現出する。 17

ChatGPTとIoT(2) • 即ち、ChatGPTと IoT の力を総合的に活用することで、テクノ ロジーが私たちの生活にシームレスに統合され、生活がより直 観的、効率的、楽しいものになる。 • 生成AIとIoTデバイスの統合は、IoTへの自然言語による高度な 対話によって未来を創造できる。 • これは、生成AIとIoTを相互に強化する双方からの２つのイノ ベーションを導く。 • 機械と人間との簡単で直感的なコミュニケーションの促進は、 より複雑で洗練された世界の創出に繋がる可能性がある。 18

3.課題 課題の整理の仕方 • 大まかに2 つのグループに分けて課題を整理する。 • ChatGPT使用における本質的課題 • ChatGPT固有の制限に係わり、主としてアルゴリズム強化やトレーニ ングデータのアップグレードなどを通じて課題克服が可能と考えられ る課題 • ChatGPTの使用に係わる課題 • ChatGPTの非倫理的使用、著作権侵害、ChatGPTへの過度の依存など、 主としてツールの使用に関し外部との係わりから発生する課題 • 特に非倫理的使用は誤った情報を助長し、暴力の誘発、個人または組 織レベルでの損害の発生など、極めて広範な課題を含む。 • 次頁図に一覧を示す。 19

ChatGPTの主要な課題と可能な解決の方向性 分類 問題 幻覚 ChatGPT 使用にお ける本質 的課題 ChatGPT の使用に 係わる課 題 バイアスの あるコンテ ンツ 内容 可能な解決策の例 存在しない新しいデータや情報を作成する。 アルゴリズムの改善、ユーザーは適切なプロンプトを使用 する、 生成されたコンテンツの確認の強化を行う、など 人種、宗教、性別などに関連した否定的な コメントを生成する。 アルゴリズムの改善、トレーニングデータを改良し偏った 内容の場合は人間によるフィードバック(RHLFなど)の強化 を行う、など 最新でない 2021 年までしか情報が学習されていないた リアルタイム/オンライン データへの直接アクセスを提供、 め、リアルタイム情報にアクセスできない。 またアルゴリズムの改善と更新サイクルの短縮化、など 誤った情報 事実と異なる情報を生成する。 誤った情報のレベルを示すため事実に基づいた尺度を設計、 参考文献について言及、虚偽の情報があった場合には人に よるタグ付け、など 説明不能 重要な意思決定業務などにおいて情報生成 の手順を説明しない。 論理的推論の推論プロセスに含まれるステップについて言 及する、など 倫理問題 特に承認なしにコンテンツ生成にChatGPT を使用している場合、倫理的な懸念が生じ る。 コンテンツの作成者/情報源としてChatGPTを言及、ある いはChatGPT の非倫理的な使用を避けるための法律の設 計、など 著作権侵害 事前の同意なしに、以前の作品と同一の全 部または一部のコンテンツを生成する。 生成されたコンテンツを使用/公開する前に内容を検証する。 著作権侵害の場合、人間によるタグ付けをする、など 過度の依存 人間を怠惰で無関心にし、生成された情報 に常に依存する可能性がある。 人間は、生成されたコンテンツを検証し、より良い結果を 生み出すためのツールとしてのみ ChatGPT を使用する。 20

課題への取組み姿勢 • ChatGPT使用における本質的課題への取組み • アルゴリズム強化/改善は生成AI自身の技術的革新に依存するので、 ここでは除外する。 • トレーニングデータのアップグレードに関しては多様なバイアス混入 の可能性があるので、バイアスに着目してバイアスの現れ方を整理す る。⇒次頁表 • ChatGPTの使用に係わる課題 • 特に多様な側面がある倫理問題に着目する。 • 領域が極めて広いので、広義の倫理問題を更に２つに区分する。 • 倫理的配慮 • 社会的配慮 21

様々なバイアスの現れ方 トレーニングデータ のバイアス 言語モデルは通常、トレーニングのために人間の言語の広範なデータ セットに依存する。 これらのデータセットに人種、性別、社会経済的 地位などの要因に関連するバイアスが含まれている場合、モデルは応 答の中でこれらのバイアスを内部化して再現する可能性がある。 ユーザーインタラク ションのバイアス ユーザーが一貫して偏見のある質問や偏見のある質問を投げ かけた場合、モデルは応答の中でこれらの偏見を学習し、永 続化する可能性がある。 アルゴリズムのバイ アス 使用されるアルゴリズムを通じてバイアスが導入されること もある。 コンテキストバイア ス コンテキストにユーザーの場所や言語などの要因に関連する バイアスが含まれている場合、モデルはバイアスのある応答 を生成する可能性がある。 情報幻覚 モデルがトレーニング中に学習したパターンに基づく仮定を 使用して、知識やコンテキストのギャップを埋めようとした 結果として発生することがある。 22

倫理問題：倫理的配慮 バイアスと公平性 トレーニング データに存在するバイアスを吸収して伝 播する可能性がある。差別的結果を回避する手法の開発 が必要である。 プライバシー/誤っ た情報 機密性の高いユーザー データが不用意に開示されたり 悪用されたりする可能性がある。有害行為を防止する措 置を講じる必要がある。 説明責任 現在、AIの動作に責任を設定することは難しいが、モデ ルの結果に対する説明責任を構築するフレームワークの 開発、ユーザー向けのガイドラインを見つけることが重 要である。 生成コンテンツの倫 理的使用 コンテンツをジャーナリズムや学術研究で使用すると、 信頼性、完全性、盗作の可能性に関する懸念が生じる。 コンテンツを様々な状況で使用する際の倫理ガイドライ ンとベストプラクティス確立が必要である。 透明性 AI が意思決定を行ったり、社会に重大な影響を与える コンテンツを生成したりする場合、説明責任と透明性に 関する疑問が生じる。透明性とユーザーの信頼性を高め る有意義なモデル開発が求められる。 倫理的配慮 23

倫理問題：社会的配慮 社会的配慮 デジタル検閲と言論 の自由 生成AI活用の前提となる自由なアイデア交換のプラットフォーム は、同時にセキュリティ、プライバシー、有害なコンテンツに関 する正当な懸念に対処する重要な倫理的課題も生じる。 監視と政府の侵入 個人のプライバシーへの侵入、権力乱用の可能性等について倫理 上の懸念が生じる。 セキュリティの必要性と個人の権利と自由 の保護のバランスを取ることが倫理上の重大な課題となる。 サイバー戦争と国際 安全保障 倫理的考慮事項には、攻撃的および防御的なサイバー能力の開発 と使用、巻き添え被害の最小化、サイバー空間における国家の行 動を管理する国際規範の確立等がある。 データの所有権と収 益化 個人または組織によって生成されたデータにアクセスし、使用し、 そこから利益を得る権利を誰が持つかに関係する。データ作成者、 データ主体、データ処理者の権利と利益のバランスを図る倫理的 配慮がいる。 グローバリゼーショ ンと文化的配慮 グローバリゼーションと文化的配慮に関する倫理的配慮が重要に なる。生成AIという新技術が多様な文化、規範、習慣を受け入れ、 文化的分断や緊張を悪化させないことが必要である。 デジタル格差と社会 的不平等 生成AI利用可否の格差に対処し、誰もが平等にアクセスを促進す ることが倫理的考慮事項の一面となる。 24

幅広く複雑な課題の背景 • GPT-3の訓練プロセスだけで原子炉の冷却塔を満たすのに必要な量 に相当する185,000ガロンの水を消費した。 • GPT-3 のトレーニングでは502 トンの炭素も放出された。 • これからAIの普及が進むとトレーニングのエネルギー消費は環境面 だけでなく電力やエネルギー使用量にも重大な影響を与える。 • このような課題対応として、データセンターのリサイクル水使用や 高度な冷却技術導入など、従来とは異なる対応が必要になる。 • これは、これからのAI の開発と展開に係わる責任ある持続可能な社 会実践の根本的課題となる。 • AI が我々の日常生活に浸透するに連れ、これらのシステム構築に係 わるエネルギー要件等の様々な要件を考慮した適切な戦略と開発が 必要になる。 25

4.展望 • 困難な課題がある一方、世界は生成AI絡みの活動が一層熱を帯びている。 • そこで、技術開発は着々と進む。今後に向けた代表的な展望を４つ記す。 • 会話能力の向上： • 言語理解の向上: 言語理解の向上によって、より高度で洗練されたアプリケーショ ンにつながり、コミュニケーションが向上する。 • コンテキスト理解の向上: 会話やテキストのコンテキスト理解が向上し、より正確 な応答が可能になる。 • 感情処理能力の向上: 感情認識能力が開発されより共感的対話が可能になる。 • パーソナライゼーション： • 継続的な学習:ユーザーとのやり取りから学習し、応答と機能が継続的に改善され て個別カスタマイズがより精緻になる。 • パーソナライゼーション: これらに将来の開発が加わり、よりカスタマイズされた ユーザー体験を提供する。 26

展望(続) • マルチモーダル： • ドメイン固有のモデル: 各業界固有の要件に合わせてよりドメイン固有の AI 言語 モデルが登場する。 • 効率的モデルアーキテクチャ: 計算リソースとエネルギー消費を考慮したモデル アーキテクチャ登場でよりマルチモーダルが実現しやすくなる。 • マルチモーダル統合: 画像、ビデオ、音声などをドメイン要件に合わせてより包括 的に実現しより魅力的ユーザー体験を提供する。 • 信頼性： • バイアスの軽減と公平性: 言語モデルのバイアスを特定、測定、軽減する方法開発 に取り組み、偏見と差別を最小限に抑えた高度なコミュニケーションが期待される。 • より良い倫理的フレームワーク: 公平性、説明責任、透明性を優先する倫理的フ レームワークによって導かれる必要がある。 • 説明可能な AI: モデルの説明可能性を向上させ、意思決定プロセスやモデルの内部 動作をよく理解できる方法を開発する可能性がある。 • 安全性とセキュリティ：悪意のある使用のリスクを最小限に抑え、安全策と監視シ ステムの実装が充実する可能性がある。 27

ChatGPTの会話能力の強化 • • • • 自然言語生成の改善 文脈の理解の向上 効率の向上 応答時間の短縮 • • • • ユーザーエクスペリエンスの向上 関連性の向上 ユーザーのニーズへのより適切な適応 ユーザーの意図の理解を向上させる

ChatGPT のドメイン/個人固有のパーソナライゼーション より効果的な推奨事項 様々なソースを通じてパーソナライズさ れたユーザーエクスペリエンスを向上さ せる ドメインの専門知識の向上 特定のドメイン向けの微調整 ユーザー満足度の向上 パーソナライズされたプ ロンプトを組み込む ユーザーエンゲージメントの向上 文化的および地域的多様性 に関する議事録を提供する 応答性の向上 時間の経過とともに適応性が向上 継続的なトレーニングと更新 よりパーソナライズ された AI モデル

マルチモーダルAI構築のためのさまざまな技術統合 30

信頼性 • 最も差し迫ったニーズは、信頼できる AI の開発にある。 • AI の倫理と公平性がより重要になるに連れて次の3 つカテゴリ が考慮され、そのバランスを計ることが重要になる。 ◆コンピューティング技術 ◆倫理的配慮 ◆社会的配慮 • これらは、ユーザーの信頼を育み、AI が倫理的および道徳的方 法で動作することを保証するために必要になる。 • 今後のバージョンでは、信頼できる AI を作成するために、公 平かつ公正な応答を保証する機能が含まれる。 • 次頁図に信頼性の確保に関連する要因とそれら間の相互作用を 示す。 31

信頼できるAI を実現するための様々な要素の相互作用 :社会的配慮 :倫理的配慮 32

おわりに • ChatGPTおよび関連製品の潜在的な利点とリスクについて調査し、 生成AIツールの事前トレーニング、微調整、能力評価の進歩などと、 大規模な普及を推進させている要因に光を当てた。 • 特にChatGPTなどを安全かつ倫理的に使用することの重要性を強調 した。 • これらが着実に推進されるためには、安全保障、倫理、経済、環境 に関する各種懸念に対処する適切なガイドラインと規制の構築が必 要である。 • これらと符合して、ヘルスケア、学術界、産業界が、これらツール を完全性、プライバシー、公平性の価値を維持しながら取り組めば 大きな価値が生み出される。 • 生成AIは責任ある有益な方法で使用されれば大きな効果を達成でき る。 • それには適切なサポートや重要な課題への強力な推進が非常に重要 になる。 33

文献