ファインチューニングした BERT と GPT-4o を用いた相談・助言形式動画の自動切り抜きに関する研究
1K Views
February 06, 25
スライド概要
2024年度卒業研究発表会 岡崎 光栄
日本大学 文理学部 情報科学科 北原研究室。 「Technology Makes Music More Fun」を合言葉に、音楽をはじめとするエンターテインメントの高度化に資する技術の研究開発を行っています。
関連スライド
各ページのテキスト
ファインチューニングした BERT と GPT-4O を用いた相談・助言形式動画の 自動切り抜きに関する研究 岡崎 光栄 1/22
研究背景 研究概要と目的 単独話者の動画URL 動 画 数 増 加 手 編 集 非 効 率 視聴者の相談読上 話者助言 自動で切り抜き動画生成 2/22
• • 単独話者 自動 （相談から助言）の 脈に特化 3/22
研究における必要な条件 時系列と相談助言を 保持したペアを探す 相談文n 書き 起こし 処理 助言文n 余談判定 4/22
動画話者のデータでTOHOKUBERTに ファインチューニングした文章分類モデルを提案 Speech-to-text APIの書き起こし 句読点区切りの文を判別 相談 or 助言 or その他 5/22
TOHOKUBERT(BIDIRECTIONAL ENCODER REPRESENTATIONS FROM TRANSFORMERS) [意味集約 Token] 関 連 今日は 関 連 良い 関 関 天気 連 連 ですね 関 連 [区切り目 Token] • • 6/22
TOHOKUBERTの事前学習について • 例：私は「」を食べた→私は「りんご」を食べた • 例：「私はケーキを食べる」→「そして、コーヒーを飲む」 • 7/22
事後学習: 配信動画の書き起こしデータから助言文と 相談文、その他の文を抜き, コーパスを自作 最近、時計の針が逆回りして時間がわからなくなりましたどうすれば時 間を知ることができますか, 0 鏡に時計を映してみてください正しい時間がわかるでしょうそれでもだ めなら太陽に聞いてみましょう, 1 私は勉強しています,2 ※相談が0 助言が1 その他が2 ファイン チューニング TohokuBERT 8/22
相談か助言と判定された文から切り抜く時間を探索,特定 動画切抜き開始時間 事後学習済 BERT 句読点区切りの文をモデルへ 終了時間 他の文も 同様 相談 である と判別 9/22
相談と助言文の連続をグループ化し,相談→助言の文脈ペア保持 1.「私は〜なので、将来が不安です」 2.「どう言う事をしたらいいですか」 (相談)グループ1 3.「あれカメラの調子が悪いな 」 その他と判定 4.「例えば~こう言う事例がある」 5.「あなたは〜したほうが良い」 ..n. 引き続きの文も処理 無視 文 脈 (助言)グループ2 相談->助言 部分だけ残す 10/22
ラベルを持ったグループ（以下グループ） • グループ例: 助言文1: 例えば~と言う事例がある 助言文2:あなたは~をした方が良いです • 「あなた」 不要 文削除 GPT 必要 文残す 「です」 11/22
12/22
TOHOKUBERTのファインチューニング結果 以下の表を見ると精度は良いと言える. 誤分類例: 自分に向いてるらくの業務給料が上がり 仕事が自分に向いてないキス業務が給料 がいい仕事を持ってればいいと思う 実際は相談文であるが発音の違いを判別でき ず, 助言文と誤分類されるケース等. 13/22
• HTTPS://WWW.YOUTUBE.COM/WATCH?V=NV20JMPDCXA 14/22
グループ0 (相談): 文0: ['わかります’] グループ1 (相談): 文0: ['まあいいや’] グループ2 (相談): 文0: ['いかがでしょうか’] グループ3 (相談): 文0: ['大丈夫かな’] グループ4 (相談): 文0: ['はい’] グループ5 (助言): 文0: [‘いいんじゃないかなと 思いますけども’] 15/22
16/22
グループ6 (相談): 文0:['はい’] グループ7 (相談): 文0:['バイトバック出たこと親に 言ったら怒られてしまい親を 悲しませてしまいました’] 文1: ['どうしたらいいですか’] グループ8 (助言): 文0:['ま普通親は怒るし悲しむので別に 気にしなくていいんじゃないですね’] 17/22
18/22
話者助言 失敗例: ['まあいいや’] ->結果不適切な分類 動画は60分から18分へ 成功例 :[‘はい’] ->GPT-4oによる要約が過度, または, 冗長なグループが存在 ->動画が一部過度, または, 冗長に 19/22
• • より多くの「その他」データが必要では？ • 具体性に関するプロンプトを盛り込む必要性 • 20/22
1. 2. 21/22
終わり 22/20 22/22
クロスエントロピー損失経過 過学習はなさそう
•
• •