大規模言語モデルを用いた料理レシピの曖昧表現補完

>100 Views

May 27, 25

スライド概要

上田 茜, 岡本 一志, 原田 慧, 柴田 淳司, 軽部 幸起: 大規模言語モデルを用いた料理レシピの曖昧表現補完, 第39回人工知能学会全国大会, 2025.5, 大阪府大阪市.

profile-image

Data Science Research Group, The University of Electro-Communications

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

大規模言語モデルを用いた料理レシピの曖昧表現補完 上田 茜 ,岡本 一志 ,原田 慧 ,柴田 淳司 ,軽部 幸起 1: 電気通信大学 2: 東京都立産業技術大学院大学 2025.05.27 年度 人工知能学会全国大会 2025 1 / 27

2.

はじめに 料理レシピ 一般の人が作るレシピは,閲覧者によって 解釈が異なる表現 料理の再現性を損なう表現 このような曖昧表現はレシピの理解に 影響を与える 料理レシピ投稿サイトは,誰でもレシピの 投稿・閲覧が可能 曖昧表現を補完することで,閲覧者のレシピ 理解が促進 2025.05.27 年度 人工知能学会全国大会 2025 2 / 27

3.

曖昧表現補完の関連研究 食材と調理動作との共起関係から省略部を補完 [志土地+, 2010],[福元+, 2019] ルールベース手法で,多様なレシピで補完を適用するには,共起回数の閾値設定が必要 幅広いレシピで補完を適用するために,大規模言語モデル(LLM)を活用 2025.05.27 年度 人工知能学会全国大会 2025 3 / 27

4.

リサーチクエスチョン 目的: LLMを用いて,曖昧表現を容易に解釈できる表現に変換する補完方法を提案 RQ1 :料理レシピにおける曖昧表現はどのようなものか レシピデータセットを用いたアンケート調査によって明確化 RQ2 :LLMを用いることで料理レシピの曖昧表現を補完できるか 検索拡張生成(RAG)の技術を応用 前述の結果を利用したLLMのプロンプトを作成して補完 有効性を調理実験を通じて検証 2025.05.27 年度 人工知能学会全国大会 2025 4 / 27

5.

曖昧表現の特定 調査内容: 曖昧表現の抽出作業 料理頻度,料理レベル,作業の負担度 (4段階評価) 使用データセット: クックパッドデータセット [クックパッド 株式会社, 2015] の レシピタイトル・材料・調理手順 方法: 被験者25名ごとにレシピをランダムで 50件ずつ配布,Google Form で回答を依頼 2025.05.27 年度 人工知能学会全国大会 2025 5 / 27

6.

報告された不明点の類型化 カテゴリ 不明点の具体例 不明点に対応する実際の調理手順 継続時間 焼き時間の記載がない フライパンで焼く サイズ どのように切ればいいのか トマト、チーズ、オクラを切る 分量 「分量外」がわからない フライパンに油(分量外)を熱し~ 調理環境の省略 電子レンジのワット数が知りたい しんなりするまで3分くらい電子レンジにかけ~ 鍋に甘酢あんの材料入れて作る 工程の省略 甘酢あんの作り方がわからない <甘酢あん> 酢、砂糖 各大1と1/2~ 動作タイミングの省略 中盤がいつかわからない 中盤に、なすびも入れて煮込む 調理用語 HBってなに? ピザ生地はHBにセットして作ります 日本語 ブザー?:言及されてない 出来上がりのブザーがなったら、生地を取り出し~ (上記にいずれも該当しないもの) その他 手順が図とかがないと くるくると手早く巻き、フライパンの端(向こう側)に寄せる 分かりにくい 2025.05.27 年度 人工知能学会全国大会 2025 6 / 27

7.

熟練度・負担度 熟練度別人数と報告された不明点の数 熟練者 非熟練者 人数 12 13 報告された不明点総数 173 283 熟練者:「週に 3,4 回以上」or「料理が得意・どちらかというと得意」 非熟練者:「月に数回以下」and「料理しない・苦手・どちらかというと苦手」 負担度の回答数 件数 もう少し作業ができる 特に何も感じなかった どちらかというと疲れた とても疲れた 2025.05.27 2 2 年度 人工知能学会全国大会 2025 15 6 7 / 27

8.

各カテゴリの不明点数の割合(RQ1) 不明点総数(n=173 または 283)に対する各カテゴリの不明点数を割合として算出 2025.05.27 年度 人工知能学会全国大会 2025 8 / 27

9.

継続時間・分量・サイズの細分化(RQ1) カテゴリ 内訳 不明点の具体例 割合 修飾語句 「じっくり焼く」とは 0.55 継続時間 省略 焼き時間の記載がない 0.45 修飾語句 「軽く塩胡椒」の量 0.62 分量 省略 量の目安が欲しい 0.38 修飾語句 小さくちぎるが曖昧 0.74 サイズ 省略 食材の切り方が不明 0.26 修飾語句によるもの,省略によるものの2つに細分化 2025.05.27 年度 人工知能学会全国大会 2025 9 / 27

10.

カテゴリの階層化(RQ1) カテゴリを階層化 さらに細分化できるカテゴリは小カテゴリを 作成 曖昧表現は,大きく分けて修飾語句 によるものと省略によるものが存在(RQ1) 調理用語カテゴリを除いた不明点のうち, 修飾語句や省略による不明点が77%存在 2025.05.27 年度 人工知能学会全国大会 2025 10 / 27

11.

提案する曖昧表現の補完手法 2025.05.27 年度 人工知能学会全国大会 2025 11 / 27

12.

カスタムプロンプト 2025.05.27 年度 人工知能学会全国大会 2025 12 / 27

13.

使用したデータセット データセット名 レシピの特徴 データ数 使用項目 使用方法 クックパッド 様々なユーザが投稿可能 172万 タイトル・材料・手順 1件入力 みんなのきょうの料理 料理家が執筆 2万 タイトル・手順 外部DB クックパッド: みんなの今日の料理: https://www.kyounoryouri.jp/recipe/604300 https://cookpadcom/jp/recipes/18233855 2025.05.27 年度 人工知能学会全国大会 2025 13 / 27

14.

調理実験の概要 提案手法の有効性を検証するため,実際に補完前後のレシピで調理を行う調理実験を実施 2025.05.27 年度 人工知能学会全国大会 2025 14 / 27

15.

2025.05.27 年度 人工知能学会全国大会 2025 15 / 27

16.

使用したレシピ:青椒肉絲 2025.05.27 年度 人工知能学会全国大会 2025 16 / 27

17.

使用したレシピ:ロールキャベツ 2025.05.27 年度 人工知能学会全国大会 2025 17 / 27

18.

評価方法 で調理者に可読性評価,試食者に整合性評価の回答を依頼 可読性:閲覧者の視点,読みやすさ 整合性:レシピ本体の視点,補完前後の完成品間で評価指標の値の低下がないか 評価項目 評価指標 評価尺度 手順の理解度 1:理解できなかった ~ 3:どちらともいえない ~ 5:理解できた 可読性 手順の文量 1:少ない ~ 3:適切 ~ 5:多い 曖昧表現数 手順に対する曖昧表現カテゴリへのチェック数(少ない〇) 味 1:悪い ~ 5:良い 整合性 見た目 1:悪い ~ 5:良い 香り 1:悪い ~ 5:良い Google Form 2025.05.27 年度 人工知能学会全国大会 2025 18 / 27

19.

可読性のアンケート結果(RQ2) 料理 青椒肉絲_スコア平均 ロールキャベツ_スコア平均 レシピ 補完前(n=2) 補完後(n=2) 補完前(n=2) 補完後(n=2) 理解度 4.5 4 2.5 3 文量 2.5 3 2 3 曖昧表現数 2 1 5.5 1.5 理解度・文量は大きく変わらず 指標の再設定 曖昧表現数は 27%~50% に減少 定量的に曖昧表現を補完できることを確認 2025.05.27 年度 人工知能学会全国大会 2025 19 / 27

20.

可読性のアンケートで報告されたコメント(RQ2) キャベツの巻き方が分からなかったというコメント(「しっかり巻く」という表現に補完) RAGのアプローチにおいて, レシピ検索過程で類似度0.7付近のレシピを取得出来ていた 取得した5件中4件のレシピでキャベツの巻き方が提示されていた LLM の回答生成過程で問題が生じた可能性が示唆 2025.05.27 年度 人工知能学会全国大会 2025 20 / 27

21.

青椒肉絲の整合性のアンケート結果(RQ2) 青椒肉絲 味 見た目 香り レシピ 完成品No. count mean std mean std mean std 1a 10 3.30 0.95 3.60 0.84 3.60 0.52 補完前 1c 10 4.20 0.92 3.60 1.07 3.70 0.67 1b 補完後 1d 10 3.90 0.74 4.30 0.82 3.90 0.88 9 3.30 1.22 3.67 1.22 3.67 1.00 味・香りは目立った変化なし 見た目のスコアが向上 1d の標準偏差がどの指標でも1超え → 好みにばらつき 香りの標準偏差は 0.5~0.8 で小さい → 香りによる感じ方のばらつきが少ない 2025.05.27 年度 人工知能学会全国大会 2025 21 / 27

22.

青椒肉絲の整合性に関して報告されたコメント(RQ2) レシピ 完成品No. コメント数 1a 5 補完前 1c 2 1b 補完後 1d 人以上から報告されたコメント 味が薄い,具材のサイズが違う・大きい 2 - 5 胡椒の香りが強い,火がしっかり通っている 2 - 補完前:「具材のサイズが違う」 見た目のスコア向上:食材のカット幅明記によるものと推測 2025.05.27 年度 人工知能学会全国大会 2025 22 / 27

23.

ロールキャベツの整合性のアンケート結果(RQ2) ロールキャベツ 味 見た目 香り レシピ 完成品No. count mean std mean std mean std 2c 9 3.44 1.13 4.00 0.50 3.44 0.53 補完前 2d 10 4.00 0.67 4.10 0.99 3.40 0.52 2a 補完後 2b 10 3.10 0.74 3.10 0.74 3.60 0.52 10 2.90 0.74 3.90 0.74 3.20 0.79 味と見た目のスコアが低下 香りは目立った変化なし 2b は味の平均スコアが 3pt を下回っている → 調理ミスによるものだと推測 香りの標準偏差は 0.5~0.8 で小さい → 香りによる感じ方のばらつきが少ない 2025.05.27 年度 人工知能学会全国大会 2025 23 / 27

24.

ロールキャベツの整合性に関して報告されたコメント(RQ2) レシピ 完成品No. コメント数 2人以上から報告されたコメント 2c 3 味が薄い 補完前 2d 2 2a 5 味が薄い, 2bよりは濃い 補完後 2b 4 味が薄い 補完前後:「味が薄い」 補完後レシピにおいて1件ずつ:「茹で時間が短い」 味のスコア低下:使用した鍋が10人前サイズで,LLMにとって想定外であったことが示唆 2025.05.27 年度 人工知能学会全国大会 2025 24 / 27

25.

整合性のアンケート結果(RQ2) 味 見た目 香り レシピ 完成品No. count mean std mean std mean std 補完後 1b 10 3.90 0.74 4.30 0.82 3.90 0.88 補完前 2d 10 4.00 0.67 4.10 0.99 3.40 0.52 , の調理者は料理歴が長く,4pt 付近の良いスコアを獲得 料理歴による介入が大きい可能性 1b 2d 整合性は明確に確認できない 2025.05.27 年度 人工知能学会全国大会 2025 25 / 27

26.

おわりに まとめ 曖昧表現は,大きく分けて省略によるものと修飾語句によるものが存在(RQ1) LLMを用いた曖昧表現の補完手法を提案し,有効性を検証する調理実験を実施 曖昧表現の補完は可能であるものの,整合性は明確な判断ができない(RQ2) 今後の予定 対象を非熟練者に絞ることで,料理経験や熟練度の影響を排除し,システムの実用性を向上 可読性向上を目的として,プロンプトを改善し回答精度を上げる 評価指標を新しく設定して再実験 2025.05.27 年度 人工知能学会全国大会 2025 26 / 27

27.

参考文献 志土地+, 2010] 志土地由香,出口大輔,高橋友和,井手一郎,中村裕一,村瀬洋:料理レシピをわかりやすくす るための理解困難な表現の補足, 電子情報通信学会技術研究報告,109(466),95-100,2010. [福元+, 2019] 福元颯,松下光範:調理手順の類似性に基づく料理レシピの曖昧な表現の補完, 電子情報通信学会 HCGシンポジウム2019論文集,2019. [クックパッド株式会社, 2015] クックパッド株式会社:クックパッドデータセット,国立情報学研究所情報学研究 データリポジトリ,2015. [NHKエデュケーショナル, 2024] NHKエデュケーショナル:プロの料理家レシピ満載【みんなのきょうの料理】 , https://www.kyounoryouri.jp/,2024/11/09 アクセス. [ 2025.05.27 年度 人工知能学会全国大会 2025 27 / 27