【人工知能・深層学習】レビュー：モダリティギャップの研究紹介
>100 Views
April 18, 25
スライド概要
【学生の情報】：D2 安木駿介、https://snskysk.github.io/、https://www.docswell.com/user/snskysk
【論文の学術分野】：Computer Vision and Pattern Recognition; Machine Learning; Computation and Language
【レビュー対象論文】：
Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning (NeurIPS 2022)
UNDERSTANDING THE MODALITY GAP IN CLIP (ICLR 2023 workshop)
It’s Not a Modality Gap: Characterizing and Addressing the Contrastive Gap (2024/06)
Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP (2024/06)
Two Effects, One Trigger: On the Modality Gap, Object Bias, and Information Imbalance in Contrastive Vision-Language Models (2024/10)
Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning (2024/12)
Cross the Gap: Exposing the Intra-modal Misalignment in CLIP via Modality Inversion (ICLR2025 2025/02)
【概要】：マルチモーダルモデルの表現空間における「モダリティギャップ」という幾何学的現象に関して、最近のいくつかの研究論文を取り上げて研究動向をレビューします。論文によって、ギャップの発生原因やギャップを閉じることの効果に関する見解が異なるなどの研究状況が読み取れます。
【注意書き】：研究室内で発表に利用したものです。自分用のメモも兼ねていますので、情報が混みあっています。解釈に誤りがある可能性がありますので、ご参考いただく際はご注意ください。**資料の転用は禁止しております。**
立教大学大学院人工知能科学研究科における瀧雅人准教授が主催する研究室で2020年度からスタートしているまだ若い組織です。 最先端の深層学習について、高度化・説明性向上などをテーマに深く幅広く研究しています。 また医療や神経科学・物理学におけるデータ分析や、産業への社会実装にも携わっています。 研究室内のPaper Reading活動の記録として、研究室学生の発表資料を公開しています。 ご興味をお持ちの方は、HPをご確認ください。
関連スライド
各ページのテキスト
モダリティギャップの研究紹介 2025/02 立教大学人工知能科学研究科 瀧雅人研究室D2 安木 駿介