開催概要#
- 日時: 2025/1/30 17:00~
- 人数: オンラインも含め5名
内容#
1月30日に定期勉強会を行いました。
発表者: 村上
題名: Transformer入門
概要#
ChatGPTに代表される大規模言語モデルを支える基盤技術であるTransformerについて解説しました。 Transformerは単語同士の関係を「注意機構（Attention）」によって捉えることで、高精度かつ効率的な学習を実現する点が特徴です。 RNNなどの従来手法との違いに加え、Transformerを画像分野に応用したVision Transformerについても紹介しました。