トランスフォーマー

概要

Transformer（トランスフォーマー）とは、2017年にGoogleの研究チームが発表した論文「Attention Is All You Need」で提案された、深層学習（ディープラーニング）のモデルアーキテクチャのことである。

従来のモデル（RNNなど）よりも並列処理が得意で、計算効率が圧倒的に高く、文脈を双方向から深く理解できる仕組みを持っている。

この技術の登場がブレイクスルーとなり、その後のBERTやGPTシリーズ（ChatGPT）などの大規模言語モデル（LLM）の発展につながった。現在の生成AIの基礎となっている最も重要な技術である。

関連語

• アテンションメカニズム
• BERT
• GPT-4
• LLM
• ディープラーニング

由来・語源

(記述募集中)

使用例

(記述募集中)

関連用語

• (なし)