![](https://res.cloudinary.com/techfeed/image//fetch/w_280,h_210,c_fill/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2023%2F05%2F20%2Fattention-viz%2F00.png)
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
ARANK
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogleの共同研究チームが発表しました。