Googleの新たな自然言語処理モデル「ALBERT」はどのように進化したのか？

Googleから発表された自然言語処理モデル「Bidirectional Encoder Representations from Transformers(BERT)」は、膨大な既存のテキストデータから文脈理解や感情分析を事前学習するため、自然言語処理モデルをゼロから学習させる必要がなく、あらかじめ言語の知識を備えた状態で使用できます。2019年9月に、BERTを軽量化し高速化を行った「ALBERT」がGoogleによって公開されました。