BERT (Bidirectional Encoder Representations from Transformers)

BERT je revoluční model v oblasti zpracování přirozeného jazyka (NLP), který představil Google v roce 2018. Způsobil zásadní průlom v tom, jak stroje rozumí kontextu lidské řeči, a stal se základem pro moderní vyhledávání Google.

Před příchodem BERT modely (jako LSTM nebo Word2Vec) četly text lineárně – buď zleva doprava, nebo zprava doleva. BERT je obousměrný (bidirectional).

• Kontext z obou stran: BERT analyzuje slovo v souvislosti se všemi slovy, která mu předcházejí i následují, a to ve všech vrstvách najednou.
• Příklad: Ve větách „Bankovní účet“ a „Břeh řeky (bank)“ by starší modely mohly slovo „bank“ interpretovat stejně. BERT díky okolním slovům pochopí rozdílný význam.

BERT je postaven na architektuře Transformer, konkrétně využívá pouze část zvanou Encoder.

Existují dvě základní verze:

• BERT Base: 12 vrstev (blocks), 110 milionů parametrů.
• BERT Large: 24 vrstev, 340 milionů parametrů.

BERT nebyl trénován na konkrétní úkol (jako překlad), ale na porozumění jazyku jako takovému pomocí dvou technik:

V textu je náhodně skryto (zamaskováno) 15 % slov a úkolem modelu je podle kontextu uhodnout, co tam patří. Příklad: „Pes [MASK] na kočku.“ → BERT doplní „štěká“.

Model dostane dvě věty a musí určit, zda druhá věta v původním textu skutečně následovala po té první. To pomáhá pochopit vztahy mezi celými bloky textu.

Hlavní výhodou BERT je, že jej můžete vzít jako „hotový mozek“ (Pre-trained model) a velmi rychle jej doučit na specifický úkol s minimem vlastních dat.

• Analýza sentimentu: Je recenze pozitivní nebo negativní?
• Named Entity Recognition (NER): Vyhledávání jmen, míst a organizací v textu.
• Question Answering: Odpovídání na otázky na základě přečteného odstavce.

Ačkoliv jsou oba modely založeny na Transformerech, mají jiný účel:

Související články:

• Architektura Transformer
• Zpracování přirozeného jazyka (NLP)
• Word Embeddings (Word2Vec, GloVe)

Tagy: ai nlp google transformer bert