BERT (Bidirectional Encoder Representations from Transformers)

BERT je revoluční model v oblasti zpracování přirozeného jazyka (NLP), který představil Google v roce 2018. Způsobil zásadní průlom v tom, jak stroje rozumí kontextu lidské řeči, a stal se základem pro moderní vyhledávání Google.

1. Co dělá BERT unikátním?

Před příchodem BERT modely (jako LSTM nebo Word2Vec) četly text lineárně – buď zleva doprava, nebo zprava doleva. BERT je obousměrný (bidirectional).

Kontext z obou stran: BERT analyzuje slovo v souvislosti se všemi slovy, která mu předcházejí i následují, a to ve všech vrstvách najednou.

Příklad: Ve větách „Bankovní účet“ a „Břeh řeky (bank)“ by starší modely mohly slovo „bank“ interpretovat stejně. BERT díky okolním slovům pochopí rozdílný význam.

2. Architektura

BERT je postaven na architektuře Transformer, konkrétně využívá pouze část zvanou Encoder.

Existují dvě základní verze:

BERT Base: 12 vrstev (blocks), 110 milionů parametrů.

BERT Large: 24 vrstev, 340 milionů parametrů.

3. Jak se BERT trénuje?

BERT nebyl trénován na konkrétní úkol (jako překlad), ale na porozumění jazyku jako takovému pomocí dvou technik:

A. Masked Language Model (MLM)

V textu je náhodně skryto (zamaskováno) 15 % slov a úkolem modelu je podle kontextu uhodnout, co tam patří. Příklad: „Pes [MASK] na kočku.“ → BERT doplní „štěká“.

B. Next Sentence Prediction (NSP)

Model dostane dvě věty a musí určit, zda druhá věta v původním textu skutečně následovala po té první. To pomáhá pochopit vztahy mezi celými bloky textu.

4. Fine-tuning (Doladění)

Hlavní výhodou BERT je, že jej můžete vzít jako „hotový mozek“ (Pre-trained model) a velmi rychle jej doučit na specifický úkol s minimem vlastních dat.

Analýza sentimentu: Je recenze pozitivní nebo negativní?

Named Entity Recognition (NER): Vyhledávání jmen, míst a organizací v textu.

Question Answering: Odpovídání na otázky na základě přečteného odstavce.

5. BERT vs. GPT

Ačkoliv jsou oba modely založeny na Transformerech, mají jiný účel:

Vlastnost	BERT	GPT
Zaměření	Porozumění textu (NLU)	Generování textu (NLG)
Směr	Obousměrný (čte vše najednou)	Jednosměrný (čte zleva doprava)
Využití	Vyhledávání, klasifikace, analýza	Chatboti, psaní textů, kreativita

Související články:

Architektura Transformer

Zpracování přirozeného jazyka (NLP)

Word Embeddings (Word2Vec, GloVe)

Tagy: tag>ai nlp google transformer bert