Mistral AI

Mistral AI je přední evropská společnost zabývající se výzkumem a vývojem umělé inteligence, konkrétně velkých jazykových modelů (LLM). Sídlí v Paříži a představuje hlavní evropskou konkurenci pro americké giganty jako OpenAI, Anthropic nebo Google. Společnost je známá svým pragmatickým přístupem, který kombinuje vývoj vysoce výkonných open-source (přesněji open-weights) modelů s nabídkou proprietárních modelů přes komerční API.

Společnost zažila naprosto bezprecedentní raketový start, který z ní během necelého roku udělal jednoho z hlavních hráčů na trhu s AI:

• Duben 2023: Mistral AI zakládá trojice špičkových výzkumníků: Arthur Mensch (bývalý výzkumník z Google DeepMind), Timothée Lacroix a Guillaume Lample (oba dříve působící v AI divizi společnosti Meta, kde se podíleli na vývoji modelů LLaMA).
• Červen 2023: Startup získává počáteční investici (seed round) ve výši rekordních 105 milionů eur, a to pouhé čtyři týdny po svém založení, aniž by měl hotový jakýkoliv produkt.
• Září 2023: Vydání prvního modelu Mistral 7B, který navzdory své malé velikosti drtivě poráží konkurenční (a mnohem větší) modely na trhu.
• Prosinec 2023: Mistral šokuje komunitu vydáním modelu Mixtral 8x7B (vydán formou torrentového odkazu na sociální síti X). Tento model zpopularizoval architekturu Mixture of Experts (MoE) v open-source světě. Zároveň společnost oznamuje zisk další investice ve výši přes 400 milionů dolarů.
• Rok 2024: Společnost uvádí na trh své první plně proprietární „frontier“ modely (Mistral Large) dostupné pouze přes API a navazuje strategické partnerství s Microsoftem (integrace do Azure), Snowflake a IBM. Vydává také specializované modely pro kódování (Codestral).

Mistral AI se nesnaží pouze trénovat stále větší a větší modely hrubou silou. Jejich hlavním přínosem je extrémní efektivita.

Mistral jako první masivně zpopularizoval a zpřístupnil architekturu Sparse Mixture of Experts. Například model Mixtral 8x7B se skládá z 8 menších expertních „mozků“ (sítí), ale pro zpracování konkrétního slova v dotazu (tokenu) se aktivují vždy pouze dva nejvhodnější experti.

• Výhoda: Model má obrovskou celkovou znalost (47 miliard parametrů), ale při generování odpovědi spotřebovává výpočetní výkon odpovídající pouze 12 miliardám parametrů. Je tak neuvěřitelně rychlý a levný na provoz.

Technika použitá u modelu Mistral 7B, která modelu umožňuje zpracovávat delší kontexty s mnohem menšími nároky na paměť grafických karet (VRAM) než tradiční mechanismy pozornosti.

Mistral dělí své modely do dvou větví: volně dostupné (zveřejněné váhy) a komerční (přístupné pouze přes API platformu).

Tyto modely lze stáhnout, spustit na vlastním serveru a většinou volně upravovat pod licencí Apache 2.0.

• Mistral 7B: Historicky první model. Dodnes standard pro aplikace vyžadující rychlý a levný běh na běžném hardwaru.
• Mixtral 8x7B: První MoE model. Dlouhou dobu nejlepší open-source model na světě.
• Mixtral 8x22B: Větší verze MoE architektury určená pro komplexní podnikovou logiku s kontextovým oknem 65k tokenů.
• Mistral NeMo (12B): Model vyvinutý ve spolupráci s Nvidií, vyznačující se masivním kontextovým oknem 128 tisíc tokenů, navržený pro snadné spuštění na jedné grafické kartě.
• Codestral / Mathstral: Specializované otevřené modely dedikované čistě na generování programovacího kódu a řešení složitých matematických úloh.

Vlajkové lodě určené pro ty nejsložitější úlohy (tzv. „reasoning“).

• Mistral Large: Nejsilnější model společnosti, navržený jako přímá konkurence pro modely rodiny GPT-4 (od OpenAI) nebo Claude 3 (od Anthropic). Exceluje v logice, překladech, složitém programování a vícejazyčných úlohách.
• Mistral Small: Vysoce optimalizovaný model pro podnikové nasazení, kde je klíčová nízká latence (rychlost) a nízká cena při zachování vysoké logické přesnosti.

Kromě samotných modelů nabízí Mistral AI infrastrukturu pro uživatele i vývojáře:

• La Plateforme: Vývojářská platforma a API (podobná platformě OpenAI) umožňující firmám napojit modely Mistral do svých vlastních webových a mobilních aplikací.
• Le Chat: Konverzační webové rozhraní (ve stylu ChatGPT), kde mohou běžní uživatelé komunikovat s modely Mistral napřímo, zkoušet je a využívat pro každodenní práci.

• Oficiální webové stránky Mistral AI
• Le Chat – oficiální webové konverzační rozhraní
• Dokumentace pro vývojáře a integraci API