====== Mistral AI ====== **Mistral AI** je přední evropská společnost zabývající se výzkumem a vývojem umělé inteligence, konkrétně velkých jazykových modelů (LLM). Sídlí v Paříži a představuje hlavní evropskou konkurenci pro americké giganty jako OpenAI, Anthropic nebo Google. Společnost je známá svým pragmatickým přístupem, který kombinuje vývoj vysoce výkonných open-source (přesněji open-weights) modelů s nabídkou proprietárních modelů přes komerční API. ---- ===== Historie a vznik ===== Společnost zažila naprosto bezprecedentní raketový start, který z ní během necelého roku udělal jednoho z hlavních hráčů na trhu s AI: * **Duben 2023:** Mistral AI zakládá trojice špičkových výzkumníků: **Arthur Mensch** (bývalý výzkumník z Google DeepMind), **Timothée Lacroix** a **Guillaume Lample** (oba dříve působící v AI divizi společnosti Meta, kde se podíleli na vývoji modelů LLaMA). * **Červen 2023:** Startup získává počáteční investici (seed round) ve výši rekordních 105 milionů eur, a to pouhé čtyři týdny po svém založení, aniž by měl hotový jakýkoliv produkt. * **Září 2023:** Vydání prvního modelu **Mistral 7B**, který navzdory své malé velikosti drtivě poráží konkurenční (a mnohem větší) modely na trhu. * **Prosinec 2023:** Mistral šokuje komunitu vydáním modelu **Mixtral 8x7B** (vydán formou torrentového odkazu na sociální síti X). Tento model zpopularizoval architekturu Mixture of Experts (MoE) v open-source světě. Zároveň společnost oznamuje zisk další investice ve výši přes 400 milionů dolarů. * **Rok 2024:** Společnost uvádí na trh své první plně proprietární "frontier" modely (Mistral Large) dostupné pouze přes API a navazuje strategické partnerství s Microsoftem (integrace do Azure), Snowflake a IBM. Vydává také specializované modely pro kódování (Codestral). ---- ===== Architektura a technologický přínos ===== Mistral AI se nesnaží pouze trénovat stále větší a větší modely hrubou silou. Jejich hlavním přínosem je **extrémní efektivita**. ==== Mixture of Experts (MoE) ==== Mistral jako první masivně zpopularizoval a zpřístupnil architekturu //Sparse Mixture of Experts//. Například model Mixtral 8x7B se skládá z 8 menších expertních "mozků" (sítí), ale pro zpracování konkrétního slova v dotazu (tokenu) se aktivují vždy pouze dva nejvhodnější experti. * **Výhoda:** Model má obrovskou celkovou znalost (47 miliard parametrů), ale při generování odpovědi spotřebovává výpočetní výkon odpovídající pouze 12 miliardám parametrů. Je tak neuvěřitelně rychlý a levný na provoz. ==== Posuvné okno pozornosti (Sliding Window Attention) ==== Technika použitá u modelu Mistral 7B, která modelu umožňuje zpracovávat delší kontexty s mnohem menšími nároky na paměť grafických karet (VRAM) než tradiční mechanismy pozornosti. ---- ===== Přehled hlavních modelů ===== Mistral dělí své modely do dvou větví: volně dostupné (zveřejněné váhy) a komerční (přístupné pouze přes API platformu). ==== Otevřené modely (Open-Weights) ==== Tyto modely lze stáhnout, spustit na vlastním serveru a většinou volně upravovat pod licencí Apache 2.0. * **Mistral 7B:** Historicky první model. Dodnes standard pro aplikace vyžadující rychlý a levný běh na běžném hardwaru. * **Mixtral 8x7B:** První MoE model. Dlouhou dobu nejlepší open-source model na světě. * **Mixtral 8x22B:** Větší verze MoE architektury určená pro komplexní podnikovou logiku s kontextovým oknem 65k tokenů. * **Mistral NeMo (12B):** Model vyvinutý ve spolupráci s Nvidií, vyznačující se masivním kontextovým oknem 128 tisíc tokenů, navržený pro snadné spuštění na jedné grafické kartě. * **Codestral / Mathstral:** Specializované otevřené modely dedikované čistě na generování programovacího kódu a řešení složitých matematických úloh. ==== Komerční modely (API a Le Chat) ==== Vlajkové lodě určené pro ty nejsložitější úlohy (tzv. "reasoning"). * **Mistral Large:** Nejsilnější model společnosti, navržený jako přímá konkurence pro modely rodiny GPT-4 (od OpenAI) nebo Claude 3 (od Anthropic). Exceluje v logice, překladech, složitém programování a vícejazyčných úlohách. * **Mistral Small:** Vysoce optimalizovaný model pro podnikové nasazení, kde je klíčová nízká latence (rychlost) a nízká cena při zachování vysoké logické přesnosti. ---- ===== Ekosystém a produkty ===== Kromě samotných modelů nabízí Mistral AI infrastrukturu pro uživatele i vývojáře: * **La Plateforme:** Vývojářská platforma a API (podobná platformě OpenAI) umožňující firmám napojit modely Mistral do svých vlastních webových a mobilních aplikací. * **Le Chat:** Konverzační webové rozhraní (ve stylu ChatGPT), kde mohou běžní uživatelé komunikovat s modely Mistral napřímo, zkoušet je a využívat pro každodenní práci. ---- ===== Užitečné odkazy ===== * [[https://mistral.ai/|Oficiální webové stránky Mistral AI]] * [[https://chat.mistral.ai/|Le Chat – oficiální webové konverzační rozhraní]] * [[https://docs.mistral.ai/|Dokumentace pro vývojáře a integraci API]]