AI model, který běží přímo v prohlížeči?
Microsoft zpřístupnil novou sérii kompaktních AI modelů Phi 3.5, které zahrnují modely Phi 3.5 mini instruct, Phi 3.5 MoE instruct a Phi 3.5 vision instruct. Tyto modely, navržené pro různé úlohy včetně zpracování textu, obrazu a kódu, se vyznačují výjimečnými výsledky v porovnání s konkurencí, jako jsou Google Gemini 1.5 Flash či Meta Llama 3.1.
My se zaměříme na model Phi 3.5 mini instruct, který zvládne běžet i v prohlížeči. Je to kompaktní model AI s 3,8 miliardami parametrů. Je navržen pro efektivní zpracování instrukcí a podporuje kontext o délce 128 kB. Je ideální pro generování kódu, řešení matematických problémů a logické uvažování. Dosahuje ale působivých výsledků i u vícejazyčných a vícekrokových konverzací.
Vyzkoušet si Phi 3.5 můžete na Hugging Face hned ve dvou variantách:
Poté, co se model načte do paměti počítače, se můžete odpojit od internetu a užívat si AI na vlastním stroji. Máte tak jistotu, že opravdu vaše data neuniknou.
Češtinu v něm raději nepokoušejte, i když se bude tvářit, že česky umí. Pokud máte nejnovější MacBook s procesorem M3, poběží vám chat velmi svižně. Přijatelně ale model funguje i na starších strojích s Windows a sdílenou grafikou. Uživatelé na Redditu hlásí funkční nasazení i na mobilech a tabletech. Patrně už nejsme daleko od chvíle, kdy lokální AI chat bude standardní součástí prohlížeče.