Největší mýtus o lokálních AI modelech? Že na ně potřebuješ drahou grafiku.

Logika zní takto: chceš spouštět AI lokálně → potřebuješ výkon → koupíš GPU za 30 000 Kč. Jenže tohle je přesně ta past, do které lidi padají.

GPU je univerzální čip. Vznikl na hraní her, přišel k deep learningu náhodou, a na inferenci — tedy samotný běh modelů — je vlastně dost přestřelený. Spotřeba, cena, rozměry. Nic z toho nedává smysl, pokud chcete jen lokálně spustit model a ptát se ho na věci.

Řešení existuje a jmenuje se NPU — Neural Processing Unit. Inferenční čip přímo ušitý na AI. Neplést s GPU: trénovat na něm nebudete, ale to většina lidí stejně nepotřebuje. Co zvládne? Běh modelů. S spotřebou v jednotkách wattů a za třetinovou až čtvrtinovou cenu oproti srovnatelné grafice.

A co je lepší — tyto čipy přestávají být doménou serverů. Nové počítače je mají integrované (Apple Silicon to dělá roky, Intel a AMD dobíhají). A brzy přijdou jako externí moduly: připravují se specializované čipy pro Raspberry Pi nebo USB dongly typu ASUS UGen300 (zatím oznámeno, datum prodeje není potvrzeno).

Takže pokud přemýšlíte nad lokálním AI: než utratíte za grafiku, podívejte se nejdřív, co má vaše zařízení za NPU. Možná tam už je.

Nezapomeňte se přihlásit do newsletteru dole na www.martinkonicek.eu