Lokálny AI agent
AI, ktorej dáta neopustia vašu firmu
Model beží na serveri vo vašej budove. Žiadny dopyt neodíde do cudzieho cloudu. Pre firmy, ktoré to naozaj potrebujú — a pre tie ostatné mám lacnejšiu odpoveď.
Kedy áno
Päť dôvodov, ktoré to obhája
- Zákon alebo zmluva. Zdravotná dokumentácia, advokátske spisy, obranný priemysel, štátne zákazky s doložkou.
- Váš zákazník to vyžaduje. V dodávateľských reťazcoch veľkých korporácií je to čoraz bežnejšia podmienka.
- Veľký a stály objem. Pri státisícoch dopytov mesačne sa vlastný hardvér vráti.
- Know-how je jadrom hodnoty. Konštrukčná dokumentácia, receptúry, cenotvorba.
- Vnútorná politika zakazuje cloud. Aj to je legitímny dôvod.
Kedy nie
A kedy vám to rozhovorím
- Málo používateľov a nepravidelná záťaž — cloud vyjde lacnejšie a bude lepší.
- Chcete to len z pocitu — bez konkrétnej požiadavky to nemá ekonomické opodstatnenie.
- Nemá kto server ustrážiť — bez správy do roka zastará.
- Potrebujete absolútnu špičku kvality — otvorené modely ju zatiaľ nedávajú.
Ak z auditu nevyjde ani jeden z piatich dôvodov, odporučím európsky hosting alebo cloud. Prídem tým o časť tržby — ale klient, ktorý zistí, že som mu predal zbytočne drahú vec, sa už neozve.
Tri úrovne
Nie je to len „lokálne alebo cloud"
| Európsky hosting | Lokálne | Hybrid | |
|---|---|---|---|
| Kde bežia dáta | dátové centrum v EÚ | server u vás | delené podľa citlivosti |
| Vstupná investícia | nízka | vysoká | stredná |
| Mesačné náklady | 150 – 600 € | elektrina + správa | stredné |
| Kvalita modelu | vysoká | dobrá | vysoká pri nenáročnom |
| Dáta mimo firmu | áno, ale v EÚ | nikdy | len necitlivé |
| Cena nasadenia | 3 900 € | 6 900 / 11 900 € | 9 900 € |
Pre firmy 50–250 zamestnancov je najčastejšou správnou odpoveďou hybrid. Citlivé dokumenty spracuje lokálny model, náročné úlohy idú do cloudu — ale až potom, čo z nich lokálna vrstva odstráni identifikátory.
Hardvér
Čo to reálne stojí
Hardvér si kupujete vy — je to váš majetok a váš odpis. Ja ho špecifikujem, objednám a sprevádzkujem. Na hardvéri si nenarážam maržu.
| Zostava | Pre koľkých | Zvládne model | Odhad ceny |
|---|---|---|---|
| S | 5 – 30 používateľov | do ~30B v kvantizácii | 4 500 – 9 000 € |
| M | 30 – 100 používateľov | do ~120B | 14 000 – 28 000 € |
Čo sa vždy zabudne započítať
- Elektrina. Server s výkonnou GPU beží nepretržite. Pri 800 W a 0,20 €/kWh je to približne 1 400 € ročne.
- Chladenie a hluk. Toto nepatrí do kancelárie, patrí do serverovne.
- Záložný zdroj. Výpadok počas indexácie dokumentov áno.
- Obnova. Reálna životnosť karty v tomto nasadení sú tri až štyri roky.
Úprimne
Čo lokálny model nedokáže
Toto vám poviem na prvom stretnutí, nie po nasadení.
- Nedosiahne kvalitu najlepších cloudových modelov — pri odpovediach z vašich dokumentov je rozdiel malý.
- Slovenčina je slabšia než angličtina — pred ponukou otestujem modely na vašich textoch.
- Nie je zadarmo — hardvér, elektrina, správa a obnova sú reálne peniaze.
- Nezostane aktuálny sám — bez údržby do roka zastará.
- Nenasadí sa za týždeň — počítajte so šiestimi.
Právne
Čo lokálne nasadenie vyrieši a čo nie
Vyrieši: odpadá sprostredkovateľský vzťah k poskytovateľovi modelu podľa čl. 28 GDPR, odpadá prenos do tretích krajín, obava z trénovania na vašich dátach a zjednodušuje sa posúdenie vplyvu.
Nevyrieši: článok 4 AI Actu platí bez ohľadu na to, kde model beží. Ak agent komunikuje so zákazníkmi, musí byť označený ako AI podľa čl. 50. Posúdenie vplyvu je stále potrebné.
Zistíme najprv, či to potrebujete
Tridsať minút online. Ak stačí európsky hosting za desatinu ceny, poviem vám to.