Řešení
AI na vlastní infrastruktuře
Když chcete využívat AI a zároveň mít větší kontrolu nad daty a provozem
Probrat možnosti vlastního provozu AIVětšina firem začíná s umělou inteligencí prostřednictvím cloudových služeb. Pro mnoho scénářů je to nejrychlejší a nejjednodušší cesta. Existují ale situace, kdy firma nechce odesílat citlivé dokumenty, interní know-how nebo provozní data mimo vlastní infrastrukturu. Právě tehdy může dávat smysl provozovat jazykový model přímo na firemních serverech nebo v odděleném privátním prostředí.
Vlastní provoz AI však není automaticky správnou volbou pro každou organizaci. Přináší větší kontrolu, ale také vyšší nároky na infrastrukturu, správu, zabezpečení a průběžnou údržbu. Rozhodnutí proto nemá vycházet pouze z požadavku „data nesmí opustit firmu“, ale z celkového posouzení citlivosti informací, očekávaného využití, požadovaného výkonu a nákladů.
Dobře navržené řešení může firmě umožnit využívat moderní jazykové modely pro práci s interními dokumenty, výrobními postupy, technickou dokumentací nebo jinými citlivými informacemi, aniž by byl jejich obsah při běžném používání odesílán do veřejné AI služby.
Co znamená AI na vlastní infrastruktuře
V praxi nemusí jít o vývoj vlastního modelu od začátku.
Firma může využít již existující otevřený jazykový model a provozovat jej na vlastním hardwaru nebo ve vyhrazeném prostředí, které má pod svou správou.
Model lze následně propojit s interními dokumenty, databázemi nebo dalšími systémy a vytvořit například:
- 01interního AI asistenta
- 02vyhledávání nad technickou dokumentací
- 03pomocníka pro servisní pracovníky
- 04nástroj pro analýzu interních dokumentů
- 05asistenta pro zaměstnance
- 06automatizaci nad citlivými provozními daty
Pro koho může vlastní provoz dávat smysl
Citlivá data
Může jít o technickou dokumentaci, výrobní know-how, smluvní informace, interní vývoj nebo specifická zákaznická data.
Vysoká míra kontroly
To může být důležité například kvůli interním bezpečnostním požadavkům.
Stabilní a opakované využití
Při pravidelném a předvídatelném využití může dávat smysl investovat do vlastního prostředí.
Specifická integrace
Například s interními databázemi, výrobními systémy nebo dokumentací, která není dostupná mimo firemní síť.
Co vlastní infrastruktura řeší a co ne
Vlastní provoz může výrazně omezit množství dat, která odcházejí mimo organizaci. To ale neznamená, že je systém automaticky bezpečný.
Stále je potřeba řešit:
- 01kdo má k AI přístup
- 02ke kterým dokumentům se může dostat
- 03jak jsou ukládány dotazy a odpovědi
- 04zda jsou oddělená oprávnění jednotlivých uživatelů
- 05jak probíhají aktualizace modelu
- 06jak se sleduje využití systému
- 07jak se řeší případné bezpečnostní incidenty
- 08jak se systém chrání proti nežádoucím vstupům
Bezpečnost proto nevzniká pouze tím, že server stojí ve vlastní budově. Musí být součástí celé architektury.
Jak může takové řešení vypadat
Představme si výrobní firmu, která má rozsáhlou technickou dokumentaci, výrobní postupy a servisní návody.
Zaměstnanec položí internímu asistentovi otázku:
„Jaký je postup při této konkrétní poruše stroje?“Systém vyhledá relevantní informace pouze ve schválené interní dokumentaci, připraví odpověď a zároveň zaměstnanci zobrazí zdrojový dokument.
Jazykový model běží ve firemním prostředí a dokumenty není nutné při každém dotazu posílat veřejné AI službě.
Z čeho se řešení obvykle skládá
Jazykový model
Model, který dokáže zpracovat otázku a vytvořit odpověď.
Firemní znalosti
Dokumenty, směrnice, návody, databáze a další zdroje, ze kterých má systém čerpat.
Vyhledávací vrstva
Systém, který před vytvořením odpovědi najde relevantní informace ve firemních datech.
Oprávnění
Mechanismus určující, kteří zaměstnanci mají přístup ke kterým zdrojům.
Uživatelské rozhraní
Webová aplikace, interní portál nebo jiné prostředí, ve kterém zaměstnanci s asistentem pracují.
Monitoring
Přehled o používání systému, výkonu, chybách a případných bezpečnostních problémech.
Největší otázkou je výkon a nákladovost
Moderní jazykové modely mohou být výpočetně náročné. Není proto automaticky výhodné provozovat ten největší dostupný model.
Pro mnoho firemních úloh může menší model poskytovat dostatečně kvalitní výsledky při výrazně nižších požadavcích na hardware.
Důležité je proto nejprve zjistit, co má systém skutečně dělat.
Jiný výkon potřebuje asistent odpovídající několika desítkám zaměstnanců nad interní dokumentací a jiný systém, který má současně obsluhovat stovky uživatelů nebo zpracovávat velké množství dokumentů.
Vlastní provoz není jediná možnost
Mezi veřejnou AI službou a kompletním provozem na vlastních serverech existuje řada mezistupňů.
Firma může využít oddělené privátní cloudové prostředí, vyhrazené nasazení konkrétního modelu nebo kombinaci více přístupů.
Například:
Veřejná AI pro obecné a necitlivé úkoly.
Firemní cloudové prostředí pro interní dokumenty a běžná firemní data.
Vlastní infrastruktura pro nejcitlivější informace nebo specifické provozní scénáře.
Takové rozdělení může být ekonomicky i technologicky výhodnější než snaha provozovat všechno jedním způsobem.
Kdy vlastní infrastrukturu nedoporučíme
Pokud firma potřebuje AI pouze příležitostně, nemá vlastní technické zázemí nebo pracuje převážně s necitlivými informacemi, může být vlastní provoz zbytečně složitý.
Stejně tak nedává smysl pořizovat drahou infrastrukturu pouze proto, že vlastní provoz působí bezpečněji.
Vždy porovnáváme požadavky na ochranu dat, očekávanou kvalitu, výkon, náklady a náročnost provozu.
Jak s tím pomáhá Vairo
Pomáháme firmám rozhodnout, zda je vlastní provoz AI pro jejich situaci skutečně vhodný.
Posoudíme charakter dat, očekávané využití, požadavky na bezpečnost a dostupnou infrastrukturu. Následně můžeme navrhnout vhodnou architekturu, vybrat model a potřebné technologie, vytvořit první prototyp a ověřit kvalitu na reálných firemních úlohách.
Pokud se vlastní provoz ukáže jako zbytečně náročný, navrhneme bezpečnější cloudovou nebo kombinovanou variantu.
Kontrola nad daty musí dávat smysl i ekonomicky
Cílem není dostat AI za každou cenu na vlastní server. Cílem je najít způsob provozu, který odpovídá citlivosti vašich dat, potřebám firmy a reálnému využití systému.
Probrat možnosti vlastního provozu AI