Řešení

AI na vlastní infrastruktuře

Když chcete využívat AI a zároveň mít větší kontrolu nad daty a provozem

Probrat možnosti vlastního provozu AI

Většina firem začíná s umělou inteligencí prostřednictvím cloudových služeb. Pro mnoho scénářů je to nejrychlejší a nejjednodušší cesta. Existují ale situace, kdy firma nechce odesílat citlivé dokumenty, interní know-how nebo provozní data mimo vlastní infrastrukturu. Právě tehdy může dávat smysl provozovat jazykový model přímo na firemních serverech nebo v odděleném privátním prostředí.

Vlastní provoz AI však není automaticky správnou volbou pro každou organizaci. Přináší větší kontrolu, ale také vyšší nároky na infrastrukturu, správu, zabezpečení a průběžnou údržbu. Rozhodnutí proto nemá vycházet pouze z požadavku „data nesmí opustit firmu“, ale z celkového posouzení citlivosti informací, očekávaného využití, požadovaného výkonu a nákladů.

Dobře navržené řešení může firmě umožnit využívat moderní jazykové modely pro práci s interními dokumenty, výrobními postupy, technickou dokumentací nebo jinými citlivými informacemi, aniž by byl jejich obsah při běžném používání odesílán do veřejné AI služby.

01

Co znamená AI na vlastní infrastruktuře

V praxi nemusí jít o vývoj vlastního modelu od začátku.

Firma může využít již existující otevřený jazykový model a provozovat jej na vlastním hardwaru nebo ve vyhrazeném prostředí, které má pod svou správou.

Model lze následně propojit s interními dokumenty, databázemi nebo dalšími systémy a vytvořit například:

  • 01
    interního AI asistenta
  • 02
    vyhledávání nad technickou dokumentací
  • 03
    pomocníka pro servisní pracovníky
  • 04
    nástroj pro analýzu interních dokumentů
  • 05
    asistenta pro zaměstnance
  • 06
    automatizaci nad citlivými provozními daty
02

Pro koho může vlastní provoz dávat smysl

01

Citlivá data

Firma pracuje s informacemi, které nechce odesílat do externích služeb.

Může jít o technickou dokumentaci, výrobní know-how, smluvní informace, interní vývoj nebo specifická zákaznická data.

02

Vysoká míra kontroly

Organizace chce mít pod kontrolou model, data i způsob provozu.

To může být důležité například kvůli interním bezpečnostním požadavkům.

03

Stabilní a opakované využití

AI má být součástí každodenních procesů.

Při pravidelném a předvídatelném využití může dávat smysl investovat do vlastního prostředí.

04

Specifická integrace

Systém má pracovat hluboko uvnitř firemní infrastruktury.

Například s interními databázemi, výrobními systémy nebo dokumentací, která není dostupná mimo firemní síť.

03

Co vlastní infrastruktura řeší a co ne

Vlastní provoz může výrazně omezit množství dat, která odcházejí mimo organizaci. To ale neznamená, že je systém automaticky bezpečný.

Stále je potřeba řešit:

  • 01
    kdo má k AI přístup
  • 02
    ke kterým dokumentům se může dostat
  • 03
    jak jsou ukládány dotazy a odpovědi
  • 04
    zda jsou oddělená oprávnění jednotlivých uživatelů
  • 05
    jak probíhají aktualizace modelu
  • 06
    jak se sleduje využití systému
  • 07
    jak se řeší případné bezpečnostní incidenty
  • 08
    jak se systém chrání proti nežádoucím vstupům

Bezpečnost proto nevzniká pouze tím, že server stojí ve vlastní budově. Musí být součástí celé architektury.

04

Jak může takové řešení vypadat

Představme si výrobní firmu, která má rozsáhlou technickou dokumentaci, výrobní postupy a servisní návody.

Zaměstnanec položí internímu asistentovi otázku:

„Jaký je postup při této konkrétní poruše stroje?“

Systém vyhledá relevantní informace pouze ve schválené interní dokumentaci, připraví odpověď a zároveň zaměstnanci zobrazí zdrojový dokument.

Jazykový model běží ve firemním prostředí a dokumenty není nutné při každém dotazu posílat veřejné AI službě.

05

Z čeho se řešení obvykle skládá

01

Jazykový model

Model, který dokáže zpracovat otázku a vytvořit odpověď.

02

Firemní znalosti

Dokumenty, směrnice, návody, databáze a další zdroje, ze kterých má systém čerpat.

03

Vyhledávací vrstva

Systém, který před vytvořením odpovědi najde relevantní informace ve firemních datech.

04

Oprávnění

Mechanismus určující, kteří zaměstnanci mají přístup ke kterým zdrojům.

05

Uživatelské rozhraní

Webová aplikace, interní portál nebo jiné prostředí, ve kterém zaměstnanci s asistentem pracují.

06

Monitoring

Přehled o používání systému, výkonu, chybách a případných bezpečnostních problémech.

06

Největší otázkou je výkon a nákladovost

Moderní jazykové modely mohou být výpočetně náročné. Není proto automaticky výhodné provozovat ten největší dostupný model.

Pro mnoho firemních úloh může menší model poskytovat dostatečně kvalitní výsledky při výrazně nižších požadavcích na hardware.

Důležité je proto nejprve zjistit, co má systém skutečně dělat.

Jiný výkon potřebuje asistent odpovídající několika desítkám zaměstnanců nad interní dokumentací a jiný systém, který má současně obsluhovat stovky uživatelů nebo zpracovávat velké množství dokumentů.

07

Vlastní provoz není jediná možnost

Mezi veřejnou AI službou a kompletním provozem na vlastních serverech existuje řada mezistupňů.

Firma může využít oddělené privátní cloudové prostředí, vyhrazené nasazení konkrétního modelu nebo kombinaci více přístupů.

Například:

Veřejná AI pro obecné a necitlivé úkoly.

Firemní cloudové prostředí pro interní dokumenty a běžná firemní data.

Vlastní infrastruktura pro nejcitlivější informace nebo specifické provozní scénáře.

Takové rozdělení může být ekonomicky i technologicky výhodnější než snaha provozovat všechno jedním způsobem.

08

Kdy vlastní infrastrukturu nedoporučíme

Pokud firma potřebuje AI pouze příležitostně, nemá vlastní technické zázemí nebo pracuje převážně s necitlivými informacemi, může být vlastní provoz zbytečně složitý.

Stejně tak nedává smysl pořizovat drahou infrastrukturu pouze proto, že vlastní provoz působí bezpečněji.

Vždy porovnáváme požadavky na ochranu dat, očekávanou kvalitu, výkon, náklady a náročnost provozu.

09

Jak s tím pomáhá Vairo

Pomáháme firmám rozhodnout, zda je vlastní provoz AI pro jejich situaci skutečně vhodný.

Posoudíme charakter dat, očekávané využití, požadavky na bezpečnost a dostupnou infrastrukturu. Následně můžeme navrhnout vhodnou architekturu, vybrat model a potřebné technologie, vytvořit první prototyp a ověřit kvalitu na reálných firemních úlohách.

Pokud se vlastní provoz ukáže jako zbytečně náročný, navrhneme bezpečnější cloudovou nebo kombinovanou variantu.

Kontrola nad daty musí dávat smysl i ekonomicky

Cílem není dostat AI za každou cenu na vlastní server. Cílem je najít způsob provozu, který odpovídá citlivosti vašich dat, potřebám firmy a reálnému využití systému.

Probrat možnosti vlastního provozu AI