Veľké jazykové modely (LLM), ako napríklad GPT-4, predstavujú pokročilú formu umelej inteligencie, ktorá dokáže spracovávať a generovať text na základe obrovského množstva dát. Tieto modely rozumejú prirodzenému jazyku, odpovedajú na otázky, analyzujú informácie a vytvárajú zmysluplné texty. Práve na ich základe vznikajú moderní AI agenti, ktorí nachádzajú uplatnenie v mnohých oblastiach.
Modely
Na agentické systémy môžme využiť aj „malé“ jazykové modely SLM (small language model). Narozdiel od LLM sú menej náročné na výkon – sú aj lacnejšie. Nevýhodou malých modelov je, že pri faktických informáciach majú vysokú mieru halucinácie.
Nakoľko agentné systémy su zvyčajne určené na repetatívne úlohy, nepotrebujeme všeobecné „vedomosti“ – väčší počet parametrov. Preto som presvedčený, že menšie modely su vhodnejšie.
Rámec (framework)
Pri spúšťaní agentov potrebujeme aj rámec, na ktorom ich vieme spúšťať. Frameworky slúžia ako technologická základňa, ktorá poskytuje nástroje a štruktúru pre vytvorenie, správu a orchestráciu AI agentov. Umožňujú nám definovať pracovné postupy, integrovať rôzne služby a API, spravovať dátové toky a zabezpečiť komunikáciu medzi jednotlivými komponentmi systému. Vďaka nim môžeme vytvárať komplexné agentické riešenia bez nutnosti programovať všetko od základov.
V súčasnosti vieme vyžiť aj low-code nástroje, ako:
- n8n – asi najpopulárnejší open-source drag-n-drop framework, avšak limitovaný pre väčšinu podnikov, kde je potrebná enterprise verzia.
- ActivePieces – YCombinator startup, menšia komunita, avšak skoro „neobmedzený“ v self-hosted verzií.
- Node-red – populárny open-source drag-n-drop editor primárne pre IoT, avšak je možné ho rozšíriť aj pre AI účely.
Pri tvorbe agentických systémov so zložitým pracovným postupom (workflow) vieme využiť aj rámce ako LangGraph.
LangGraph má podporu pre Python a TypeScript. Je asi najviac rozšíritelný, avšak je potrebný developer, taktiež aj nasadenie do produkcie. Taktiež ešte sú aj rámce ako:
RAG a nástroje (tools)
Taktiež je potrebné implementovať prístup k údajom pre LLM. Nakoľko veľké jazykové modely sú stateless (bezstavové), nemajú „pamäť“, taktiež majú aj obmedzené kontextové okno. Preto im musíme dať prístup, ako získať údaje na vyžiadanie. Môžeme využiť RAG vyhladávanie, tools alebo aj MCP.
- RAG vyhľadávanie (Retrieval-Augmented Generation) umožňuje modelom pristupovať k externým databázam a dokumentom v reálnom čase. Systém najprv vyhľadá relevantné informácie z vektorovej databázy na základe používateľskej otázky a následne ich poskytne modelu ako kontext pre generovanie odpovede. Táto metóda je ideálna pre prácu s veľkými objemami firemných dokumentov alebo často aktualizovaných dát.
- Tools sú predefinované funkcie, ktoré môže AI agent volať na vykonanie špecifických úloh. Môžu to byť API volania, databázové dotazy, matematické výpočty alebo integrácie s externými službami. Agent sa sám rozhoduje, kedy a ktorý nástroj použiť na základe kontextu konverzácie.
- MCP (Model Context Protocol) je nový štandard, ktorý umožňuje bezpečné a štandardizované pripojenie AI modelov k externým zdrojom dát a nástrojom. Poskytuje jednotné rozhranie pre komunikáciu medzi modelmi a rôznymi aplikáciami, čím zjednodušuje integráciu a zvyšuje bezpečnosť.
Pridaj komentár
Prepáčte, ale pred zanechaním komentára sa musíte prihlásiť.