Cloud apo pajisje lokale? Pse aplikacionet me AI po përdorin të dyja?

Për vite me radhë, aplikacionet me Inteligjencë Artificiale janë mbështetur kryesisht te cloud-i. Të dhënat dërgohen në një server të largët, modeli i përpunon dhe përgjigjja kthehet te aplikacioni ose përdoruesi.

Ky model ofron fuqi të lartë përpunuese dhe akses në modele të avancuara, por nuk është gjithmonë zgjidhja më e përshtatshme. Disa procese përfshijnë kod privat, dokumente të brendshme ose të dhëna të ndjeshme që organizata mund të mos dëshirojë t’i dërgojë jashtë infrastrukturës së vet.

Në raste të tjera, përdorimi i vazhdueshëm i cloud-it mund të rrisë koston, të ngadalësojë përgjigjen ose ta bëjë aplikacionin të varur nga lidhja me internetin.

Për këtë arsye po zhvillohet një qasje tjetër: arkitektura hibride AI. Në këtë model, një pjesë e procesit realizohet në cloud, ndërsa pjesa tjetër ekzekutohet lokalisht në kompjuter, telefon, server privat ose pajisje tjetër.

Qëllimi nuk është të zgjidhet mes cloud-it dhe pajisjes lokale. Qëllimi është që secila detyrë të realizohet aty ku ka më shumë kuptim.

Cloud-i dhe modeli lokal kanë role të ndryshme

Një model cloud mund të ketë aftësi më të gjera arsyetimi, një kontekst më të madh dhe akses në burime të fuqishme përpunimi. Ai mund ta analizojë problemin, të krijojë planin dhe të përcaktojë hapat që duhet të ndjekë sistemi.

Modeli lokal, nga ana tjetër, mund të kryejë detyrat që lidhen drejtpërdrejt me të dhënat private ose me mjedisin e përdoruesit. Ai mund të analizojë skedarë, të kontrollojë kodin, të përgatisë ndryshime dhe të përdorë burimet e pajisjes pa i dërguar materialet e plota në cloud.

Google e ka përfshirë këtë ndarje në Antigravity SDK, duke mundësuar përdorimin e modeleve lokale për procese jashtë internetit. Në arkitekturën e paraqitur, modeli cloud mund të shërbejë si planifikues, ndërsa modelet lokale realizojnë detyra që kërkojnë shumë të dhëna, si kontrolli dhe përditësimi i kodit drejtpërdrejt në pajisje.

Kjo krijon një sistem ku modeli më i fuqishëm nuk ka nevojë të realizojë çdo veprim dhe modeli lokal nuk ka nevojë ta kuptojë i vetëm të gjithë procesin.

Planifikimi mund të ndodhë në cloud, ndërsa puna në pajisje

Marrim si shembull një kompani që dëshiron të kontrollojë një projekt software për probleme sigurie.

Një model cloud mund të marrë një përshkrim të përgjithshëm të projektit dhe të përgatisë një plan kontrolli. Ai mund të përcaktojë cilat pjesë duhet të analizohen, çfarë lloj problemesh duhet të kërkohen dhe si duhet të vlerësohen rezultatet.

Kodi i plotë nuk është e nevojshme të dërgohet në cloud.

Modeli lokal mund ta përdorë planin për të analizuar skedarët brenda pajisjes ose infrastrukturës së kompanisë. Ai mund të identifikojë pjesët problematike, të propozojë përditësime dhe të ekzekutojë testet.

Në fund, në cloud mund të dërgohet vetëm një përmbledhje e kontrolluar e rezultatit, pa ekspozuar të gjithë kodin privat.

Kjo ndarje e procesit përpiqet të kombinojë arsyetimin e modeleve cloud me kontrollin dhe privatësinë e ekzekutimit lokal.

Privatësia bëhet pjesë e arkitekturës

Në një sistem tërësisht cloud, të dhënat duhet të largohen nga pajisja për t’u përpunuar. Edhe kur komunikimi është i mbrojtur, organizata duhet të vendosë se cilat të dhëna mund të dërgohen dhe cilat duhet të qëndrojnë brenda mjedisit të saj.

Arkitektura hibride AI e trajton këtë çështje që në projektimin e sistemit.

Dokumentet e brendshme, kodi burimor, të dhënat personale ose informacionet konfidenciale mund të përpunohen lokalisht. Në cloud mund të dërgohen vetëm udhëzimet, të dhënat e anonimizuara ose rezultatet që janë miratuar për t’u ndarë.

Kjo nuk do të thotë se ekzekutimi lokal është automatikisht i sigurt. Modelet lokale duhet të menaxhohen, përditësohen dhe kontrollohen. Aksesi në skedarë dhe përdorimi i mjeteve duhet të kufizohen sipas rolit të aplikacionit.

Megjithatë, përpunimi lokal u jep organizatave më shumë kontroll mbi vendndodhjen dhe lëvizjen e të dhënave.

Shpejtësia nuk varet më gjithmonë nga interneti

Kur çdo kërkesë dërgohet në cloud, koha e përgjigjes ndikohet nga lidhja me internetin, distanca nga serveri dhe ngarkesa e shërbimit.

Një model lokal mund të japë përgjigje më të shpejta për detyra të kufizuara, sepse të dhënat nuk duhet të udhëtojnë drejt një serveri të jashtëm dhe të kthehen përsëri.

Kjo është e dobishme për procese si:

• Analizimi i dokumenteve në pajisje
• Kontrolli i kodit gjatë programimit
• Përpunimi i komandave të shkurtra
• Klasifikimi i të dhënave
• Identifikimi i anomalive
• Funksionimi në kushte me lidhje të dobët
• Automatizimi i proceseve të brendshme

Cloud-i mund të përdoret vetëm kur detyra kërkon arsyetim më të avancuar, kontekst më të gjerë ose burime që pajisja lokale nuk i ka.

Arkitektura hibride mund të ndikojë edhe te kostoja

Përdorimi i modeleve cloud zakonisht lidhet me numrin e kërkesave, sasinë e të dhënave të përpunuara dhe kompleksitetin e modelit.

Nëse çdo skedar, dokument ose fragment kodi dërgohet në një model të madh, kostoja mund të rritet shpejt.

Modelet lokale mund të marrin përsipër detyra të përsëritura ose që kërkojnë përpunimin e sasive të mëdha të të dhënave. Cloud-i rezervohet për vendimet ose problemet që kërkojnë aftësitë e një modeli më të fuqishëm.

Megjithatë, ekzekutimi lokal nuk është pa kosto. Organizata duhet të sigurojë pajisjet, kapacitetin e memories, mirëmbajtjen dhe përditësimin e modeleve.

Prandaj, vendimi nuk duhet të bazohet vetëm te çmimi i një kërkese në cloud. Duhet të llogaritet kostoja e plotë e sistemit, duke përfshirë infrastrukturën, energjinë, administrimin dhe sigurinë.

Jo çdo detyrë duhet t’i dërgohet modelit më të madh

Në një aplikacion tradicional me AI, i njëjti model mund të përdoret për çdo kërkesë. Por jo të gjitha detyrat kanë të njëjtën vështirësi.

Klasifikimi i një dokumenti, kërkimi brenda disa skedarëve dhe krijimi i një përmbledhjeje të shkurtër mund të realizohen nga një model lokal. Planifikimi i një sistemi kompleks ose analizimi i një problemi me shumë kufizime mund të kërkojë një model cloud.

Arkitektura hibride AI e kthen përzgjedhjen e modelit në një vendim të arkitekturës së software-it.

Sistemi duhet të përcaktojë:

• Cili model duhet të marrë detyrën
• Cilat të dhëna mund të dërgohen në cloud
• Cilat të dhëna duhet të qëndrojnë lokalisht
• Kur nevojitet një model më i fuqishëm
• Si do të kontrollohet rezultati
• Çfarë ndodh nëse njëri prej modeleve nuk funksionon
• Ku ruhet historia e procesit

Këto vendime ndikojnë drejtpërdrejt te privatësia, performanca, kostoja dhe besueshmëria e aplikacionit.

Sistemi duhet të dijë ku po ekzekutohet çdo veprim

Kur një proces ndahet mes cloud-it dhe pajisjes lokale, gjurmueshmëria bëhet më e rëndësishme.

Organizata duhet të jetë në gjendje të kuptojë cili model mori vendimin, ku u përpunuan të dhënat, cilat mjete u përdorën dhe çfarë rezultati u prodhua.

Nëse modeli cloud krijon planin dhe modeli lokal ndryshon kodin, sistemi duhet t’i regjistrojë të dyja pjesët e procesit.

Kjo ndihmon në kontrollin e gabimeve, hetimin e incidenteve dhe verifikimin e përputhshmërisë me politikat e organizatës.

Pa këtë histori, mund të jetë e vështirë të kuptohet nëse një problem erdhi nga planifikimi, nga ekzekutimi lokal apo nga komunikimi mes dy modeleve.

Modelet lokale nuk e zëvendësojnë automatikisht cloud-in

Modelet lokale sjellin avantazhe, por kanë edhe kufizime. Pajisja mund të ketë më pak memorie, fuqi përpunuese dhe kapacitet për kontekst të gjatë.

Një model lokal mund të jetë shumë efikas për një detyrë të ngushtë, por më pak i përshtatshëm për një problem që kërkon njohuri të gjera ose analizë të thellë.

Në të njëjtën kohë, një model cloud mund të ofrojë aftësi më të larta, por kërkon lidhje dhe krijon më shumë varësi nga infrastruktura e jashtme.

Prandaj, arkitektura hibride AI nuk paraqet modelet lokale si zëvendësim të plotë të cloud-it. Ajo i përdor të dyja sipas rolit që secili mund të realizojë më mirë.

Zhvilluesit duhet të projektojnë edhe rrugën e të dhënave

Në aplikacionet me AI, nuk mjafton më të përcaktohet vetëm logjika e funksionit. Zhvilluesit duhet të projektojnë edhe mënyrën si lëvizin të dhënat ndërmjet modeleve, pajisjes dhe cloud-it.

Ata duhet të përcaktojnë çfarë informacioni mund të dalë nga pajisja, si do të filtrohet dhe nëse duhet të anonimizohen elemente të caktuara.

Gjithashtu duhet të vendosen mekanizma rezervë. Nëse modeli lokal nuk e përfundon detyrën, sistemi duhet të dijë nëse mund ta dërgojë atë në cloud, ta ndërpresë procesin apo të kërkojë miratim njerëzor.

Kjo e bën arkitekturën e aplikacionit më të ndërlikuar, por edhe më të kontrollueshme.

Nga zgjedhja e një modeli te projektimi i një sistemi modelesh

Për Soft&Solution Group, arkitektura hibride AI tregon se e ardhmja e aplikacioneve inteligjente nuk do të përcaktohet vetëm nga zgjedhja e modelit më të fuqishëm.

Vëmendja po zhvendoset te mënyra si modele të ndryshme bashkëpunojnë, si ndahen detyrat dhe ku përpunohen të dhënat.

Siç shprehet Ermal Beqiri, themelues i Soft&Solution Group:

“Një aplikacion me AI nuk duhet t’ia dërgojë automatikisht çdo detyrë cloud-it. Arkitektura duhet të përcaktojë se çfarë kërkon fuqinë e një modeli të madh dhe çfarë mund të realizohet lokalisht, më shpejt dhe me më shumë kontroll mbi të dhënat. Vlera qëndron te ndarja e saktë e përgjegjësive.”

Arkitektura hibride AI po krijon një model ku cloud-i dhe pajisja lokale nuk konkurrojnë, por plotësojnë njëra-tjetrën.

Cloud-i mund të ofrojë planifikim, arsyetim të avancuar dhe akses në kapacitete të mëdha. Modelet lokale mund të ofrojnë privatësi, shpejtësi dhe kontroll më të drejtpërdrejtë mbi të dhënat.

Sfida për ekipet software është të vendosin kufijtë mes tyre.

Sa më shumë AI të integrohet në aplikacione dhe procese reale, aq më e rëndësishme do të bëhet pyetja se cili model duhet ta realizojë një detyrë, ku duhet të ekzekutohet dhe cilat të dhëna duhet të ketë të drejtë të përdorë.