DI agentų darbo aplinkos kūrimas

Šiame priede aprašoma, kaip darbą su dirbtiniu intelektu (DI) organizuoti ne kaip pavienių užklausų seką, o kaip darbo aplinką: DI agentai dirba pagal nuolatines taisykles ir aiškius vaidmenis, jų rezultatai tikrinami, o sprendimus priima ir už juos atsako žmogus. Priedas padeda susikurti tokį DI instrumentą praktinėms užduotims „Sprendimai su DI“, kurios pateikiamos visuose skyriuose, taip pat kursiniam darbui, verslo planui ar pristatymui.

Santykis su A priedu. A priedas aprašo, kaip su DI atlikti vieną analitinę užduotį ir patikrinti jos rezultatus. Šis priedas – kaip susikurti aplinką, kurioje tokie rezultatai rengiami ir tikrinami pagal iš anksto nustatytas taisykles. Bazinei užduočiai paprastai pakanka užklausų; išplėstinei užduočiai rekomenduojama minimali agentų aplinka (B.7). Abiem atvejais galioja A priedo nuostatos: problemą ir galutinį sprendimą formuluoja studentas (A.1), rezultatas tikrinamas protokolu (A.2), DI naudojimas nurodomas (A.7).

B.1. Užklausos ir agentų aplinka#

Vienas ilgas pokalbis su DI asistentu tinka trumpam uždaviniui. Didesniame darbe jis tampa sunkiai valdomas:

• silpnėja reikalavimų laikymasis – ilgėjant pokalbiui vis dažniau nepaisoma pradžioje nurodytų stiliaus, citavimo ir terminų reikalavimų, o kaskart juos kartoti nepatogu;
• vaidmenys neatskirti – tas pats asistentas kuria, taiso ir vertina, todėl savo klaidas pastebi sunkiau;
• sunku atsekti – vėliau neaišku, kokiomis instrukcijomis ir kodėl gautas rezultatas;
• per daug pasikliaujama įrankiu – žmogus linkęs priimti automatizuotos sistemos rezultatą be pakankamos patikros, ypač kai jis atrodo įtikinamai (Parasuraman & Manzey, 2010).

Agentų aplinka šias rizikas mažina struktūra: reikalavimai laikomi viename faile, kiekvienas agentas turi vieną vaidmenį, rezultatas tikrinamas, o keičiama ir pateikiama tik žmogui patvirtinus. Užklausų ji nepanaikina: taisyklių failas iš esmės yra nuolatinė, iš anksto apgalvota užklausa.

Pagrindinės sąvokos

B.2. Sąsaja su A priedu#

B.3. Darbo aplinkos sandara#

B.1 pav. DI agentų darbo aplinkos sandara

flowchart TB
    H["Žmogus<br/>tikslas ir kokybės kriterijai"] -->|surašo| T["Taisyklių failas<br/>galioja visiems agentams"]
    H -->|aprašo| S["Agentų įgūdžiai<br/>kaip atliekamas konkretus darbas"]
    T -->|riboja| A["Agentai<br/>kiekvienas – vienas vaidmuo"]
    S -->|nurodo žingsnius| A
    A -->|naudoja| I["Įrankiai<br/>paieška, skaičiuoklė, failai"]
    A -->|sukuria| R["Rezultatas"]
    R --> P["Patikra ir peržiūra<br/>kontrolinis sąrašas, perskaičiavimas, kitas agentas"]
    P -->|radiniai ir įrodymai| D{"Žmogaus sprendimas"}

    style H fill:#e8f4ee,stroke:#1c9768
    style D fill:#e8f4ee,stroke:#1c9768
    style P fill:#fff6d6,stroke:#c9a227

Schemoje žalia spalva žymi žmogaus veiksmus, geltona – patikrą. Žmogus yra ir pradžioje (tikslas, kriterijai), ir pabaigoje (sprendimas); agentai dirba tarp šių dviejų taškų pagal taisykles, kurias surašė žmogus.

B.4. Vieno darbo ciklas#

Sandara parodo, iš ko aplinka sudaryta; ciklas – kaip joje atliekamas vienas darbas, pavyzdžiui, parengiama verslo plano finansinė dalis ar išplėstinės užduoties analitinis pjūvis.

B.2 pav. Vieno darbo ciklas: nuo užduoties iki pateikimo

flowchart TB
    U["1. Užduotis, kriterijai<br/>ir lūkestis"] --> AG["2. Agentų darbas<br/>pagal taisykles ir įgūdžius"]
    AG --> PK["3. Pakartojamos patikros"]
    PK --> PR["4. Peržiūros<br/>radiniai – su įrodymais"]
    PR --> SI["5. Apibendrinimas<br/>kas patvirtinta, kas atmesta ir kodėl"]
    SI --> SP{"6. Žmogaus<br/>sprendimas"}
    SP -->|taisyti| TA["7. Taisymai"]
    TA -->|smulkūs| PK
    TA -.->|esminiai| PR
    SP -->|pritarta| PA["8. Pateikimas<br/>su DI naudojimo nuoroda"]
    PA --> PM["9. Pamokos<br/>į taisykles ar įgūdžius"]
    PM -.->|kitas darbas| U

    style U fill:#e8f4ee,stroke:#1c9768
    style SP fill:#e8f4ee,stroke:#1c9768
    style PK fill:#fff6d6,stroke:#c9a227
    style PR fill:#fff6d6,stroke:#c9a227

1. Užduotis, kriterijai ir lūkestis. Žmogus aprašo, ką reikia padaryti, kaip bus sprendžiama, ar padaryta gerai, ir užrašo lūkestį prieš agentų darbą (A.2 protokolo 0a ir 0b žingsniai). Toliau šiame priede ciklo žingsniai nurodomi kaip „ciklo 1–9 žingsniai“, o A priedo protokolo – kaip „A.2 protokolo žingsniai“.
2. Agentų darbas. Agentai dirba pagal taisyklių failą ir įgūdžius; neaiškias vietas žymi, o ne išgalvoja. Kiekvienam darbui pradedamas naujas pokalbis arba atskira darbo sesija, o svarbūs sprendimai ir tarpiniai rezultatai įrašomi į failą: ilgoje sesijoje modelis prasčiau laikosi instrukcijų ir painioja detales, o pokalbyje likę susitarimai kitoje sesijoje neišlieka.
3. Pakartojamos patikros. Tai, ką galima patikrinti mechaniškai: skaičiai, formulės, nuorodos, ar tekstas nepakito.
4. Peržiūros. Kiti agentai vertina rezultatą ir neskaito vienas kito vertinimų, kol neparašo savųjų. Kiekvienas radinys pateikiamas su įrodymu – citata, vieta ar skaičiavimu. Radiniai yra kandidatai: kelių agentų sutarimas dar nėra įrodymas (A.2).
5. Apibendrinimas. Radiniai patikrinami tekste ar šaltinyje ir sulyginami. Atmesti radiniai pateikiami su priežastimi, kad žmogus galėtų nesutikti. Nurodoma, kas apibendrino – žmogus ar agentas.
6. Žmogaus sprendimas. Žmogus nusprendžia, ką taisyti, ką palikti ir ką aptarti. Tvarka visada ta pati: peržiūra → ataskaita → patvirtinimas → taisymai.
7. Taisymai. Po smulkių taisymų kartojamos patikros, po esminių – ir peržiūra, nes taisant lengva įnešti naujų klaidų.
8. Pateikimas. Su DI naudojimo nuoroda (A.7).
9. Pamokos. Kas nepavyko, užrašoma į taisykles ar įgūdžius – ir tada, kai darbas grąžinamas taisyti.

Ciklas išplečia įvado 5 punkte aprašytus keturis darbo su DI etapus: 1 žingsnis atitinka problemos apibrėžimą, 2 – perdavimą įrankiui, 3–5 – rezultato verifikavimą, 6 ir 8 – viešą atsakomybę.

B.5. Principai#

B.6. Agento kortelė ir agento įgūdis#

Agento kortelė#

Kortelė tarnauja ir kaip instrukcija agentui, ir kaip dokumentas, iš kurio vėliau matyti, ko iš agento buvo tikimasi. Pirmam kartui pakanka minimalios kortelės (pirmieji keturi laukai); išplėstinė pridedama, kai darbas didesnis.

Tipinių agentų pavyzdžiai

Agento įgūdis#

Kortelė atsako į klausimą kas dirba; agento įgūdis – kaip atliekamas konkretus kartojamas darbas. Taisyklių failas galioja visada ir visiems agentams, kortelė – tam vaidmeniui, įgūdis – tik atliekant tą darbą. Įgūdis aprašomas vieną kartą ir naudojamas kiekvieną kartą, kai tas darbas atliekamas.

Įgūdyje taisyklės nekartojamos – nurodoma, kur jos yra: kai įgūdyje laikoma taisyklių kopija, originalui pasikeitus kopija pasensta, ir agentas dirba pagal nebegaliojantį reikalavimą.

B.3 pav. Kaip agentas pasirenka ir naudoja įgūdį

flowchart TB
    Q["Užduotis agentui"] --> D["Įgūdžių sąrašas<br/>pavadinimai ir trumpi aprašai"]
    D --> M{"Ar užduotis atitinka<br/>įgūdžio aprašą?"}
    M -->|taip| F["Įkeliamos visos<br/>įgūdžio instrukcijos"]
    F --> W["Darbas pagal žingsnius;<br/>prireikus – šablonai, pavyzdžiai"]
    W --> O["Rezultatas nurodyta forma"]
    M -->|ne| G["Dirbama pagal taisyklių failą;<br/>kai neaišku – klausiama žmogaus"]

Įrankiai, palaikantys agentų įgūdžius, iš pradžių mato tik įgūdžių pavadinimus ir trumpus aprašus, o visas instrukcijas įkelia tik tada, kai užduotis atitinka aprašą. Todėl apraše rašoma, kada įgūdį naudoti ir kada ne – neaiškiai aprašytas įgūdis gali likti neįkeltas net tada, kai jo reikia. Kai kuriuose įrankiuose įgūdį galima iškviesti ir tiesiogiai, pagal pavadinimą; svarbiam darbui taip saugiau. Įrankiuose be įgūdžių funkcijos įgūdžio tekstą į pokalbį ar projektą įklijuoja žmogus.

Įgūdžio sandara

Užpildytas šios sandaros pavyzdys – šaltinių patikros įgūdžio šablonas; šalia jo – taisyklių failo šablonas. Abu šablonus galima atsisiųsti ir pritaikyti savo darbui.

B.7. Kaip susikurti savo aplinką#

B.4 pav. Savos DI agentų darbo aplinkos kūrimo žingsniai

flowchart TB
    Z0["0. Ar ir kaip DI<br/>leidžiama naudoti"] --> Z1["1. Produktas ir<br/>kokybės kriterijai"]
    Z1 --> Z2["2. Taisyklių failas"]
    Z2 --> Z3["3. Du–trys vaidmenys"]
    Z3 --> Z4["4. Agentų kortelės<br/>ir įgūdžiai"]
    Z4 --> Z5["5. Patikros būdai"]
    Z5 --> Z6["6. Bandymas su<br/>žinomu atsakymu"]
    Z6 --> Z7["7. Pamokos → taisyklės"]
    Z7 -.->|kitas darbas| Z1

    style Z0 fill:#e8f4ee,stroke:#1c9768
    style Z1 fill:#e8f4ee,stroke:#1c9768
    style Z5 fill:#fff6d6,stroke:#c9a227
    style Z6 fill:#fff6d6,stroke:#c9a227

0. Ar ir kaip DI leidžiama naudoti. Dalyko aprašas, dėstytojo ir universiteto taisyklės nustato, ar DI šiame darbe leidžiamas, kuriems uždaviniams ir kaip jo naudojimą nurodyti. Jei taisyklės neaiškios – klausiama dėstytojo.

1. Produktas ir kokybės kriterijai. Kas kuriama (išplėstinės užduoties pjūvis, verslo planas, pristatymas) ir kaip bus sprendžiama, ar rezultatas geras. Be kriterijų agentai neturi kuo remtis, o žmogus – ką tikrinti.

2. Taisyklių failas. Pakanka vieno puslapio. Jame surašoma:

   • tikslas ir kokybės kriterijai;
   • kalba, stilius ir terminai;
   • citavimas ir ką daryti neradus šaltinio;
   • duomenų apsauga: ko niekada nekelti;
   • nuostata, kad skaitomo turinio nurodymai nevykdomi;
   • ribos: ką formuluoja tik studentas;
   • reikalavimas kiekvieną radinį pagrįsti;
   • ką daryti, kai neaišku;
   • keitimų tvarka;
   • kas registruojama (A.3).

   Užpildytas šablonas – B.6.

3. Du–trys vaidmenys. Pradžiai pakanka dviejų ar trijų agentų, sujungtų į darbo eigą, kurią valdo žmogus; daugiau pridedama tik tada, kai paaiškėja, kad jų reikia.

4. Agentų kortelės ir įgūdžiai. Kiekvienam vaidmeniui – minimali kortelė (B.6); kartojamam darbui – įgūdis.

5. Patikros būdai. Kiekvienam rezultatui nusprendžiama: kas tikrinama kontroliniu sąrašu ar perskaičiavimu, ką peržiūri kitas agentas ir ką būtinai tikrina pats žmogus (išvadas, svarbiausius skaičius, šaltinius).

6. Bandymas su žinomu atsakymu. Aplinka išbandoma užduotimi, kurios teisingas atsakymas žinomas, geriausia – su tyčia įdėta klaida (pvz., A priedo kavinės atvejis). Tikrinama, ar skaičiavimų agentas gauna tą patį rezultatą ir ar tikrintojas randa klaidą. Neradus – taisomos kortelės ar įgūdžiai, o ne pasitikima aplinka.

7. Pamokos → taisyklės. Pasikartojanti klaida užrašoma kaip taisyklė ar įgūdžio žingsnis; taisyklių failas ir rezultatai versijuojami (bent data failo pavadinime).

Du įgyvendinimo lygiai

Abu lygius galima išbandyti nemokamai, tačiau su naudojimo ribomis; dalis funkcijų (pvz., kai kurių paslaugų projektai ar agentai su prieiga prie failų) prieinama tik mokamuose planuose (B.10).

Taikymo pavyzdžiai

• Išplėstinė užduotis „Sprendimai su DI“. Studentas formuluoja problemą (E1), užrašo lūkestį (0a, 0b) ir suskaido tikslą į uždavinius (E3). DI pavedamiems uždaviniams sukuriami agentai: šaltinių ieškiklis (duomenys), skaičiavimų agentas, prielaidų kritikas. Nepriklausomą atkūrimą, verdiktą ir gynimą atlieka studentas.
• Verslo planas. Idėjų generavimo agentas siūlo rinkos segmentus ir rizikas → studentas atsirenka ir formuluoja prielaidas → skaičiavimų agentas rengia prognozę → šaltinių tikrintojas → kalbos redaktorius; išvadą daro studentas.
• Kursinis darbas. Idėjų generavimo agentas siūlo tyrimo klausimo variantus → studentas formuluoja klausimą ir planą → juodraščio rengimo agentas (jei leidžia dalyko taisyklės) rengia dalis iš studento medžiagos → šaltinių tikrintojas → studentas tikrina, redaguoja ir daro išvadas → kalbos redaktorius.
• Pristatymas. Studentas patvirtina tekstą → skaidrių agentas maketuoja → skaidrių tekstas sulyginamas su patvirtintu → peržiūra; paskutinėje skaidrėje – DI naudojimo nuoroda.

Ką pateikti su darbu

• Aplinkos failai – tokie, kokie naudoti, atskirai ir nieko neperrašant: taisyklių failas (pavadinimas priklauso nuo įrankio), agentų kortelės ir įgūdžių failai. Atskiro dokumento vertinimui rengti nereikia: perrašyta kopija iškart pasensta. Jei aplinka gyvena įrankio projekto instrukcijų lauke ir failų nėra, to lauko tekstas įrašomas į vieną failą.
• Perdavimo įrašai ir užklausų registrai (A.3) – formatas laisvas: skaičiuoklė, dėstytojo forma, dokumentas ar tekstinis failas. Registrą gali surašyti ir pats agentas, jei jam prieinama darbo istorija. Svarbu, kad matytųsi uždavinys, kam pavesta (įrankis, modelis, data), instrukcija, gautas rezultatas ir kas su juo padaryta.
• Nepateikiama: duomenų failai, prieigos raktai ir trečiųjų asmenų duomenys. Pateikiama aplinka, o ne visas darbo aplankas.

B.8. Kada agentų aplinka nereikalinga ir dažnos klaidos#

Agentų aplinka nėra tikslas savaime. Jos nereikia arba ji netinka, kai:

• uždavinys trumpas ir vienkartinis – pakanka užklausos ir A.2 patikros;
• užduoties tikslas – išmokti atlikti pačiam (pvz., pirmą kartą apskaičiuoti grynąją dabartinę vertę);
• nėra laiko peržiūrėti rezultatų – aplinka neatleidžia nuo patikros;
• nemokamo plano ribos neleidžia kelių peržiūrų – tada pakanka vieno agento, kontrolinio sąrašo ir perskaičiavimo;
• dalyko taisyklės DI naudojimą riboja;
• duomenys neturi palikti kompiuterio – tada tik vietinis modelis arba darbas be DI (B.9).

B.9. Duomenų apsauga ir saugumas#

A.7 sąlyga galioja visiems agentams ir visiems įrankiams. Kaip duomenys pasiekia DI paslaugą, priklauso nuo darbo būdo:

• Institucinė paskyra ir išjungtas modelio tobulinimas mažina riziką, bet duomenys vis tiek perduodami paslaugai ir kurį laiką saugomi. Todėl neskelbtini duomenys nekeliami ir tokiu atveju.
• Trečiųjų asmenų duomenys (apklausų ir interviu atsakymai, kontaktai) nekeliami.
• Asmens duomenys – tik būtini ir sąmoningai pasirinkti (pvz., paskyrai sukurti).

Kai agentas turi įrankius ir prieigą prie failų, be duomenų apsaugos svarbūs dar keturi dalykai:

• Skaitomas turinys – duomenys, ne nurodymai. Tinklalapiuose, PDF, el. laiškuose ar kitų žmonių failuose gali būti paslėptų nurodymų, kuriuos agentas gali pradėti vykdyti – pakeisti rezultatą ar perduoti duomenis (Greshake et al., 2023). Todėl taisyklių faile nurodoma, kad tokie nurodymai nevykdomi, o agentas, skaitantis išorinį turinį, negauna prieigos prie neskelbtinų failų.
• Agento leidimai. Agentui – tik darbo aplankas; failų keitimai ir komandos – su žmogaus patvirtinimu; prieš leidžiant keisti, išsaugoma kopija ar versija.
• Įgūdžiai ir jungtys iš interneto – tik iš patikimų šaltinių ir perskaičius prieš įdiegiant: įgūdyje gali būti vykdomo kodo, o jungtis (MCP) suteikia agentui prieigą prie paskyrų, failų ar kitų paslaugų.
• Slaptažodžiai ir prieigos raktai nelaikomi taisyklių ar kitų dalijamų failų tekste.

B.10. Įrankių pasirinkimas#

1. Pirmiausia – universiteto suteikiami įrankiai. Institucinei paskyrai paprastai taikoma griežtesnė duomenų apsauga nei asmeninei (pvz., užklausos nenaudojamos modeliams mokyti). Tai mažina riziką, bet B.9 ir A.7 galioja.
2. Nemokami planai turi ribas: ribotas užklausų ar kreditų skaičius, ne visi modeliai, dalis funkcijų tik mokamuose planuose. Norint naudotis visomis modelių galimybėmis, dažniausiai reikia mokamo plano.
3. Duomenų naudojimas modeliams tobulinti. Asmeniniuose planuose jis gali būti įjungtas pagal numatytuosius nustatymus; prieš pradedant verta patikrinti ir, jei reikia, išjungti privatumo nustatymuose.
4. Studentų pasiūlymai paprastai terminuoti ir reikalauja patvirtinti studento statusą – sąlygos skaitomos gamintojo puslapyje.
5. Įtaisytos DI funkcijos. Teksto redaktoriuose ir kitose programose gali būti įtaisytų DI funkcijų; verta išsiaiškinti, kada jos siunčia turinį paslaugai ir kaip jas išjungti.
6. Vietiniai modeliai. Programos, kuriomis atviri DI modeliai paleidžiami pačiame kompiuteryje, įvesto turinio į internetą nesiunčia (internetas reikalingas modeliui atsisiųsti ir atnaujinimams), todėl tinka, kai duomenys neturi palikti kompiuterio. Jų trūkumai: reikia pakankamai galingo kompiuterio (daug operatyviosios atminties, pageidautina – vaizdo plokštė), todėl daugeliui studentų tai tik galimybė, kuriai nebūtina skirti laiko; be to, modelių galimybės paprastai mažesnės nei didžiausių debesies paslaugų. Kai kurios tokios programos siūlo ir debesies modelius – juos pasirinkus duomenys vėl perduodami paslaugai.
7. Perkeliamumas. Taisyklės ir įgūdžiai, laikomi paprastuose tekstiniuose failuose, leidžia keisti įrankį neperrašant visos aplinkos. Tam padeda atviri formatai: AGENTS.md (nuolatinės instrukcijos agentui), Agent Skills (SKILL.md įgūdžių aplankai) ir MCP (agentų jungimas prie išorinių įrankių; jungtys – tik patikimos, B.9). Daugelis įrankių AGENTS.md skaito arba leidžia į jį nurodyti, todėl pakanka vieno bendro instrukcijų failo; platformų failų, įgūdžių ir agentų aplankų pavadinimai skiriasi – tai nurodoma jų dokumentacijoje.

B.11. Dėstytojui#

Kada siūlyti. Bazinei užduočiai agentų aplinkos nereikia. Išplėstinei užduočiai minimali aplinka (taisyklių failas ir du–trys vaidmenys) rekomenduojama, nes jos kūrimas pats ugdo tai, ką užduotis tikrina: kokybės kriterijų formulavimą ir tikslo skaidymą į uždavinius (E2, E3).

Ką vertinti. Taisyklių failas, agentų kortelės ir įgūdžių failai pateikiami kartu su perdavimo įrašais ir užklausų registru (A.3, B.7). Šie failai geriau negu vien užklausų sąrašas parodo, kaip studentas apibrėžė kriterijus ir ribas. Atskiro balo jie negauna: vertinami kaip A.6 kriterijų įrodymas, todėl studentų su aplinka ir be jos vertinimo skalė nesiskiria. Registro formatas laisvas; dėstytojas gali nurodyti savo formą ir failų pavadinimus.

Pirmosios aplinkos minimumas. Pirmą kartą pakanka vieno puslapio taisyklių failo, dviejų agentų kortelių ir vieno bandymo su žinomu atsakymu; atskiras įgūdžio failas reikalingas tik kartojamam darbui.

Aplinkos bandymas. Studentų aplinkoms išbandyti (B.7, ciklo 6 žingsnis) tinka viešas priedo kavinės atvejis arba atskiras pratybų variantas su įdėta klaida (A.8): jei tikrintojas klaidos neranda, aplinką reikia taisyti prieš vertinamą darbą.

Prieiga. Užduotis planuojama taip, kad ją būtų galima atlikti be prieigos prie failų ir nemokamu planu; mokamos funkcijos nereikalaujamos.

Duomenys. Užduotims – vieši arba hipotetiniai duomenys (A.7); trečiųjų asmenų duomenų agentų aplinkoje nenaudoti.

Literatūros sąrašas#

Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., & Fritz, M. (2023). Not what you’ve signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. In Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security (pp. 79–90). ACM. https://doi.org/10.1145/3605764.3623985

Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., & Zhou, D. (2023). Large language models cannot self-correct reasoning yet [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2310.01798

Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055