MI aģentu tests #1 — VID amatpersonu deklarāciju izgūšana

Autors: Aivis Brutāns, datu zinātnieks, Datu skolas aktīvists

Tirgū ir pieejami daudz dažādi mākslīgā intelekta (MI) aģenti. Tie ir automatizēti risinājumi, kuri autonomi veic lietotāja doto uzdevumu — atrod tīmeklī informāciju, veic [padziļinātu] datu izpēti, sagatavo prezentāciju, rezervē galdiņu restorānā, uzraksa programmēšanas kodu u.tml.

Šajā rakstā notestēju atsevišķus aģentus: kā tie spēj iegūt specifisku informāciju no tīmekļa lapām latviešu valodā.
Uzdevums visiem aģentiem bija vienāds: no VID amatpersonu deklarācijas datubāzes izgūt trīs ministru pēdējā pieejamā gada deklarāciju, taču vispirms tam vajadzēja iegūt šo ministru vārdu un uzvārdu. Uzvedne visiem aģentiem bija vienāda:

Choose any 3 ministers from this list: https://www.mk.gov.lv/lv/ministru-kabineta-sastavs and extract the latest public declaration data (from 2024, or 2023 if 2024 is unavailable) for each of those ministers from this site: https://www6.vid.gov.lv/VAD (in the form fill name and surname, then choose latest available declaration, then extract information from this declaration). Collect this information in a spreadsheet (using separate sheets if necessary).

Tātad uzdevums bija sekojošs:

1. Ieiet MK mājaslapā, nolasīt tā saturu un izvēlēties trīs ministrus pēc aģenta ieskatiem.
2. Tad iet uz VID amatpersonu deklarācijas datubāzi, formā ievadīt ministra vārdu un uzvārdu, izvēlēties pēdējo pieejamo deklarāciju, un izgūt visu informāciju no šīs deklarācijas. Darbības atkārtot par pārējiem diviem ministriem.
3. Deklarācijas infromāciju par trim ministriem apkopot izklājlapā (spreadsheet).

Atsevišķos gadījumos aģents tika instruēts veikt papildu darbības, ja sākotnējā izvedne tam nebija skaidra vai uzdevumu sāka pildīt galīgi garām.

Aģentu vērtēšanas kritēriji

⭐️⭐️⭐️⭐️⭐️ — aģents izpildīja visu uzvednē prasīto (atlasīja 3 ministrus, ieguva šo ministru deklarācijas datus par 2024.gadu (vai 2023.gadu, ja 2024.gads nav), rezultāts apkopots izklājlapā), iegūtais rezultāts pilnībā sakrīt ar VID datiem. Aģents ir izpildījis papildu soļus, kas uzvednē nav norādīts, piem., ir ‘padomājis’ pie rezultāta noformēšanas — rezultātu ir iespējams ērti aplūkot, atlasītā informācija ir viegli apkopojama, ja risinājumu mērogotu ar lielāku skaitu amatpersonu.

⭐️⭐️⭐️⭐️ — izpildīja visu uzvednē prasīto un tie ir precīzi (ir pieļaujamas nebūtiskas atšķirības mazāk kritiskajos datos). Dati apkopoti veidā, kurus būtu neērti apstrādāt, ja risinājumu mērogotu ar lielāku skaitu amatpersonu.

⭐️⭐️⭐️ — MI aģents spējis atlasīt vismaz 2 ministrus un ieguvis vismaz 2 ministru VID amatpersonu deklarācijas datus. Dati lielākoties ir pareizi, bet daži kritiskie (ieņēmumi, izdevumi u.tml.) ir kļūdaini.

⭐️⭐️ — MI aģents atlasījis vismaz 1 ministru un ieguvis vismaz 1 ministra deklarācijas datus. Nav atlasīti visi deklarācijas dati, vai ir atlasījis par senāku periodu (pat ja ir pieejams jaunāks).

⭐️ — MI aģents spējis atlasīt ministru sarakstu (ieguvis 1 līdz 3 ministru vārdus un uzvārdus), bet nav varējis iegūt VID amatpersonu deklarācijas datus. Vai ir atlasījis deklarācijas datus, bet kritiskie dati ir tik kļūdaini, ka tos nav iespējams izmantot.

Vērtējums bez ⭐️nozīmē, ka aģents neko nav mācējis izdarīt.

Aģentu testēšana

Šobrīd esmu notestējis šādus aģentus: ChatGPT Agent mode, Genspark, Manus, MiniMax Agent. Aģentu rezultāti:

ChatGPT Agent Mode

1. mēģinājums ⭐️⭐️⭐️⭐️

Aģents veiksmīgi tika galā ar ministru atlasīšanu. Problēmas sagādāja formas aizpildīšana — aģents nemācēja ievadīt mīkstinājuma zīmes vai garumzīmes. Visticamāk, ka uz virtuālā datora, kurā darbojas aģents, nav pieejami šie simboli. Bet ar šo šķērsli tas tika galā, meklējot vajadzīgos burtus tīmeklī un tad formā ievadot jau pareizu vārdu/uzvārdu.

Datu atlasē aģents pamana, ka dati vēl nav atgriezti (redz, ka rādās t.s. spinner) un tas gaida, kad dati parādīsies.

Galarezultātu aģents ir aprakstījis čatā un pievienojis pieprasīto izklājlapu:

Dati gan apkopoti veidā, kurus grūti būs vēlāk apkopot (piem., saskaitīt ieņēmumu kopsummu u.tml.), tāpēc jau pašā sākumā (uzvednē) būtu jānorāda vēlamais rezultāts. Atsevišķus teksta ierakstus aģents ir pārtulkojis angļu valodā (nevis atstājis oriģinālu), kā arī nav norādījis juridisko personu reģistrācijas numurus — ja šīs lietas ir būtiskas, tad norādi to uzvednē:

Lai gan ir pamanītas dažas kļūdas, ChatGPT aģents ar šo uzdevumu tika galā.

Genspark

1.mēģinājums ⭐️

Ar pilnu soļu izpildi var iepazīties šeit.

Jau sākumā aģents nespēja iegūt ministru sarakstu — tas saskārās ar tehniskām problēmām, nolasot informāciju. Taču tad izlēma MK sastāvu meklēt citādāk — izmantojot tīmekļa meklētāju, bet pēc atkārtotas neveiksmes tas sarakstu, beidzot, ieguva no Vikipēdijas.

Daudz grūtāk gāja ar amatpersonas deklarācijas informācijas iegūšanu: vispirms aģents izmantoja sākotnēji nodefinēto adresi, tad vairākas reizes (ar dažādām frāzēm) meklēja informāciju tīmeklī, tad meklēja informāciju starp dažādiem dokumentiem (National integrity system assessment, Transformation index report). Rezultātā, tas apkopoja informāciju, bez pieprasītās deklarācijas datiem:

1.mēģinājumā vairs necentos to pierunāt, lai sagatavo pieprasīto informāciju. Genspark aģents ar šo uzdevumu netika galā.

Manus

1.mēģinājums ⭐️⭐️⭐

Pilnu soļu izpilde pieejama šeit.

Šis aģents ar uzdevumu tika galā daļēji. Tas jau no paša sākuma spēja iegūt datus no MK mājaslapas (apstriprinot arī cookies) un veiksmīgi ieguva VID deklarāciju datus. Taču trīs ministru vietā tas ieguva informāciju par diviem. Un tas bija VID mājaslapas tehnisko iemeslu dēļ, jo par pēdējo ministru datu izguve no datubāzes bija lēnāka. Aģents negaidīja, kad tiks ielādēts deklarāciju sakrasts un pieņēma, ka datu par šo ministru nav. Tāpēc šim rīkam pirms uzdevuma došanas, ir vērts norādīt, ka šādas tehniskās problēmas varētu būt. Iespējams, ka aģents šo norādi ņemtu vērā un mēģinātu iegūt datus atkārtoti.

Galarezultātā Manus sagatavoja 5 failus:

• ministru sarakstu no MK mājaslapas (Selected Ministers for Declaration Analysis). Šajā dokumentā iekļauti gan izvēlētie ministri, gan norādīts viss MK sastāvs,
• abu ministru 2024.gada deklarācijas informāciju (Evika Siliņa — Declaration 2024; Baiba Braže — Declaration 2024),
• Excel failu (Ministers_Declarations_2024.xlsx), kurā apkopota prasītā informācija par ministru deklarācijām,
• apraksta kopsavilkumu (Latvian Ministers Declaration Analysis — 2024) par izvēlēto ministru deklarācijām.

Piemērs par vienu no amatpersonām:

• kā redzams, tad, atšķirībā no MiniMax Agent, tas iegūto informāciju pilnībā netulko uz angļu valodu un uzrādās arī juridisko personu reģistrācijas numuri (bet ieteicams uzvednē norādīt, lai tos norāda visos gadījumos),
• nav skaidrs kādēļ tas ir pārveidojis atsevišķus tekstus (“Speciālo uzdevumu vēstnieks” vietā ir “Speciālo uzdevumu viestnīce”; ir norādīts “Krājakcijas” nevis “Krājobligācijas”),
• rezultāts ir Excel failā, bet šādā formātā informācijas apkopošanu būtu grūti automatizēt pie lielāka amatpersonu skaita, tāpēc uzvednē norādi formātu kādā vēlies redzēt rezultātu.

Manus aģents ar šo uzdevumu tika galā daļēji.

MiniMax Agent

1.mēģinājums ⭐️⭐️⭐️⭐

Pilnu soļu izpilde pieejama šeit.

Šis aģents ar uzdevumu tika galā pilnībā. Pēc uzvednes nodefinēšanas tas sagatavoja darāmo darbu sarakstu (todo.md) un pēc saraksta precizēšanas, tas izveidoja izpētes plānu (research_plan_latvian_ministers.md) un turpināja darbu pie datu iegūšanas. Līdzīgi kā Manus un ChatGPT Agent, arī šis aģents saskārās ar tehniskajām problēmam, izgūstot datus no VID lapas, taču ar to tika galā:

Galarezultātā MiniMax Agent sagatavoja 16 (!) failus:

• darāmo soļu sarakstu (todo.md, research_plan_latvian_ministers.md)
• Python kodu (create_declarations_spreadsheet.py), kas savākto informāciju saglabā Excel un CSV failos.
• ministru deklarācijas datus— trīs .txt un trīs .csv faili, kā arī šo failu apkopojums dažādos formātos.

Pēc galarezultāta redzams, ka tas ir apkopojis nepieciešamo informāciju, taču jāņem vērā sekojošais:

• juridiskām personām neuzrādās reģistrācijas numurs (piem., Manus atsevišķas vietās tos ir iekļāvis). Ja šī informācija ir svarīga, tad uzvednē norādi, lai iekļauj arī šo informāciju,
• aģents ir pārtulkojis visu informāciju uz angļu valodu. Ja vēlies, lai tas saglabā oriģinālo valodu, tad norādi to uzvednē,
• sadaļā ‘Summary’ aģents ir izveidojis īsu kopsavilkumu par ministriem, t.sk. ienākumu kopsummu (Total Income (EUR)). Pievērs uzmanību, ko aģents dara, ja ienākumi ir dažādās valūtās (konkrētajos piemēros šādas situācijas nebija).

MiniMax Agent ar šo uzdevumu tika galā.

Secinājumi

1. No šobrīd testētiem aģentiem (ChatGPT Agent mode, Genspark, Manus, MiniMax Agent) vislabāk ar uzdevumu tika galā ChatGPT Agent un MiniMax Agent.
   – Genspark 1. mēģinājumā nespēja iegūt VID deklarācijas datus.
   – Tehnisku problēmu dēļ Manus apkopoja informāciju tikai par diviem ministriem.
2. Ja strādā ar Manus rīku, tad uzvednē norādi, ka tas varētu saskarties ar tehniskām problēmām datu izgūšanā (ja tādas lapai varētu būt). Iespējams, ka rīks tad varētu mēģināt datus iegūt atkārtoti.
   Novērots, ka tas atsevišķus vārdus pārveido, tāpēc jāievieš papildu mehānisms, kas pārbauda šādus gadījumus, vai var mēģināt papildināt uzvedni, lai tas nekādā gadījumā nepārveido tekstu.
3. Ja strādā ar ChatGPT Agent vai MiniMax Agent, tad norādi, vai vēlies, lai galarezultāts tiktu tulkots uz angļu valodu, ja dati ir latviešu valodā. Kā arī pievērs uzmanību, vai visa informācija ir izgūta. VID deklarāciju gadījumā tas neiekļāva uzņēmumu/valsts iestāžu reģistrācijas numuru.
4. Ja aģents ir iekļāvis kopsavilkumus, kurā ir saskaitījis ieņēmumus u.tml., pievērs uzmanību, ko aģents dara, kad ieņēmumi ir dažādās valūtās.
5. Aģenti nav testēti uz gadījumiem, kad VID atgriež vairākas personas ar identisku vārdu un uzvārdu. Pievērs uzmanību, ko aģenti dara šādās situācijās.
6. Ja ir kāds specifisks formāts, kādā vēlies redzēt galarezultātu, tad norādi to uzvednē.
   Piemēram, Manus par katru amatpersonu informāciju apkopojis atsevišķā Excel lapā un katra deklarācijas sadaļa ir norādīta tā, ka to būtu grūti automatizēt (atšķirībā no MiniMax Agent, kur deklarācijas dati apkopoti 4 kolonnās).
7. Lai mazāk būtu jāprecizē nākamie soļi, jau pašā uzvednē precīzāk norādi sagaidāmo rezultātu (piem., kādā formātā vai kādā valodā atgriezt rezultātu; kādas vērtības iekļaut/neiekļaut u.tml.).
   Katrs lieks solis tev tērēs “kredītus” aģenta darbināšanai (parasti lietotājiem ir noteikts kredītu skaits, cik vari izmantot aģentu darbināšanā).
8. Ja datu iegūšana ir jāveic par vairākām personām, tad sāc ar mazu kopu (2–3 personas) — tādā veidā sapratīsi, vai iegūtais rezultāts ir tāds, kādu vēlies, un vajadzības gadījumā varēsi precizēt uzvedni.

Tehniskā informācija

Aģenti testēti sekojošos datumos:

• ChatGPT Agent mode (2025-07-24),
• Genspark (2025–07–22),
• Manus (2025–07–22),
• MiniMax Agent (2025–07–23).