Sono di recente andato in fissa con questo esperimento: fare da master ad un'IA.

Regolamento:

userò il Basic Rpg per la sua grande espandibilità e semplicità.

Avventura:

un EUMATE semplice con spazio anche a esplorazione e interazione sociale.

Personaggio:

qualcosa di super semplice da usare. Un ladro/guerriero in salsa Basic. (pompato all'inverosimile visto che deve affrontare un EUMATE da solo)

Software:

Per magagne varie con Roll20 non lo userò. Al suo posto userò Tableplop: un nuovo e, a mio avviso, bellissimo software ... facile da usare, gratuito e versatile.

Quali sono le sfide da superare:

1. Alcune IA hanno difficoltà a parlare di morte e uccisioni. ChatGPT 4o, ad esempio, non riesce ad inserire questi elementi quando fa da master. Gemini 2.5 Pro, invece, sembra non avere questa limitazione. Come qualcuno di voi saprà ho sviluppato un software per usarlo come master: non l'ho mai visto avere problemi a parlare di uccisioni.

2. Interpretazione della mappa: ho fatto alcune prove e Gemini 2.5 Pro capisce perfettamente le mappe Roll20 style. A questo punto, visto che sono in vena di sperimentare, potrei usare il nuovissimo Google Mariner e fargli muovere il suo pupazzetto da solo sulla mappa in Tableplop. Questo per farlo giocare esattamente come se fosse un umano. Se l'esperimento fallisse potrei semplicemente essere io a spostare il pupazzo seguendo le sue indicazioni. L'interazione con l'IA sarà, per il resto, verbale (e NON scritta): le parlerò usando cuffie e microfono.

Output finale dell'attività:

Comunque vada posterò qui i resoconti delle giocate e, alla fine, realizzerò una breve guida per replicare l'esperienza.

Modificato 22 Maggio22 Mag da Hero81

Sembra interessante, poi dicci come è andata.
Non mi interessa giocare personalmente così, però è comunque una cosa di notevole interesse.

Lo faccio principalmente per i vantaggi che mi porta:

Posso giocare finalmente al gioco che dico io, nell'ambientazione che dico io, quando decido io e tanto a lungo quanto decido io.

Se Gemini riuscisse e trasmettermi un feeling umano sarebbe perfetto.

Ma anche se cosi non fosse e 'sentissi' di star giocando con un'IA ai miei occhi sarebbe comunque più interessante del GdR in solitaria puro.

Modificato 22 Maggio22 Mag da Hero81

6 ore fa, Hero81 ha detto:

Posso giocare finalmente al gioco che dico io, nell'ambientazione che dico io, quando decido io e tanto a lungo quanto decido io.

6 ore fa, Hero81 ha detto:

Ma anche se cosi non fosse e 'sentissi' di star giocando con un'IA ai miei occhi sarebbe comunque più interessante del GdR in solitaria puro.

Scusa la domanda, ma in cosa sarebbe diverso da giocare ad un normale videogioco?
Non è una critica, sono seriamente curioso... ho provato a giocare a vari videogiochi a stampo "gdr", ma non mi ci sono mai trovato bene, quindi alla fine ho lasciato perdere.

La differenza principale è che qui è la parola, sia essa scritta o pronunciata, il mezzo attraverso cui avviene la narrazione.

Il video gioco più simile sono le avventure testuali: il vantaggio principale rispetto ad esse è che sei libero di descrivere le azioni che vuoi e condurre i dialoghi come vuoi.

Questa forma particolare (IA come player) offre gli stessi 'piaceri' che tipicamente hai nel fare il master per giocatori umani. Prepari l'avventura e l'ambientazione.

Conduci il gioco mantenendo alto il ritmo e così via.

Modificato 22 Maggio22 Mag da Hero81

Devo ammettere che non vedo l'ora di provare!!

Ancora devo completare tanti passi preliminari: studiare bene il Basic, creare il PG, creare l'avventura ma se non è questa Domenica la prossima gioco sicuro!

15 ore fa, Hero81 ha detto:

Questa forma particolare (IA come player) offre gli stessi 'piaceri' che tipicamente hai nel fare il master per giocatori umani. Prepari l'avventura e l'ambientazione.

Premesso che l'idea mi piace molto e trovo sia un esperimento molto interessante, non riesco a condividere la frase citata. Per me una parte fondamentale del piacere è la reazione umana dei giocatori, con tutto quello che ne segue fuori dal gioco.

Sono curioso di vedere come vanno le tue prime prove.

In effetti anche io, in qualche modo, mi 'nutro' delle emozioni dei giocatori umani: la paura di fronte ad un pericolo ignoto, il sollievo quando il combattimento è passato e il proprio PG è sopravvissuto, la curiosità di fronte ad una nuova serratura ad enigma .... riuscirò a percepire paura, sollievo e curiosità anche in Gemini? Staremo a vedere.

si riesce a fare interpretare alla AI più di un personaggio?

Il 22/05/2025 alle 13:52, Hero81 ha detto:

Se Gemini riuscisse e trasmettermi un feeling umano sarebbe perfetto.

Ti capisco. Io sto sperimentando con Gemini per giocare alla Leggenda dei Cinque Anelli facendogli fare da GM, ma le risposte che propone danno proprio un feeling da macchina, ma c'è margine di miglioramento. Fatto un pochino di training in merito alle regole, dadi e quant'altro non è malaccio.

Sono curioso del tuo esperimento però, vedere come si comporta una IA a dover fare il Player della situazione.

Questa domenica ho giocato ai wargame more solito.

La prossima dovrei farcela: sto studiando il Basic nel frattempo.

Dovrebbe essere possibile fargli gestire più PG: vedrò in un esperimento successivo.

Vorrei partire dal setup più semplice in assoluto.

Il 22/05/2025 alle 04:04, Hero81 ha detto:

Sono di recente andato in fissa con questo esperimento: fare da master ad un'IA.

Ciao Giovanni!

Allora ho provato ad imbastire un prompt per uno dei modelli di Google AI Studio, perché trovo la faccenda curiosa, anche se non rispecchia a fondo i miei interessi di giocatore. Trovo la cosa mi impegnerebbe troppo in descrizioni di ambienti, stanze, luoghi e personaggi in maniera un po' troppo importante.

Ad ogni modo.

Nel prompt indico l’ambientazione e quale sia la sua Mission (fare da giocatore mentre io da GM), e chiedo di descrivermi personaggio che vuole interpretare e le caratteristiche (in stile OD&D), il suo background, le motivazioni che lo spingono all’avventura...
Non ho dato nessuna indicazione sull'avventura, visto che questa dovrei narrarla e descriverla come GM strada facendo. Non ho testato di dargli in pasto mappe o altro materiale esterno...
Invio e vediamo cosa mi scrive:

Nome: Kael
Sesso: Maschio
Classe: Ladro
Specie :Umana.
Descrizione: Alto e snello, Kael ha lineamenti scavati e occhi penetranti che sembrano sempre scrutare nell'ombra. Ha una cicatrice sottile che gli attraversa il sopracciglio sinistro. I suoi capelli scuri sono [...]
Background: Orfano cresciuto nelle strade, Kael ha trascorso anni esplorando rovine e antiche catacombe, imparando l'arte della sopravvivenza nei luoghi oscuri.
Motivazioni: La sua priorità è accumulare ricchezze per saldare un debito. Ma la vera spinta di Kael è la ricerca di segreti o manufatti nascosti in rovine e catacombe, convinto che contengano il potere o la conoscenza per svelare un evento traumatico del suo passato.

Attributi:
Forza: 12
Intelligenza: 14
Saggezza: [...]

Punti Ferita: 13
Classe Armatura: 13

Ok tutto regolare, l'AI ha descritto il personaggio come richiesto e attende la descrizione della situazione.
Queste sono cose che probabilmente l’AI realizza anche con prompt non raffinati.
Diverso è vedere se riesce a gestire correttamente PF e CA come risorse, ma non ho fatto test per verificarlo...

Ad ogni modo... Interessante la risposta che mi dà dopo che le ho descritto l’entrata del Dungeon:

Kael inspira lentamente l'aria fredda e umida, cercando di cogliere odori o suoni insoliti oltre l'odore di terra e muffa. [...]
Nota le aperture delle stanze laterali, cercando di capire se le porte (se ci sono) sono aperte o chiuse, o se si intravede qualcosa dall'esterno. L'enorme porta di pietra in fondo attira la sua attenzione, ma sa che è meglio procedere con cautela.
Decide di non avventurarsi subito lungo il corridoio principale. Si muove silenziosamente verso la prima stanza sulla destra, tenendosi vicino alla parete. Si ferma prima dell'ingresso e prova a sbirciare all'interno con discrezione, cercando di non fare rumore.

E' interessante perchè mi passa la palla in maniera corretta, dandomi modo di dirgli di fare una prova per vedere se il suo "cercare tracce" ha buon esito. Ho scelto due modi per procedere… il primo è dirle di farmi un tiro SAG per vedere se scorge qualcosa o trova degli indizi.... risponde :

Lancio un d20...
Ho ottenuto un 14.
Aggiungo il mio modificatore di Saggezza (+2).
Totale: 14 + 2 = 16.

Il secondo, forse più interessante, è quello di dire all'AI: “Useremo il regolamento dei PbtA, nello specifico di Dungeon World. Tira “percepire la realtà”.
È una cosa che ancora mi sorprende nonostante i mesi e le ore che ho speso dietro alle AI, ma chiaramente Google AI Studio conosce sia D&D e il suo regolamento che Dungeon World e quindi mi risponde in maniera coerente:

Lancio 2d6 +Saggezza (+2)
Risultato dei dadi: 3 + 2 = 5.
Totale: 5 + 2 = 7.
Con un risultato di 7, è un successo parziale.
Scelgo l'opzione di chiedere una domanda. La mia domanda è: "Per cosa dovrei stare attento qui?" (What should I be on the lookout for?)

Da notare che questo accade senza che io le abbia dato direttamente in pasto il benché minimo regolamento o indicazioni specifiche.

Non so quanto sia solo un caso fortuito. Non so quanto una risposta così corretta sia ripetibile, perché il prompt che ho usato con l'AI era improvvisato e questo non mi garantisce che dia sempre gli stessi risultati. Ma la cosa sembra interessante ai fini del gioco, perchè come "MC" mi da modo di dare una risposta intrigante alla domanda Cosa dovrei stare attento qui?

Ok… non so questo si avvicina a quello che volevi ottenere con i tuoi esperimenti.

Ho solo un paio di considerazioni da fare.
1. La cosa più grave è che permane il fatto che i tiri di dado lasciati in mano all’AI non sono casuali. Questo vanifica buona parte del gioco. Per ovviare a questo dovrei strutturare un prompt basandomi sulla nostra estensione in modo da poter iniettare un metaprompt (come ho evidenziato anche in questo resoconto… link) o ci si dovrebbe appoggiare a un'API.
2. In questi mesi, nei nostri esperimenti abbiamo trovato una grande difficoltà a far capire all’AI quali sono le azioni di un giocatore che potrebbero/dovrebbero attivare una risposta da parte del GM. Cioè, in questo caso, non è detto che l’AI si fermi nella produzione di testo e aspetti che sia io, il Master, a descriverle la risoluzione del suo “cercare tracce” o mi dia il tempo di dirle, al momento opportuno, “fai un tiro per vedere se incappi in una trappola”.
Infatti, in altre due prove che ho fatto, l’AI ha continuato ad agire senza "aspettare il mio intervento da GM". Ad esempio, dopo aver detto di voler "cercare tracce", descriveva subito che entrava nella stanza o proseguiva nel corridoio. In pratica, non mi dava il tempo di intervenire per gestire l'esito dell'azione.
Ma la cosa è interessante e proverò a verificarla meglio.

Modificato 27 Maggio27 Mag da Lorenzo_l
Correzioni minime e typo

1. Gestirei io i tiri con dadi fisici/ tira dadi elettronici proprio come se masterizzassi a qualcuno su Roll20/Discord. Gli farei inoltre leggere il quickstart del Basic.

2. Secondo me si risolve enfatizzando, nel prompt, che, in certe occasioni, deve attendere la risoluzione dell'azione fatta dal master.

Grazie comunque dell'interessamento.

Ora sono un attimo in un momento delicato con il lavoro non se se avrò tempo nei prossimi week end.

Quando provo, comunque vada, scrivo qui il risultato.

Modificato 27 Maggio27 Mag da Hero81

Il 27/05/2025 alle 18:12, Lorenzo_l ha detto:

Da notare che questo accade senza che io le abbia dato direttamente in pasto il benché minimo regolamento o indicazioni specifiche.

Ho provato a fare un esperimento simile con Gemini usando il sistema di Ironsowrn. Sì, riconosce il framework e capisce come e quando usare le mosse, ma spesso e volentieri se le inventa di sana pianta (o meglio usa lo scheletro che conosce e lo interpreta in modo incorretto).
Una volta che invece gli dai la mossa nella definizione completa la utilizza nel modo corretto.

Di base senza riferimenti va a braccio, se invece gli diamo dei paletti e istruzioni specifiche (giustamente) si attiene ad esse.

Ora sarei quasi curioso di dargli in pasto un PDF di qualche regolamento leggero per vedere se lo riesce a mettere in pratica quasi autonomamente.

Il 22/05/2025 alle 04:04, Hero81 ha scritto:

1. Interpretazione della mappa: ho fatto alcune prove e Gemini 2.5 Pro capisce perfettamente le mappe Roll20 style. A questo punto, visto che sono in vena di sperimentare, potrei usare il nuovissimo Google Mariner e fargli muovere il suo pupazzetto da solo sulla mappa in Tableplop. Questo per farlo giocare esattamente come se fosse un umano. Se l'esperimento fallisse potrei semplicemente essere io a spostare il pupazzo seguendo le sue indicazioni. L'interazione con l'IA sarà, per il resto, verbale (e NON scritta): le parlerò usando cuffie e microfono.

Output finale dell'attività:

Comunque vada posterò qui i resoconti delle giocate e, alla fine, realizzerò una breve guida per replicare l'esperienza.

Interessante.

Vorrei condividere che ultimamente ho fatto molte prove con Gemini 2.5. Nel mio caso gli ho fatto fare il master ed io il giocatore.

Con Gemini da cellulare, nella modalità live, si riesce a giocare avventure GDR divertentissime (in solitaria). Gli specifico l'ambientazione che voglio (giusto il nome, tipo alla Lovecraft, Sci-fi, piratesca) , qualche dettaglio sul personaggio che voglio interpretare e eventuale descrizione di uno o più PNG che mi facciano da compagni.
A questo punto Gemini mi fa da narratore: si inventa la trama, impersona i PNG facendoli parlare , mi pone di fronte a delle scelte di trama e reagisce attivamente a qualsiasi bizzarria ruolistica mi passi per la mente, dando vita volendo ad una specie di narrazione condivisa.

Discorso mappe
Con Gemini PRO invece, mi sono dilettato ad addestrarlo per farmi da avversario nel vecchio gioco da tavolo D&D skirmish game. Con discreti risultati. Mi dice quali miniature vuole attivare, come le vuole muovere sul tabellone ecc...Difficile è stato fargli capire le mappe. Dalle mie prove, non è ancora abbastanza potente da capire le mappe a partire da loro immagini "raster" (JPG ecc..). Ho dovuto trasporre in Excel le caratteristiche delle mappe, specificando in ogni casella della griglia quali attributi vi fossero (es. muro, acqua, movimento difficile ecc...).
Un lavoraccio. E comunque giocare un'intera lunga partita è ancora molto dura. Ogni tanto tende ad allucinare o comunque, dopo numerosi prompt di botta e risposta, perde i dettagli di quanto detto precedentemente, regole di gioco comprese...

Comunque già quello che fanno attualmente queste IA mi risulta sbalorditivo e c'è da aspettarsi che migliorino sensibilmente in tempi brevi.

eh si: il movimento su mappa è un benchmark in cui tutti i moderni LLM vanno male.

Per usare le parole di Gemini stesso (che lo spiega benissimo):

<<Yes, LLMs have problems with maps and mazes because they struggle with long-term path-planning, spatial reasoning, and avoiding context inconsistency hallucinations. While they can handle simple scenarios, complex or large maps often lead to failures, such as getting stuck in loops, and their performance degrades significantly as complexity increases. Current research is exploring new approaches to improve LLM navigation, such as multimodal models and methods that transform spatial information into more structured formats.  

Key challenges for LLMs with maps and mazes

• Lack of robust spatial reasoning:

  LLMs are trained on text and do not have an innate understanding of physical space, making it difficult to perform tasks like accurate pathfinding or spatial planning. 

• Context inconsistency and hallucination:

  For long-term problems like a complex maze, LLMs can lose track of their "location" or the overall goal, leading to inconsistent and incorrect outputs, or "hallucinating" a path that doesn't exist. 

• Memory and attention limitations:

  The length and complexity of a map can exceed the model's effective context window, causing it to forget previous steps or details necessary to solve the maze. 

• Sensitivity to representation:

  How the map is presented to the LLM (e.g., text-based coordinates vs. a visual image) significantly impacts performance, and text-only representations can be particularly challenging. 

• Inability to self-correct:

  Without explicit feedback mechanisms, an LLM will often confidently generate a wrong answer and persist in a flawed path, sometimes by looping endlessly. 

How researchers are trying to solve this

• Multimodal models:

  Using both text and images to provide the LLM with a richer understanding of the spatial environment. 

• Spatial-to-Relational Transformation:

  Converting the spatial problem into a sequence of "entity-relation" chains, which leverages the LLM's strength in handling sequential data. 

• Q-learning-based algorithms:

  Guiding the LLM's path-planning with a reinforcement learning approach that helps correct hallucinations and find the optimal path. 

• Benchmark development:

  Creating structured tests, like MazeEval, to more accurately evaluate and understand the specific shortcomings of LLMs in spatial navigation tasks. >>

EDIT: aggiungo inoltre che, a mio avviso, gli LLM sono una strada per l'AGI ma non la più promettente. Una strada diversa di cui imho sentiremo parlare in futuro è il Meta-Reinforcement Leraning.

Riporto una conversazione tra me e Gemini:

<<Ciao Gemini, in passato stanford ha fatto un ricerca. Un agente addestrato con RL deve imparare a uscire da labirinti. Tra le azioni dell'agente c'era quella di leggere il contenuto di una stanza. Dove leggere vuole dire 'visualizzare l'immagine raster'. Ebbene se le parole che leggeva lo aiutavano a trovare la via d'uscita l'agente imparava a leggere senza essere mai stato addestrato specificamente per questo. Puoi darmi più informazioni? Ho solo vaghi, confusi ricordi su questa ricerca.>>

<<Ciao! Certamente, ricordo questa affascinante ricerca. Il tuo ricordo, sebbene confuso, è estremamente accurato. Lo studio è un esempio notevole di come le reti neurali possano sviluppare competenze linguistiche emergenti se queste si rivelano essenziali per massimizzare la ricompensa, anche senza essere state esplicitamente addestrate al linguaggio.

Ecco i dettagli su questo esperimento, che è spesso associato ai ricercatori di Stanford e al concetto di Meta-Reinforcement Learning (Meta-RL).

---

🧠 L'Emergenza del Linguaggio Negli Agenti RL

La ricerca che hai in mente si concentra su agenti addestrati tramite Reinforcement Learning (Apprendimento per Rinforzo) in un ambiente che richiede all'agente di leggere un'informazione per completare la sua missione.

1. L'Ambientazione e l'Obiettivo

L'esperimento non si svolgeva in un labirinto generico, ma in un ambiente a griglia più complesso, spesso rappresentato come un complesso di uffici o un'area multi-stanza.

• Agente: Un’agente di Meta-RL (spesso un modello di memoria esterna come DREAM) con una rete neurale non addestrata alla lettura.

• Compito: L'agente doveva trovare un obiettivo specifico (ad esempio, una stanza contrassegnata da un colore o un oggetto specifico).

• Ricompensa: L'agente riceveva una ricompensa positiva solo quando raggiungeva l'obiettivo corretto.

2. La Mossa Cruciale: "Leggere il Contenuto"

La caratteristica fondamentale era la presenza di un'azione a disposizione dell'agente: "osservare" o "leggere" un segnale o un'etichetta presente nell'ambiente.

• Il Segnale: In genere, l'ambiente era costruito in modo che la posizione dell'obiettivo venisse rivelata solo da un cartello o un segnale testuale (o visivo, come un colore) situato in una stanza informativa (la "stanza di lettura").

• L'Input Visivo: Quando l'agente eseguiva l'azione di "leggere", l'input che riceveva la sua rete neurale era l'immagine rasterizzata (il testo visuale) di quel segnale.

3. Il Meccanismo di Apprendimento Senza Supervisione

L'agente non era mai stato addestrato a riconoscere le lettere o le parole (non aveva un modulo di Optical Character Recognition - OCR). Allora, perché ha imparato a leggere?

1. Necessità Funzionale: Per risolvere il labirinto, l'agente doveva compiere una sequenza specifica di azioni: 1. Andare al segnale → 2. Leggere il segnale → 3. Ricordare l'informazione → 4. Andare alla stanza obiettivo.

2. Massimizzazione della Ricompensa: Il Meta-RL, spinto a massimizzare la ricompensa finale, ha scoperto che l'azione di "leggere" innescava una sequenza di stati che portavano invariabilmente alla ricompensa.

3. Associazione Profonda: La rete neurale dell'agente ha associato le specifiche forme dei pixel che componevano le parole (es. la parola "ROSSO") a un vettore di stato interno (la sua "memoria") che poi portava a movimenti coerenti con il target corretto (la stanza rossa). In altre parole, la rete ha creato un proprio "vocabolario" interno, dove una specifica configurazione visiva di pixel significava "vai a nord-est", senza mai capire il significato umano della parola.

Questo ha dimostrato che le abilità linguistiche non devono essere necessariamente apprese con un addestramento supervisionato, ma possono emergere come strategie di alto livello in ambienti complessi di Apprendimento per Rinforzo se si rivelano funzionalmente necessarie per raggiungere un obiettivo. È un passo fondamentale verso agenti che apprendono in modo più olistico, come gli esseri umani. 💡

---

[....]>>

Modificato 4 ore fa4 ore da Hero81

4 ore fa, Hero81 ha scritto:

an LLM will often confidently generate a wrong answer and persist in a flawed path, sometimes by looping endlessly. 

Ho seguito (da completo profano) affascinato questi e altri test, ma mi pare che gli LLM siano arrivati al punto che non possono essere definiti AI: un elaboratore di testo solo "verosimile", sganciato infatti dal dato reale (da cui la frequenza di wrong answers), trovo sia meno intelligente di, che ne so, un navigatore che ha connessione con la realtà. Provocazione a sentimento: probabilmente un GoogleMaps adeguatamente istruito sarebbe più capace di farmi da master in un dungeon crawl.

Sperimentare con la tecnologia del metaRL mi sembra in definitiva un miglior investimento del proprio tempo, invece che continuare a farci menare per il naso da chi ci vuole vendere come AI i propri LLM hallicinating-by-design.

Senza pensare a quanto potrebbe costare in termini energetici una sessione di gioco di 3 ore con un elaboratore di testo probabilistico.