DyadicTickTacking: Analisi multimodale dell'adozione di strategie e dell'alternanza dei turni nell'azione congiunta cooperativa

Abstract

Svolgere un compito cooperativo richiede ai partner di coordinare le proprie azioni, ma la presenza di un esperto modifica come questo processo si sviluppa nel tempo? Affrontiamo questa domanda con DyadicTickTacking, un compito cooperativo in cui due partecipanti controllano ciascuno un cursore su uno schermo condiviso, navigando verso bersagli comuni in 160 prove in quattro blocchi. Confrontiamo 10 diadi Novizio-Esperto (un partner ha ricevuto addestramento preliminare) e 10 diadi Novizio-Novizio per caratterizzare come strategie di esecuzione e coordinazione verbale co-evolvano con l'apprendimento.

Sviluppiamo una pipeline multimodale che combina clustering non supervisionato delle traiettorie per l'identificazione delle strategie, diarizzazione guidata da riferimento per l'annotazione dei turni, e un framework statistico temporale per rilevare dinamiche divergenti.

Tre strategie emergenti sono identificate tramite clustering basato sulla densità, formando una gerarchia di abilità validata. Un test di permutazione rivela che le diadi novizio-esperto sincronizzano le strategie prova per prova al di sopra del caso (p<0.001), indicando genuina coordinazione interpersonale, mentre le diadi novizio-novizio non superano il livello casuale. L'analisi temporale rivela traiettorie divergenti: le diadi novizio-esperto riducono progressivamente la densità del parlato e accorciano i turni man mano che l'esperto cede il controllo, mentre le diadi novizio-novizio non mostrano struttura direzionale. Entrambe le condizioni apprendono allo stesso ritmo, ma le diadi novizio-esperto consolidano prestazioni superiori.

Queste differenze sono invisibili ai confronti statici ed emergono solo con analisi longitudinale. I risultati dimostrano che lo scaffolding è un processo temporale, manifestandosi come trasferimento progressivo del controllo nell'azione e nel parlato, con implicazioni per sistemi collaborativi adattivi che rilevano e supportano la coordinazione in tempo reale.

Performing a cooperative task requires partners to coordinate their actions, but does the presence of an expert change how this process develops over time? We address this question through DyadicTickTacking, a cooperative task where two participants each control a cursor on a shared screen, navigating toward common targets across 160 trials in four blocks. We compare 10 Novice-Expert dyads (one partner received prior solo training) and 10 Novice-Novice dyads to characterize how task execution strategies and verbal coordination co-evolve with learning.

We develop a multimodal pipeline combining unsupervised trajectory clustering for strategy identification, reference-guided speaker diarization for turn-level annotation, and a temporal statistical framework for detecting divergent coordination dynamics between conditions.

Three emergent strategies are identified via density-based clustering, forming a validated skill hierarchy from slow exploratory behavior to fast automated execution. A permutation test reveals that expert-novice dyads synchronize strategies trial-by-trial above chance (p<0.001), indicating genuine interpersonal coordination, while novice-novice dyads do not exceed chance-level synchrony. Temporal analysis uncovers divergent turn-taking trajectories: expert-novice dyads progressively reduce speech density and shorten turns as the expert yields conversational control, whereas novice-novice dyads show no directional verbal structure. Both conditions learn at equivalent rates, yet expert-novice dyads consolidate to superior performance.

These differences are invisible to static comparisons and emerge only when tracked longitudinally across practice blocks. These findings demonstrate that expert scaffolding is a temporal process, manifesting as progressive transfer of control across both action and speech, with implications for adaptive collaborative systems that detect and support coordination development in real time.