Analisi della risoluzione dei problemi relativi a più PR e della tracciabilità nei repository open source

Abstract

Poiché la generazione di codice assistita dall'IA riduce lo sforzo per produrre contributi software, i maintainer devono valutare volumi crescenti di issue e pull request (PR). Questa tesi presenta SPIRIT (Systematic PR–Issue Repository Intelligence Tool), un sistema che combina elaborazione dei dati dei repository, due agenti analitici e un'interfaccia di ispezione per l'analisi issue–PR.

Lo sviluppo e la valutazione di SPIRIT hanno evidenziato una scelta di modellazione denominata Pair Assumption: valutare ogni coppia issue–PR separatamente, anche quando più PR contribuiscono a risolvere la stessa issue. La tesi indaga questa ipotesi con un censimento di repository e un confronto, etichettato manualmente, tra allineamento individuale e di gruppo.

Il censimento comprende 17.559 issue chiuse campionate in 120 repository. Tra le 4.568 issue con almeno una PR di chiusura riconosciuta da GitHub, il 9,0% ha più PR di chiusura riconosciute e il 2,8% più PR di chiusura riconosciute e integrate. Sul totale, il 63,2% non ha alcun collegamento osservato a una PR. Le stime descrivono il grafo dei collegamenti campionato, non tutte le relazioni di risoluzione.

Uno studio separato esamina 69 gruppi multi-PR non classificati dalle regole sui metadati. Delle 66 coppie giudicate incomplete in isolamento, 57 (86,4%) appartengono a gruppi giudicati completamente coperti quando si considerano insieme le PR sorelle integrate. Tali cambiamenti sono meno frequenti nei gruppi competing che in quelli partitioned o iterative. Il dato descrive le etichette umane del campione, non gli errori di un rilevatore automatico.

La valutazione di SPIRIT supporta un'analisi strutturale riproducibile e identifica i limiti dei giudizi basati su modelli. Un confronto secondario mostra effetti della decomposizione in agenti dipendenti dal modello. Nel complesso, i risultati motivano la valutazione dei singoli contributi insieme alla copertura del gruppo che risolve la issue.

As AI-assisted code generation lowers the effort required to produce software contributions, maintainers face growing volumes of issues and pull requests (PRs) to assess. This thesis presents the Systematic PR–Issue Repository Intelligence Tool (SPIRIT), a system that combines repository-data processing, two analytical agents, and an inspection interface to support issue–PR analysis.

Building and evaluating SPIRIT exposed a modeling choice termed the Pair Assumption: assessing each issue–PR pair independently, even when several PRs contribute to resolving the same issue. The thesis investigates this assumption through a repository census and a manually labeled comparison of individual and group-level alignment.

The census covers 17,559 sampled closed issues across 120 repositories. Among 4,568 issues with at least one GitHub-recognized closing PR, 9.0% have multiple recognized closing PRs and 2.8% have multiple merged recognized closing PRs. Across all sampled issues, 63.2% have no observed PR link. These estimates describe the sampled link graph rather than all semantic resolution relationships.

A separate study examines 69 multi-PR groups initially left unclassified by metadata rules. Of 66 pairs judged incomplete in isolation, 57 (86.4%) belong to groups judged fully covered when their merged sibling PRs are considered together. Coverage flips are less frequent in the sampled competing groups than in partitioned or iterative groups. This describes the human labels in the selected sample; it does not measure how often an automated alignment detector makes a mistake.

SPIRIT's evaluation supports reproducible structural analysis while identifying limitations in model-based judgments. A secondary comparison finds model-dependent effects of agent decomposition. Together, the findings motivate assessing individual PR contributions alongside the combined coverage of their resolving group.