Dove sono finiti i tuoi token? Tracciare un sistema multi-agente con OpenTelemetry

KeynoteIntermediateita

SATURDAY 28 NOV · 14:00 - 14:45Monte Bianco

Un workflow multi-agente che chiama tool e altri agenti è, a tutti gli effetti, un sistema distribuito: latenza che si accumula, costi token che esplodono, fallimenti che si propagano a cascata. Eppure spesso manca visibilità end-to-end. In questo talk mostro come strumentare un sistema agentico con OpenTelemetry e le GenAI semantic conventions: lo span tree ufficiale (invoke_agent → chat span per ogni chiamata LLM → execute_tool per ogni tool), gli attributi gen_ai.* per token, modello e finish-reason, latenza end-to-end. La domanda a cui rispondere dal vivo: perché questo workflow ha dato una risposta sbagliata dopo aver speso più tempo e più denaro del previsto? Il costo non è un attributo standard: si ricava dai token per il pricing, e mostro come. Lo stesso span tree diventa log di audit: chi ha chiamato quale tool, con quali token, quando e perché è fallito. Tre cose oneste: le GenAI semantic conventions sono ancora sperimentali, le presento come standard in fase di consolidamento. La demo la costruisco per questo talk, riusando la disciplina dell'observability applicata a un dominio nuovo per me. E se catturo prompt e risposta, quei testi finiscono negli span verso il backend: servono redazione o filtri prima di esportarli.

Speakers

Francesco MontelliFrancesco Montelli

Freelance software engineer