Poate AI identifica voci individuale umane într-un scenariu de petrecere cu 100 de persoane folosind doar ?

Când 100 de persoane vorbesc în același timp, poate inteligența artificială să identifice doar o singură voce individuală fără niciun indiciu spațial care să ajute selecția? Această întrebare explorează limitele modelelor moderne de separare a vorbirii, punând problema dacă mașinile pot replica capacitatea umană de a se concentra asupra unui singur vorbitor într-o mulțime auditivă densă.

Background

Separarea vorbirii — sarcina de a izola vocile individuale dintr-un audio suprapus — a înregistrat progrese rapide cu modele de învățare profundă precum Conv-TasNet, Dual-Path RNN și SepFormer. Aceste sisteme se bazează în mod tradițional pe indicii spațiale (de exemplu, direcția de sosire) sau pe embeddings de vorbitori învățate pentru a disambigua fluxurile de vorbire suprapuse. Totuși, în scenarii cu mai mulți vorbitori, precum „problema petrecerii cocktail” (cocktail party problem), unde pot apărea 10 sau mai mulți vorbitori simultan, performanța scade brusc din cauza interferenței semnalului și a caracteristicilor discriminative limitate. Benchmark-uri precum seturile de date WHAM! și LibriMix au condus la progrese, însă modelele de ultimă generație încă se confruntă cu mai mult de 5–7 vorbitori suprapuși fără indicii spațiale sau înscrieri prealabile. Lucrări recente (de exemplu, VoiceFilter-Lite, SpEx+) introduc separarea condiționată de vorbitor folosind înscrieri audio, însă acestea necesită cunoașterea prealabilă a vocii țintă. Fără indicii spațiale sau referințe înregistrate anterior, provocarea de a identifica o singură voce printre alte 99 rămâne nerezolvată în contexte practice. Studii de sinteză notează că ascultătorii umani folosesc atenție de sus în jos, înălțimea sunetului, timbrul și contextul lingvistic — factori care nu sunt încă pe deplin codificați în modelele actuale de inteligență artificială.

Sarcina de a izola vocea unui vorbitor țintă dintr-un amestec care conține 100 de vorbitori simultan — adesea numită „problema petrecerii cocktail” — a reprezentat o provocare atât pentru neuroștiință, cât și pentru învățarea automată. Abordările timpurii s-au bazat pe filtrare spațială din matrice de microfoane, însă cercetările recente s-au îndreptat către separarea bazată pe conținut pe un singur canal, folosind rețele neuronale profunde. Sistemele moderne pornesc în mod obișnuit de la transformate Fourier pe intervale scurte de timp sau spectrograme învățate și utilizează arhitecturi precum Conv-TasNet, Dual-Path RNN sau encodere bazate pe Transformer pentru a separa sursele. Seturile de date de referință precum WSJ0-2mix, LibriMix și LRS oferă condiții standardizate pentru evaluarea calității separării, raportând de obicei metrici precum raportul semnal-distorsiune invariant la scală (SI-SDR) și rata de eroare a caracterelor (CER) în sarcinile de recunoaștere ulterioare. Studiile au arătat că separarea neuronală poate recupera o singură voce cu fidelitate moderată în amestecuri de 2–10 vorbitori, însă performanța scade brusc odată cu creșterea numărului de surse și a suprapunerii. Unele modele folosesc embeddings de vorbitori învățați (de exemplu, x-vectors) pentru extragerea vorbitorului țintă atunci când este disponibil un audio de înscriere, în timp ce abordările fără înscriere încearcă să identifice o voce doar pe baza conținutului. Rămân însă întrebări deschise cu privire la generalizarea la numere nevăzute de vorbitori, robustețea la zgomot și reverberație, precum și stabilitatea separării în condiții de schimbare rapidă a vorbitorilor.

— Îmbogățit la 15 mai 2026 · Sursă: IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022