Kan AI översätta talad mandarin till amerikansk teckenspråk i realtid ?

Teckenspråköversättning har länge varit en utmaning på grund av det visuella och gestikulerande i ASL jämfört med talat språk. Nya AI-system parar nu datorseende med generativa modeller för att överbrygga denna klyfta. Integrationen av rörelsefångst och språkmodeller möjliggör dynamisk översättning mellan olika modaliteter. Denna förmåga förändrar tillgängligheten för döva samhällen i direktsituationer.

För närvarande finns det olika teknologier och forskningsprojekt som fokuserar på att utveckla system som kan översätta talade språk till teckenspråk i realtid. Att översätta talad mandarin till amerikansk teckenspråk (ASL) i realtid är dock en komplex uppgift på grund av de skilda grammatiska strukturerna och vokabulären i dessa två språk. Flera studier har undersökt användningen av maskininlärning och datorseende för att känna igen och tolka teckenspråk, såväl som taligenkänningsteknologier för att bearbeta talad mandarin. Dessa system involverar ofta en kombination av automatisk taligenkänning, maskinöversättning och generering av teckenspråk med hjälp av avatarer eller robotar. Trots betydande framsteg befinner sig realtidssystem som kan översätta talad mandarin till ASL med hög noggrannhet och tillförlitlighet fortfarande i ett tidigt utvecklingsstadium. Forskare fortsätter att arbeta med att förbättra noggrannheten och hastigheten hos dessa system, samt att hantera utmaningarna med att fånga nyanser och kontextuell information i både talade och tecknade språk. Trots dessa utmaningar har framsteg inom detta område potential att avsevärt förbättra kommunikationen mellan mandarintalare och ASL-användare. Utvecklingen av sådana teknologier kräver samarbete mellan experter inom lingvistik, datavetenskap och teknik.

+- administrerad 13 maj 2026 · Källa: IEEE — https://ieeexplore.ieee.org/, National Institute on Deafness and Other Communication Disorders — https://www.nidcd.nih.gov