Individuals with hearing loss often face challenges in identifying emotions conveyed through voice, even when using hearing aids or cochlear implants. These difficulties can impact emotional communication and are linked to reduced accuracy in identifying vocal emotion expressions. To better support individuals with hearing loss, it is important to understand how emotion recognition in voices can be improved.

This doctoral thesis comprises four studies organized around two main themes. The first theme investigates which acoustic features distinguish different emotional expressions in speech and how these features contribute to listeners’ ability to identify emotions. The second theme examines how mild-to-moderate sensorineural hearing loss affects vocal emotion identification, and whether signal amplification can enhance identification accuracy.

The findings show that fear is the most acoustically distinct emotion in spoken sentences, while happiness is the least distinct. Acoustic features related to frequency and spectral balance were most effective in predicting fear, whereas happiness was best predicted by a broader set of acoustic parameters. Surprise was also acoustically well-defined, particularly through amplitude and temporal features, but its identification was not strongly predicted by these parameters.

Importantly, restoring audibility through linear amplification significantly improved the identification of happiness in speech, and anger, fear, and interest in nonverbal vocalizations. These emotions were characterized by distinct frequency-related features. Additionally, surprise was the most accurately identified emotion in speech by both individuals with hearing loss and those with normal hearing. However, patterns of confusion between emotions could not be explained by acoustic similarities alone.

The results also suggest that temporal fine structure may play a key role in emotion identification when other cues are limited. Based on these findings, this doctoral thesis offers insights into the acoustic basis of vocal emotion expressions and proposes strategies to support emotion recognition in individuals with hearing loss.

Personer med hörselnedsättning har ofta svårt att uppfatta känslor som uttrycks genom rösten, även när de använder hörapparater eller cochleaimplantat. Dessa svårigheter kan påverka den emotionella kommunikationen och är kopplade till en nedsatt förmåga att korrekt identifiera känslouttryck i tal. För att bättre kunna stödja personer med hörselnedsättning är det viktigt att förstå hur igenkänning av känslor i rösten kan förbättras.

Denna avhandling består av fyra delstudier som är organiserade kring två huvudteman. Det första temat undersöker vilka akustiska egenskaper som särskiljer olika känslouttryck i tal, och hur dessa egenskaper påverkar lyssnarens förmåga att identifiera känslor. Det andra temat fokuserar på hur mild till måttlig sensorineural hörselnedsättning påverkar igenkänning av känslor i rösten, samt om ljudförstärkning kan förbättra denna förmåga.

Resultaten visar att rädsla är den känsla som mest akustiskt skiljer sig från andra i talade meningar, medan glädje är den minst särskiljbara. Frekvensrelaterade och spektrala egenskaper var mest effektiva för att förutsäga rädsla, medan glädje bäst förutsades av en bredare uppsättning akustiska parametrar. Förvåning var också tydligt akustiskt definierad, särskilt genom amplitud- och tidsrelaterade egenskaper, men dess igenkänning förutsågs inte starkt av dessa parametrar.

Att återställa hörbarhet genom linjär förstärkning förbättrade avsevärt igenkänningen av glädje i tal, samt ilska, rädsla och intresse i icke-verbala vokaliseringar. Dessa känslor kännetecknades av distinkta frekvensrelaterade egenskaper. Dessutom var förvåning den känsla som identifierades mest korrekt i tal av både personer med hörselnedsättning och personer med normal hörsel. Däremot kunde förväxlingsmönster mellan känslor inte förklaras av akustiska likheter.

Resultaten tyder också på att temporal finstruktur kan spela en viktig roll för igenkänning av känslor i rösten när andra ledtrådar saknas. Utifrån dessa fynd ger avhandlingen insikter i den akustiska grunden för känslouttryck i tal och föreslår strategier för att underlätta emotionell igenkänning hos personer med hörselnedsättning.