With an increased creation of and access to data, and a growing demand on humans in analytical and decision-making processes, there is a need to further facilitate perceptual and cognitive abilities to support these processes. An approach to support these tasks is to leverage more sensory systems, such as the auditory, to increase information retention to get a more comprehensive understanding of a dataset or situation, while also involving more senses to further engage the user. Audiovisual data interfaces enable the distribution of data variables to any of the two senses to reduce the risk of cognitive overload, or highlight specific data variables by mapping them to both sensory modalities. However, the success of an audiovisual data interface is dependent on the integration of the two senses and how this is utilized in the resulting interface.

This thesis contributes to sonification research by taking a human-centered approach to integrating sonification and visualization. The human-centered approach involved working with domain experts and users during the design process of the sonification, and to create perceptually motivated designs by utilizing how the auditory and visual systems complement each other and how they are integrated in cognition for sense-making.

The thesis contains six studies that explored the integration of sonification and visualization, ranging from literature surveys to design-oriented studies. A state-of-the-art report provided a survey on the integration of sonification and visualization to offer an introduction to the field to new and current practitioners. In another study, a conceptual framework for scene analysis was developed to support the design and analysis of audiovisual data representations. The rest of the studies were design-oriented, where each focused on a specific aspect of how sonification can complement visualization, depending on the domain and tasks of the study. Other than providing concrete examples of audiovisual integrations, the main contributions of the design-oriented studies are provided in their evaluation results in the form of design recommendations. These include the use of redundant mappings for multi-dimensional data analysis, and considering subjective differences of domain experts for situational awareness support in air traffic control. The design-oriented studies also compared sonification designs, where one study showed a potential trade-off of using informative or pleasant designs for astronomy science communication. Another comparison showed that concrete sonification designs can complement abstract visualizations. Lastly, the thesis provides design considerations by comparing the level of redundancy, indexicality, and complexity of each sonification design through the developed conceptual framework. Overall, this thesis offers motivated recommendations for the integration of sonification and visualization.

Med en ökad mängd och tillgång till data, och ett växande krav på människor i analys- och beslutsprocesser, finns det ett behov av att ytterligare utnyttja perceptuella och kognitiva förmågor för att underlätta dessa processer. En metod för att stödja i dessa uppgifter är att utnyttja fler sensoriska system, till exempel hörseln, för att öka informationsflödet och få en mer omfattande förståelse av ett dataset eller situation, samtidigt som fler sinnen involveras för att engagera användaren. Audiovisuella datagränssnitt gör det möjligt att distribuera datavariabler till vilket som helst av de två sinnena för att minska risken för kognitiv överbelastning, eller att lyfta fram specifika datavariabler genom att koppla dem till båda de sensoriska modaliteterna. Hur framgångsrikt ett audiovisuellt datagränssnitt är beror på hur de två sinnena integreras och hur detta utnyttjas i det resulterande gränssnittet.

Den här avhandlingen bidrar till forskningen om sonifiering genom att tillhandahålla en människocentrerad integration av sonifiering och visualisering. Det människo-centrerade tillvägagångssättet innebär att man arbetar med domänexperter och användare under designprocessen av sonifieringen och att man skapar perceptuellt motiverade designer genom att utnyttja hur de auditiva och visuella systemen kompletterar varandra och hur de integreras i kognitionen för meningsskapande.

Avhandlingen innehåller sex studier som undersökte integrationen av sonifiering och visualisering, vilket sträckte sig från litteraturöversikter till designorienterade studier. En state-of-the-art-rapport gav en översikt av integrationen av sonifiering och visualisering för att erbjuda en introduktion till fältet för nya och nuvarande utövare. I en annan studie utvecklades ett konceptuellt ramverk för scenanalys som kan användas som stöd vid utformning och analys av audiovisuella datarepresentationer. Resten av studierna var designorienterade, där de fokuserade på en specifik aspekt av hur sonifiering kan komplettera visualisering, beroende på studiens domän och uppgifter. Förutom att ge konkreta exempel på audiovisuella integrationer är de viktigaste bidragen från studierna deras utvärderingsresultat i form av designrekommendationer. Dessa inkluderar användning av redundanta mappningar för flerdimensionell dataanalys och beaktande av subjektiva skillnader hos domänexperter för stöd till situationsmedvetenhet inom flygledning. Studierna jämförde också olika sonifieringsdesigner, där en studie visade en potentiell avvägning mellan att använda informativ eller behaglig design för astronomisk vetenskapskommunikation, medan en annan studie visade att en konkret sonifieringsdesign kan komplettera abstrakta visualiseringar. Slutligen ger avhandlingen designöverväganden genom att jämföra nivån av redundans, indexikalitet och komplexitet för varje sonifieringsdesign genom det utvecklade konceptuella ramverket. Sammantaget ger denna avhandling motiverade rekommendationer för integrering av sonifiering och visualisering.