liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Bridging the Resource Gap: Exploring the Efficacy of English and Multilingual LLMs for Swedish
Linköpings universitet, Institutionen för datavetenskap, Artificiell intelligens och integrerade datorsystem. Linköpings universitet, Tekniska fakulteten. (NLP)
Linköpings universitet, Institutionen för datavetenskap, Artificiell intelligens och integrerade datorsystem. Linköpings universitet, Tekniska fakulteten.
Linköpings universitet, Institutionen för datavetenskap, Interaktiva och kognitiva system. Linköpings universitet, Tekniska fakulteten. Linköpings universitet, Institutionen för datavetenskap, Artificiell intelligens och integrerade datorsystem.ORCID-id: 0000-0002-2492-9872
2023 (Engelska)Ingår i: Proceedings of the Second Workshop on Resources and Representations for Under-Resourced Languages and Domains (RESOURCEFUL-2023), Tórshavn, the Faroe Islands, 2023, s. 92-110Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Large language models (LLMs) have substantially improved natural language processing (NLP) performance, but training these models from scratch is resource-intensive and challenging for smaller languages. With this paper, we want to initiate a discussion on the necessity of language-specific pre-training of LLMs. We propose how the “one model-many models” conceptual framework for task transfer can be applied to language transfer and explore this approach by evaluating the performance of non-Swedish monolingual and multilingual models’ performance on tasks in Swedish. Our findings demonstrate that LLMs exposed to limited Swedish during training can be highly capable and transfer competencies from English off-the-shelf, including emergent abilities such as mathematical reasoning, while at the same time showing distinct culturally adapted behaviour. Our results suggest that there are resourceful alternatives to language-specific pre-training when creating useful LLMs for small languages.

Ort, förlag, år, upplaga, sidor
Tórshavn, the Faroe Islands, 2023. s. 92-110
Nyckelord [en]
NLP, Natural Language Processing, language model, GPT, monolingual, multilingual, cross-lingual, one model-many models
Nationell ämneskategori
Språkteknologi (språkvetenskaplig databehandling)
Identifikatorer
URN: urn:nbn:se:liu:diva-196545OAI: oai:DiVA.org:liu-196545DiVA, id: diva2:1787062
Konferens
RESOURCEFUL workshop at NoDaLiDa
Forskningsfinansiär
CUGS (National Graduate School in Computer Science)Tillgänglig från: 2023-08-11 Skapad: 2023-08-11 Senast uppdaterad: 2023-08-11

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

https://aclanthology.org/2023.resourceful-1.13/

Person

Holmström, OskarKunz, JennyKuhlmann, Marco

Sök vidare i DiVA

Av författaren/redaktören
Holmström, OskarKunz, JennyKuhlmann, Marco
Av organisationen
Artificiell intelligens och integrerade datorsystemTekniska fakultetenInteraktiva och kognitiva system
Språkteknologi (språkvetenskaplig databehandling)

Sök vidare utanför DiVA

GoogleGoogle Scholar

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 231 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf