Rasa X will only update model if I change the config file

Hello,

As the title says, when i train a model with a new intent and upload it to my Rasa X server, the assistant cannot understand it (with the newest model activated). If I however change the language in the config file, and upload this new model, and change it back it can.

How could this be? I’ve made a post earlier regarding the same problem, when trying to train the model via the Rasa X UI.

Thanks in advance!

do you maybe have too few training data? How does your NLU pipeline look like?

so my pipeline looks like this:

# Configuration for Rasa NLU.
# https://rasa.com/docs/rasa/nlu/components/
language: da


# # No configuration for the NLU pipeline was provided. The following default pipeline was used to train your model.
# # If you'd like to customize it, uncomment and adjust the pipeline.
# # See https://rasa.com/docs/rasa/tuning-your-model for more information.
pipeline:
- name: SpacyNLP
  model: en_core_web_md
- name: SpacyTokenizer
- name: SpacyEntityExtractor
- name: SpacyFeaturizer
  pooling: mean
- name: CountVectorsFeaturizer
  analyzer: char_wb
  min_ngram: 1
  max_ngram: 2
- name: DIETClassifier
- name: FallbackClassifier
  threshold: 0.8
  ambiguity_threshold: 0.1
epochs: 1


# Configuration for Rasa Core.
# https://rasa.com/docs/rasa/core/policies/
policies:
# # No configuration for policies was provided. The following default policies were used to train your model.
# # If you'd like to customize them, uncomment and adjust the policies.
# # See https://rasa.com/docs/rasa/policies for more information.
  - name: "AugmentedMemoizationPolicy"
    max_history: 10
  -  name: TEDPolicy
#     max_history: 5
#     epochs: 100
#     constrain_similarities: true
  - name: RulePolicy
    core_fallback_threshold: 0.4
    core_fallback_action_name: "action_default_fallback"
    enable_fallback_prediction: True

and my nlu file:

version: "2.0"
nlu:
- intent: goodbye
  examples: |
    - good afternoon
    - cu
    - good by
    - cee you later
    - good night
    - bye
    - goodbye
    - have a nice day
    - see you around
    - bye bye
    - see you later
- intent: affirm1
  examples: |
    - Ja det har jeg
    - Jeg har et spørgsmål mere
    - Jeg vil gerne vide noget mere
    - Det lyder godt
    - Okay
    - Super
    - Jeg har et spørgsmål
    - modtaget
    - Fantastisk
    - Spændende
- intent: affirm2
  examples: |
    - yes
    - ja
    - Y
    - Korrekt
    - Præcis
    - Nøjagtig
    - Nemlig
    - ja tak
    - ok
    - jep
- intent: deny
  examples: |
    - no
    - n
    - Nej
    - Det har jeg ikke
    - Jeg har ikke flere spørgsmål
    - Niks
    - Ellers tak
    - Nej tak
    - Niksen biksen
    - Nej det har jeg ikke
- intent: bot_challenge
  examples: |
    - are you a bot?
    - are you a human?
    - am I talking to a bot?
    - am I talking to a human?
    - Hvem er du?
- intent: Hilsen
  examples: |
    - Dav
    - Goddag
    - Hej
    - Hej med dig
    - Halløjsa
    - Hejsa
    - Goddag med dig bot
    - hyggehejsa
    - Halløjsovs
    - Davs med dig
    - Hej bot
    - pænt Goddag
    - Halløj
    - Hej min ven
    - Hej dig
    - Godmorgen
    - Godaften
    - hej
    - hejsa
    - hello
    - hrj
    - Chatbot?
    - Hej DreamPlan
- intent: Datasikkerhed
  examples: |
    - Er min data sikker?
    - Hvordan opbevarer Dreamplan mine data?
    - Hvad gør Dreamplan for at holde data sikkert?
    - Hvor godt er min data beskyttet?
    - Er Dreamplan en sikker service?
    - Hvor fortrolig er Dreamplan?
    - er min data sikker?
    - hvor sikker er min data
    - hvordan opbevarer dreamplan min data
    - er min data sikker hos Dreamplan?
    - Jeg er en GDPR freak - hvordan opbevarer dreamplan min data?
    - Hvordan efterlever DreamPlan GDPR?
    - overholder DreamPlan GDPR?
    - Hvordan er jeres datasikkerhed?
    - datasikkerhed
    - sikkerhedspolitik
    - Sikkerhedspolitik
    - Dreamplans sikkerhedspolitik
    - Jeg vil gerne vide lidt mere om DreamPlans datasikkerhed?
    - Kan jeg få noget at vide om jeres datasikkerhed?
    - Jeg vil gerne vide noget omkring DreamPlans datasikkerhed
    - Hvad gør i med min data
    - Hvad gør dreamplan med min data
    - Hvad gør I med min data
    - datasikkerhed?
    - Datasikkerhedspolitik?
    - Hvordan gemmer I mine data?
- intent: Betafunktioner
  examples: |
    - Kan jeg gå tidligere på pension?
    - Må jeg se udregningerne bag jeres anbefaling?
    - Kan DreamPlan vise mig hvordan jeg får et bedre økonomisk råderum over tid ?
    - Kan DreamPlan vise mig samligningsgrundlag, altså hvordan mit situation er pt og hvordan den bliver hvis jeg følger jeres anbefalinger?
    - Kan I sende notificationer hvis jeg ændre forbrug/adfærd/økonomisk plan?
    - Kan I vise forskellige scenarier hvis jeg fx har forskellige tanker/ideer til flere økonomiske planer?
    - Findes DreamPlan på andre sprog? 
- intent: DreamplanVsBank
  examples: |
    - Hvad er forskellen mellem Dreamplan og en bank?
    - Hvad er foreskellen på DreamPlan og en bankrådgiver?
    - jeg forstår ikke hvad dreamplan kan i forhold til en bankrådgiver?
    - Hvordan er DreamPlan anderledes end en bankrådgiver?
    - Hvad kan dreamplan som min bank ikke kan?
    - hvad kan min bank som DreamPlan ikke kan?
    - Hvordan er DreamPlan anderledes end en menneskelig rådgivning ?
    - Hvordan er DreamPlan anderledes end en bank rådgivning?
    - hvad kan min bank gøre som Dreamplan ikke kan?
    - Hvad kan min bank gøre i forhold til Dreamplan
    - Hvad kan Dreamplan i forhold til min bank?
    - hvad kan dreamplan gøre vs min bank?
    - kan dreamplan lave om i min økonomi ligesom en bank kan?
    - Hvad kan DreamPlan i forhold til en bank
    - Hvad kan DreamPlan i forhold til en bank)
    - Hvad kan dreamplan ift en bank
    - hvad er i i forhold til en bank
    - hvad er dreamplan i forhold til en bank
    - Hvad er dreamplan i forhold til en bank
- intent: KontaktBank
  examples: |
    - Behøver jeg kontakte en bank?
    - Kan man gå udenom banken?
    - Skal jeg tage kontakt til banken?
    - Er det nødvendigt at kontakte en bank?
    - jeg kan ikke lide min bank, er det virkelig nødvendigt at tage kontakt?
    - Kontakt bank
    - kontakt bank
    - Skal jeg kontakte min bank?
    - Skal jeg kontakte min bank
    - Skal jeg tale med en bank?
    - Nødvendigheden af kontakt til banken
    - Kontakt til banken?
    - kontakt til en bank?
    - Skal jeg i kontakt med en bank?
    - Okay, skal jeg kontakte en bank?
    - Skal der etableres kontakt med en bank?
    - Ville jeg skulle snakke med min bank
- intent: AndreTingAfValue
  examples: |
    - Kan dreamplan tage højde for mine investeringer?
    - Kan dreamplan medregne min børneopsparing?
    - Hvorfor tager dreamplan ikke højde for andre former for indtægt?
    - Kan Dreamplan tage højde for mine investeringer i planen?
    - Kan dreamplan tage højde for investeringer?
    - Kan DreamPlan medregne mine investeringer?
    - Kan dreamplan medregne min kapital fond i deres beregning?
    - Kan DreamPlan tage højde for andre former for indtægt?
    - kan dreamplan medregne min kapital fond?
    - kan dreamplan medregne børneopsparing?
    - Forudsætninger for beregningerne
    - hvor skriver jeg min investering?
    - jeg har andre type indtægter
    - Jeg har andre type indtægter
    - Jeg har andre former for indtægter
    - Jeg har aktier
    - Tæller aktier med?
    - Jeg har andre indtægter
    - Jeg har investeringer
    - Andre ting af værdi
- intent: HvordanGorJeg
  examples: |
    - Hvordan kommer jeg til at betale mindre i bolig?
    - Hvordan kommer jeg til at betale mere i bolig?
    - Hvordan kommer jeg til at betale mindre i pension?
    - Hvordan kommer jeg til at betale mindre i pension? Det forstår jeg ikke
    - Hvordan kommer jeg til at betale mere i pension?
    - Hvordan kommer jeg til at betale mindre i opsparing?
    - Hvordan kommer jeg til at betale mere i opsparing?
    - Hvordan gør jeg
    - Hvordan ændrer jeg min økonomi?
    - Hvordan gør jeg bagefter?
    - Hvordan ændrer jeg min økonomi
    - Hvordan ændrer jeg i min økonomi
    - Hvad gør jeg efter at jeg har fået min beregning?
    - Hvad skal jeg nu gøre?
    - Bliver jeg kontaktet af en bank?
    - Jeg ønsker mig et lån
    - Jeg vil gerne lave om i min økonomi
    - Hvordan får jeg betalt mindre i
    - Hvordan får jeg betalt mere i
    - Hvor mange penge kan jeg få?
- intent: nlu_fallback
  examples: |
    - adwafdafg DreamPlan
    - dafaeaf DreamPlan?
- intent: Dromme
  examples: |
    - Hvor tilføjer jeg drømme?
    - Hvordan tilføjer jeg drømme?
    - Hvordan kan jeg bruge drømmefunktionen?
    - Kan jeg tilføje en drøm og se dens indflydelse?
    - kan dreamplan hjælpe mig med at drømme?
    - hvordan kan jeg drømme med dreamplan?
    - Kan dreamplan hjælpe mig med at drømme?
    - Hvordan tilføjer man drømme
    - Hvordan tilføjer jeg drømme
    - Hvor tilføjer man drømme?
    - hvor tilføjer jeg drømme
    - hvordan tilføjer jeg drømme
    - Hvor tilføjer man drømme
    - Hvor tilføjer jeg mine ønsker?
    - Hvor tilføjer jeg drømme
    - Jeg drømmer om en bil
    - Jeg vil gerne have en bil
    - Kunne godt tænke mig en bil
- intent: Slider
  examples: |
    - Hvad menes der med for meget på bolig?
    - Hvad menes der med for lidt på bolig?
    - Hvad menes der med for meget på pension?
    - hvad menes der med "betale for lidt i bolig"
    - hvad menes der med for lidt i bolig?
    - Hvad menes der med bolig?
    - Hvad menes der med for lidt i bolig?
    - Hvad betyder for meget
    - Jeg forstår ikke hvad I mener med "for lidt" i pension?
    - Hvad menes der med for lidt i pension?
    - Jeg forstår ikke hvad der menes med for lidt i bolig?
    - Hvad betyder for lidt?
    - Hvad mener I med for meget
    - Hvad mener I med for lidt
    - Hvad mener I med for lidt?
- intent: AndreDreamPlan
  examples: |
    - Findes der andre end DreamPlan?
    - Finder andre services ligesom DreamPlan?
    - eksisterer der andre end Dreamplan?
    - Er der andre ligesom jer?
    - Kan man finde andre som jer?
    - Er der andre der yder samme service som jer?
    - Findes der andre lignende services?
- intent: Forudsatninger
  examples: |
    - Hvad skal jeg vide for at bruge DreamPlan?
    - Hvilke oplysninger skal der bruges for at benytte DreamPlan?
    - Hvor meget skal jeg vide om min situation for at benytte DreamPlan?
    - Hvad skal jeg vide
    - Hvad er forudsætningerne?
    - Skal jeg have indsigt i min pension, bolig eller opsparing?
    - Hvad er kravene for at kunne bruge DreamPlan?
    - Hvad skal jeg som bruger vide?
    - Hvilke oplysninger skal jeg kende til? 
    - Hvad skal jeg have indsigt i?
- intent: Out_of_scope
  examples: |
    - kan dreamplan vise mig forskellige opsparingsløsninger?
    - kan jeg bruge dreamplan til at lave en 5 års plan?
    - kan dreamplan lave andet end opsparingsplaner?
    - Kan dreamplan hjælpe med at investere?
    - Kan dreamplan hjælpe mig med at investere i kryptovaluta?
    - Jeg vil gerne have hjælp med investeringer
    - hvordan skal jeg investere?
    - hvad er klokken?
    - Kan DreamPlan få mig til at forstå økonomi
- intent: HumanHandOff
  examples: |
    - Kan jeg snakke med et menneske?
    - Jeg vil gerne i kontankt med et menneske!
    - Er der et menneske jeg kan snakke med?
    - Du forstår ikke noget
    - telefonnummer til kundeservice?
    - Kan jeg kontake et menneske?
    - kan jeg kontake et menneske?
    - Jeg forstår ikke hvad du siger
    - Kan jeg kontakte dreamplan
    - Fuck dig
    - Du forstår ikke meget
- intent: BankSamarbejde
  examples: |
    - Hvilke banker samarbejder I med?
    - Samarbejder I med Danske Bank?
    - Hvilke banker kan man vælge imellem?
    - Hvem samarbejder I med?
    - Hvilke samarbejdspartnere har I?
    - Kan I snakke sammen med min bank?
    - Hvor mange banker har I samarbejde med?
    - Hvilken bank?
    - hvilken bank?
    - Har i samarbejde med nogle banker?
- intent: HvordanMoney
  examples: |
    - Hvordan tjener I penge?
    - Hvordan får i revenue?
    - Hvad er jeres business model?
    - Får i penge for mine data?
    - Hvad skal der ske for i tjener i penge?
    - Tjener i penge på min data?
    - deler i min data med banken
    - Hvordan får DreamPlan revenue?
- intent: Ejerskab
  examples: |
    - Hvem ejer DreamPlan?
    - Hvem ejes DreamPlan af?
    - Hvem er skaberne bag DreamPlan?
    - Hvem er folkene bag DreamPlan?
    - Hvem ejer dreamplan?
    - Hvem er Dreamplan ejet af?
    - Hvem står bag DreamPlan?
    - hvem ejer dreamplan
    - er I ejet af en bank?
    - Jeg vil gerne vide om I er ejet af en bank?
    - Er DreamPlan ejet af en bank?
- intent: DreamPlan
  examples: |
    - Hvad er DreamPlan?
    - Hvad kan DreamPlan?
    - Hvad er ideen med DreamPlan?
    - Hvad kan DreamPlan hjælpe mig
    - Hvad er dreamplan?
    - er I en bank?
    - Er dreamplan en fintech?
    - hvad er dreamplan
    - Hvad kan du hjælpe med
- intent: Krav
  examples: |
    - Jeg ejer ikke min bolig
    - Jeg bor i en andel
    - Jeg har ikke en fast lån
    - Jeg bor til leje
    - Er bofast i en lejelejlighed, er det et problem?
    - Har ikke fast bolig er det et problem?
    - Min indkom varirer meget, kan I stadig hjælpe mig?
    - jeg har en varierende indtægt
    - Jeg har en fleksibel indtægt
    - jeg bor i andel
    - Jeg har ikke fast månedsløn - hvad gør jeg?
- intent: Identitet
  examples: |
    - Hvem er du?
    - Hvad hedder du?
    - Er du en robot?
    - Er du et rigtigt menneske?
    - Snakker jeg med et menneske?
    - Snakker jeg med en robot?
    - Taler jeg med en robot?
    - Hvem er du
    - Hvad hedder du
    - Hvor er du ansat?
    - hedder du Per?
    - Hvem hedder du?
    - Er du Dreamy?
- intent: DreamPlanFunktion
  examples: |
    - Hvad kan jeg bruge DreamPlan til?
    - Hvad får jeg ud af at bruge DreamPlan?
    - Hvor meget overskud kan jeg få?
    - Tjener jeg penge ved at bruge DreamPlan?
    - hvad skal jeg bruge dreamplan til?
    - Hvad skal jeg bruge dreamplan til?
    - hvad får jeg ud af dreamplan?
- intent: DreamPlanRegneMaskine
  examples: |
    - Hvordan regner dreamplan?
    - hvordan regner dreamplan?
    - Hvordan regner dreamplan på pension?
    - Hvordan regner i?
    - Hvordan regner I min såkaldte optimale opsparing ud?
    - Hvordan regner I?
    - Hvordan virker regnemaskinen hos DreamPlan?
    - Regner DreamPlan selv?
    - Kan jeg se beregningerne?
    - Hvad er jeres beregninger baseret på?
- intent: Bolig
  examples: |
    - Hvad dækker bolig over?
    - Hvad indgår der i posten bolig?
    - Hvad dækker begrebet bolig over?
    - posten bolig
    - bolig - hvad betyder det?
    - hvad er mit boligtal?
    - bolig post
    - Hvordan skal posten bolig forståes?
- intent: Opsparing
  examples: |
    - Hvad dækker opsparing over?
    - Hvad indgår der i posten opsparing?
    - Hvad dækker begrebet opsparing over?
    - opsparing - hvad betyder det?
    - nødopsparing
    - Posten nødopsparing
    - opsparingstal
    - Hvad er mit opsparingstal?
    - Hvordan skal opsparingsposten forståes?
- intent: Pension
  examples: |
    - Hvad dækker pension over?
    - Hvad indgår der i posten pension?
    - Hvad dækker begrebet pension over?
    - pension - hvad betyder det? 
    - posten pension
    - hvad er min pension?
    - Hvordan skal pensions posten forståes?

Can you please format your code blocks using to make it easier to read? Thank you :raised_hands:

Sorry about that, thought the yaml output was fine, but can see it is much easier to read now :slight_smile:

Thank you

It’s still not formatted :see_no_evil:

that ought to do it :sweat_smile:

Hi Blaabjerg96,

If you want to share code you can use the markdown syntax and if you’re new there’s a syntax guide here. In your case, you seem to have copied code with extra whitespaces that are getting rendered.

I wanted to double-check your config.yml file, since you seem to be training a multi-lingual system. This is independant of your Rasa X issue, but why are you using an English spaCy tokeniser/featurizer when you seem to also have Danish in there?

If you’re interested in building a multi-lingual system you might prefer to use language agnostic sentence embeddings (LaBSE). It’s a bit heavyweight, but it’s a system trained to understand multiple languages. We’ve got an algorithm whiteboard video on the topic and you can find the relevant Rasa component described on our docs.

Thats the core of the issue. If I use this configuration I can train the assistant in Rasa X server, and if I add new intents the danish SpaCy tokeniser needs to be changed to english and back again to recognize the new intent.

I am not looking to make a bi-lingual bot, but I kept the intent around, If I needed the name, so I just needed to change the data.

Thanks for the guide by the way - should be correctly set up now - third times the charm right :sweat_smile:

1 Like