Supervised embedding is unable to extract entity in hindi language using ner_crf

Hi team , I am building a chatbot for banking domain in hindi language . I have used supervised embedding in my config file but for any sentense nlu is able to identify intent but unable to extract entity.

Please help !!!

@shrikant.kamle welcome to the forum :slight_smile: can you show me what pipeline you’re using?

Hi akelad , This is my config file.

language: “hi”

pipeline: supervised_embeddings

policies:

  • name: FormPolicy
  • name: MemoizationPolicy
  • name: FallbackPolicy
  • name: KerasPolicy augmentation: 20 epochs: 250 batch_size: 50

@shrikant.kamle that seems fine, my guess is then that you don’t have your entities defined properly in your training data? Can you share an excerpt of how you defined entities?

@akelad. Please find below excerpt from my nlu.

intent:BENF

  • मैं लाभार्थी को [जोड़ना] (ADDBEN) चाहता हूँ
  • लाभार्थी को [जोड़ें] (ADDBEN)
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [प्राप्त करें] (ADDBEN) लाभार्थी सूची
  • कैसे [प्राप्त करें] (ADDBEN) सभी लाभार्थी
  • मैं लाभार्थी [जोड़ना] (ADDBEN)चाहता हूँ
  • मैं लाभार्थी [जोड़ना] (ADDBEN) चाहता हूँ
  • [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • लाभार्थी कैसे [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • बेनेफिसिरी [जोड़ें] (ADDBEN)
  • मैं लाभार्थी को [जोड़ना] (ADDBEN) चाहता हूँ
  • लाभार्थी को [जोड़ें] (ADDBEN)
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [प्राप्त करें] (ADDBEN) लाभार्थी सूची
  • कैसे [प्राप्त करें] (ADDBEN) सभी लाभार्थी
  • मैं लाभार्थी [जोड़ना] (ADDBEN)चाहता हूँ
  • मैं लाभार्थी [जोड़ना] (ADDBEN) चाहता हूँ
  • [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • लाभार्थी कैसे [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • बेनेफिसिरी [जोड़ें] (ADDBEN)
  • मैं लाभार्थी को [जोड़ना] (ADDBEN) चाहता हूँ
  • लाभार्थी को [जोड़ें] (ADDBEN)
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [प्राप्त करें] (ADDBEN) लाभार्थी सूची
  • कैसे [प्राप्त करें] (ADDBEN) सभी लाभार्थी
  • मैं लाभार्थी [जोड़ना] (ADDBEN)चाहता हूँ
  • मैं लाभार्थी [जोड़ना] (ADDBEN) चाहता हूँ
  • [जोड़ें] (ADDBEN) लाभार्थी
  • कैसे [जोड़ें] (ADDBEN) लाभार्थी
  • लाभार्थी कैसे [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • लाभार्थी [जोड़ें] (ADDBEN)
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • [जोड़ें] (ADDBEN) लाभार्थी
  • बेनेफिसिरी [जोड़ें] (ADDBEN)

I would guess the issue is that there’s a space between the brackets. But maybe you’ve resolved this issue since?