NLP FastText BPE

Основная идея FastText в том, что будем составлять словарь не слов в предложении, а частей слов.

К примеру, есть слово number. Это слово разделяем на части: num, umb, mbe, ber. Эти части слова называются N-граммы.

Затем эти части слов, на основе словаря, переводим в one-hot вектора, и складываем их. Получаем bag-of-words.

Далее полученный вектор передаем в нейронную сеть или в Embedding.

Данный подход хорош тем, что он решает задачи:

  1. Редко встречаемые слова.
  2. Опечятки в словах.
  3. Решается вопрос добавление новых слов, на которых модель не обучалась.

Как улучшение алгоритма, можно не рандомно делить, а разделять слово на составные слова, выделять корень, приставку, суффикс и окончание. Этот алгоритм называется BPE (Byte Pair Encoding).

Остались вопросы?

Если вы хотите получить консультацию или оставить комментарий, опубликуйте свой вопрос на нашем форуме.