Company Clust

Разработать решение для кластеризации названий компаний по идентичности обозначаемой компании.

Подход 1: классификатор SKLearn

Подход 2: кластеризатор SKLearn

Подход 3: эмбеддинги текста

Language-agnostic BERT Sentence Embedding (LaBSE)

• С помощью LaBSE извлекаем вектора признаков (эмбеддинги) предложений с помощью модели LaBSE
• Извлекаем меры схожести пар векторов (пар названий компаний) - евклидово и косинусное расстояния
  
  

Эксперименты с косинусным расстоянием:

Обучение классификатора случайный лес RandomForest

Обучение классификатора логистическая регрессия LogisticRegression

Обучение и оптимизация гиперпараметров классификатора случайный лес

Upsamling данных, обучение RandomForest

Upsamling данных, обучение LogisticRegression

Upsampling данных, обучение и оптимизация гиперпараметров RandomForest

Эксперименты с евклидовым расстоянием:

Обучение классификатора случайный лес RandomForest

Обучение классификатора логистическая регрессия LogisticRegression

Обучение и оптимизация гиперпараметров классификатора случайный лес