Нейросетевое встраивание

Материал из MachineLearning.

Статья написана с использованием LLM Claude Sonnet 4 и проверена участником Emil Petrov 15:26, 16 июня 2026 (MSD) Промпт приводится полностью в Обсуждение:Нейросетевое встраивание

Содержание 1 Основная идея 2 Словесные эмбеддинги 2.1 Word2Vec 2.2 GloVe 2.3 FastText 3 Контекстуальные эмбеддинги 3.1 ELMo 3.2 BERT-эмбеддинги 3.3 Sentence Transformers 4 Графовые и мультимодальные эмбеддинги 5 Поиск ближайших соседей 6 Применения 7 См. также 8 Примечания 9 Литература

Нейросетево́е вста́ивание (англ. neural network embedding, также векторное представление) — отображение объектов дискретного пространства (слов, символов, документов, пользователей, узлов графа и т.д.) в непрерывное векторное пространство фиксированной размерности^[1]. Векторные представления позволяют моделям нейронных сетей работать с дискретными объектами так же, как с числовыми данными, и улавливать семантические связи между ними.

Основная идея

Ключевое свойство качественного эмбеддинга — семантическая близость отображается в геометрическую близость векторов. Формально, если — функция встраивания, то для семантически близких должно выполняться:

где — семантически далёкий объект. Размерность обычно от 64 до 4096.

Словесные эмбеддинги

Word2Vec

Одна из первых и наиболее известных моделей для построения эмбеддингов слов, предложенная Mikolov et al. в 2013 году^[1]. Реализует два варианта:

• CBOW — предсказывает целевое слово по контексту;
• Skip-gram — предсказывает контекстные слова по целевому.

Функция потерь Skip-gram:

где — длина корпуса, — размер окна контекста.

Знаменитое свойство: .

GloVe

GloVe строит эмбеддинги на основе статистики совместной встречаемости. Целевая функция:

где — количество совместных появлений, — весовая функция.

FastText

Расширение Word2Vec: каждое слово представляется суммой эмбеддингов символьных n-грамм. Позволяет строить векторы для out-of-vocabulary слов.

Контекстуальные эмбеддинги

В отличие от статических, контекстуальные эмбеддинги зависят от всего предложения — одно слово получает разные векторы в разных контекстах.

ELMo

ELMo использует двунаправленную LSTM для построения многоуровневых представлений слов. Финальный эмбеддинг — взвешенная комбинация скрытых состояний всех слоёв.

BERT-эмбеддинги

Трансформерные модели типа BERT производят мощные контекстуальные эмбеддинги. Для эмбеддинга предложения часто используется токен [CLS] или усреднение выходов всех токенов (mean pooling).

Sentence Transformers

Специализированные трансформерные модели, дообученные на задаче семантической близости пар. Контрастивная функция потерь:

где , — метка схожести, — отступ (margin).

Графовые и мультимодальные эмбеддинги

• Node2Vec / DeepWalk — применяют идеи Word2Vec к узлам графа;
• CLIP — совместное пространство для текста и изображений (контрастивное обучение).

Поиск ближайших соседей

Для запроса найти ближайших векторов из базы :

Библиотеки: FAISS, ScaNN, Annoy. Используют HNSW, IVF, Product Quantization.

Применения

Нейросетевые встраивания применяются в:

• ОБР — перевод, анализ тональности, семантический поиск;
• RAG-системах в контексте промпт-инжиниринга;
• рекомендательных системах;
• RLHF — reward model использует эмбеддинги.

См. также

• Трансформер (модель)
• Большая языковая модель
• Механизм внимания
• Промпт-инжиниринг
• Обучение с подкреплением из обратной связи человека (RLHF)

Примечания

Литература

• Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016.
• Mikolov T. et al. Distributed Representations of Words and Phrases // NeurIPS. — 2013.
• Pennington J. et al. GloVe: Global Vectors for Word Representation // EMNLP. — 2014.
• Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers // NAACL. — 2019.
• Reimers N., Gurevych I. Sentence-BERT // EMNLP. — 2019.
• Radford A. et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP) // ICML. — 2021.