OpenNE (sub-project of OpenSKL)

OpenNE — это подпроект OpenSKL, предоставляющий инструментарий с открытым исходным кодом для встраивания сети (NRL) с ключевыми функциями TADW для включения текстовых атрибутов узлов.

Обзор

OpenNE предоставляет стандартный инструментарий для обучения и тестирования встраивания сети. Мы унифицируем входные и выходные интерфейсы различных моделей NE и предоставляем масштабируемые варианты для каждой модели. Кроме того, мы реализуем типичные модели NE на основе TensorFlow, что позволяет обучать эти модели на графических процессорах.

Модели

Помимо TADW для изучения встраивания сетей с текстовыми атрибутами, мы также реализуем типовые модели, включая DeepWalk, LINE, node2vec, GraRep, GCN, HOPE, GF, SDNE и LE. Если вы хотите узнать больше о встраивании сети, посетите другой наш список документов NRL.

Оценка

Чтобы проверить эффективность этого инструментария, мы используем задачу классификации узлов для оценки.

Настройки

Мы показываем результаты классификации узлов различных методов в разных наборах данных. Мы устанавливаем размерность представления равной 128, kstep=4 в GraRep. Обратите внимание, что как GCN (полу-контролируемая модель NE), так и TADW нуждаются в дополнительных текстовых функциях в качестве входных данных. Таким образом, мы оцениваем эти две модели на Cora, где каждый узел имеет текстовую информацию. Мы используем 10% помеченных данных для обучения GCN.

Wiki (набор данных Wiki предоставлен проектом LBC, но исходная ссылка не работает): 2405 узлов, 17981 ребро, 19 меток, направленное:

— data/wiki/Wiki_edgelist.txt; — data/wiki/Wiki_category.txt.

Cora: 2708 узлов, 5429 рёбер, 7 меток, направленных:

— data/cora/cora_edgelist.txt; — data/cora/cora.features; — data/cora/cora_labels.txt.

Среда выполнения:

BlogCatalog: CPU: Intel(R) Xeon(R) CPU E5-2620 v3 @ 2,40 ГГц. Wiki, Cora: CPU: Intel(R) Core(TM) i5-7267U CPU @ 3,10 ГГц.

Результаты

Мы сообщаем о производительности Micro-F1 и Macro-F1 для количественной оценки эффективности и времени работы для оценки эффективности. В целом, OpenNE может воспроизвести результаты оригинальных статей. Наш предложенный TADW достигает лучшей производительности, чем DeepWalk, с помощью текстовых атрибутов.

Wiki:

Cora:

Использование

Установка

1. Клонируйте этот репозиторий.
2. Войдите в каталог, куда вы его клонировали, и запустите: Следующие строки:

• pip install -r requirements.txt;
• cd src;
• python setup.py install

являются командами для установки программного обеспечения.

В тексте запроса далее идёт описание параметров и опций программы OpenNE, которая используется для анализа графов.

Программа OpenNE позволяет работать с различными моделями машинного обучения, такими как DeepWalk, Line, Node2Vec, GraRep, TADW, GCN, Lap, GF, HOPE, SDNE.

Для каждой модели можно задать различные параметры, такие как:

— --input — входной файл сети;

— --graph-format — формат входного графа (список смежности или список рёбер);

— --output — выходной файл представления (для GCN не требуется);

— --representation-size — количество скрытых измерений для изучения для каждого узла (по умолчанию 128);

— --method — модель NE для изучения, включая Deepwalk, Line, Node2vec, Grarep, Tadw, Gcn, Lap, GF, Hope и SDNE;

— --directed — рассматривать граф как направленный (действие);

— --weighted — рассматривать граф как взвешенный (действие);

— --label-file — файл меток узлов; игнорируйте эту опцию, если не тестируете;

— --clf-ratio — соотношение обучающих данных для классификации узлов (по умолчанию 0,5);

— --epochs — эпохи обучения LINE и GCN (по умолчанию 5).

Также в запросе приведены примеры использования программы OpenNE. Для запуска моделей node2vec и gcn на различных графах используются команды, которые включают в себя параметры и опции программы.

Далее в запросе идёт подробное описание параметров для моделей DeepWalk и Node2Vec, LINE, GraRep, TADW, GCN, GraphFactorization и SDNE. В Викиданных содержится 20 982 733 объекта, 594 отношения и 68 904 773 тройки. В частности, Wikidata-5M — это основной подграф Викиданных, содержащий 5 040 986 высокочастотных объектов из Викиданных с соответствующими 927 отношениями и 24 267 796 тройками.

• Версия TransE (http://139.129.163.161/download/wikidata): предварительно обученные OpenKE вложения знаний Викиданных.
• Версия TransR (http://139.129.163.161/download/wikidata) Wikidata-5M: предварительно обученные вложения знаний Wikidata-5M от OpenKE.

OpenKE-Freebase:

Freebase была большой совместной базой знаний, состоящей из данных, составленных в основном членами сообщества. Это была онлайн-коллекция структурированных данных, собранных из многих источников. Freebase содержит 86 054 151 объект, 14 824 отношения и 338 586 276 троек.

• Версия TransE (http://139.129.163.161/download/wikidata): предварительно обученные вложения знаний Freebase от OpenKE.

OpenKE-XLORE:

XLORE — один из самых популярных китайских графов знаний, разработанный THUKEG. XLORE содержит 10 572 209 объектов, 138 581 отношение и 35 954 249 троек.

• Версия TransE (http://139.129.163.161/download/wikidata): предварительно обученные вложения знаний XLORE от OpenKE.

Применение:

Knowledge-Plugin (https://github.com/THUNLP/Knowledge-Plugin):

Эффективный и действенный инструментарий для быстрой интеграции знаний в предварительно обученные языковые модели. Knowledge-Plugin подходит для всех видов вложений графов знаний, упомянутых выше. В наборе инструментов мы подключаем версию TransR Wikidata-5M к BERT в качестве примера применения. С помощью встраивания TransR мы улучшаем способность BERT к знаниям без точной настройки исходной модели, например, до 8% улучшения при ответах на вопросы.