Проект демонстрационное видео и детальный технический план доступны по ссылке GoDance распределенный поисковый движок. Обзорная статья

GoDance — это распределенный поисковый движок, написанный на языке Go, который также является распределенной системой хранения документов. Поддерживает распределенный поиск и хранение данных, а также предоставляет интерфейсы RESTful API для управления GoDance.GoDance использует архитектуру с главным и репликационным узлами, реализует алгоритм Raft для обеспечения согласованности метаданных и имеет ряд механизмов, таких как транзакционные логи, шардинг, миграцию шардов, перенаправление в случае отказа, для обеспечения высокой доступности и масштабируемости кластера. В части маршрутизации, маршрутизация направляется к наиболее эффективным шардам в зависимости от загрузки памяти индекса и конфигурации оборудования, а также используется RPCX для вызова RPC. В части поиска, реализованы алгоритмы поиска, такие как TF-IDF, а также используется для поиска по ключевым словам. В части хранения, используется идея сегментации для улучшения производительности поиска и вставки, а также поддерживаются прямые и обратные индексы (B+ дерево и BST и MAP) для улучшения производительности поиска, а также реализованы соответствующие структуры данных и механизмы сохранения на уровне операционной системы Linux (MMAP).