Распределенное обучение

Это частичное воспроизведение статьи Эффективное обучение глубоких сетей из децентрализованных данных
На данный момент выполнены только эксперименты на MNIST и CIFAR10 (как IID, так и non-IID).

Примечание: Скрипты будут работать медленно без реализации параллельного вычисления.

Требования

python>=3.6
pytorch>=0.4

Запуск

Модели MLP и CNN создаются командой:

python main_nn.py

Распределенное обучение с MLP и CNN выполняется командой:

python main_fed.py

Для просмотра аргументов увидьте options.py.

Пример:

python main_fed.py --dataset mnist --iid --num_channels 1 --model cnn --epochs 50 --gpu 0

Примечание: для CIFAR-10 num_channels должно быть 3.

Результаты

Благодарности

Благодарности выражаются youkaichao.

Ссылки

McMahan, Brendan, Eider Moore, Daniel Ramage, Seth Hampson, и Blaise Aguera y Arcas. Эффективное обучение глубоких сетей из децентрализованных данных. В Artificial Intelligence and Statistics (AISTATS), 2017.

Li, Tian, et al. "Federated optimization in heterogeneous networks." Proceedings of Machine Learning and Systems 2 (2020): 429-450.

Li, Qinbin, Bingsheng He, и Dawn Song. "Model-contrastive federated learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

Fraboni, Yann, et al. "Clustered sampling: Low-variance and improved representativity for clients selection in federated learning." International Conference on Machine Learning. PMLR, 2021.

Yao, Dezhong, et al. "Local-Global Knowledge Distillation in Heterogeneous Federated Learning with Non-IID Data." arXiv preprint arXiv:2107.00051 (2021).Zhu, Zhuangdi, Junyuan Hong, и Jiayu Zhou. "Data-free knowledge distillation for heterogeneous federated learning." International Conference on Machine Learning. PMLR, 2021.

Gao, Liang, et al. "FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

Kim, Jinkyu, Kim, Geeho, и Han, Bohyung. "Multi-Level Branched Regularization for Federated Learning." International Conference on Machine Learning. PMLR, 2022.

Li, Ge-Hong, и др. "Сохранение глобальных знаний с помощью неистинной дистилляции в федерированном обучении." Прогресс в нейронных информационных процессах и системах 35 (2022): 38461-38474.