Устройство безопасной обработки данных (SPU): Secure Processing Unit

@inproceedings {spu,
    author = {Junming Ma and Yancheng Zheng and Jun Feng and Derun Zhao and Haoqi Wu and Wenjing Fang and Jin Tan and Chaofan Yu and Benyu Zhang and Lei Wang},
    title = {{SecretFlow-SPU}: Высокоэффективный и удобный в использовании фреймворк для машинного обучения с защитой конфиденциальности},
    booktitle = {2023 USENIX Annual Technical Conference (USENIX ATC 23)},
    year = {2023},
    isbn = {978-1-939133-35-9},
    address = {Boston, MA},
    pages = {17--33},
    url = {https://www.usenix.org/conference/atc23/presentation/ma},
    publisher = {USENIX Association},
    month = jul,
}
```[ICML'24](https://proceedings.mlr.press/v235/wu24d.html)
```text
@inproceedings{ditto,
   title = {Ditto: Квантизация-осведомленное безопасное прогнозирование трансформеров с использованием {MPC}},
   author = {Wu, Haoqi и Fang, Wenjing и Zheng, Yancheng и Ma, Junming и Tan, Jin и Wang, Lei},
   booktitle = {Программы 41-ой Международной конференции по машинному обучению},
   pages = {53346--53365},
   year = {2024},
   editor = {Salakhutdinov, Ruslan и Kolter, Zico и Heller, Katherine и Weller, Adrian и Oliver, Nuria и Scarlett, Jonathan и Berkenkamp, Felix},
   volume = {235},
   series = {Программы исследования обучения машины},
   month = {21--27 июля},
   publisher = {PMLR},
   pdf = {https://raw.githubusercontent.com/mlresearch/v235/main/assets/wu24d/wu24d.pdf},
   url = {https://proceedings.mlr.press/v235/wu24d.html},
   abstract = {Из-за возрастающих проблем с конфиденциальностью данных клиентов и обученных моделей, таких как трансформеры, используются методы безопасного многопользовательского вычисления (MPC) для обеспечения безопасного прогнозирования при наличии дополнительных затрат. Эти работы пытаются уменьшить эти затраты путем использования более подходящих для MPC аппроксимаций нелинейных функций. Однако интеграция широко используемого в открытых данных квантизования в область MPC остаётся неясной. Чтобы заполнить этот пробел, мы предлагаем фреймворк под названием Ditto для обеспечения более эффективного квантизация-осведомленного безопасного прогнозирования трансформеров.}
```Конкретно, мы включаем квантизацию, удобную для MPC, в процесс прогнозирования трансформера и применяем процедуру квантизации-осведомленного переноса знаний для поддержания полезности модели. Затем мы предлагаем новые примитивы MPC для поддержки типовых преобразований, необходимых для квантизации, и реализуем квантизации-осведомленное выполнение MPC для безопасного квантизованного прогнозирования. Этот подход значительно снижает как вычислительные, так и коммуникационные затраты, что приводит к повышению общей эффективности. Мы провели широкий спектр экспериментов на моделях BERT и GPT2 для оценки производительности Ditto. Результаты показывают, что Ditto примерно в 3.14–4.40 раза быстрее MPCFormer (ICLR 2023) и в 1.44–2.35 раза быстрее передового решения PUMA с незначительным ухудшением полезности.

}
}
```## БлагодарностьМы благодарим за значительные вклады, сделанные лабораторией [Alibaba Gemini Lab](https://alibaba-gemini-lab.github.io) и бюллетенями безопасности от [VUL337@NISL@THU](https://netsec.ccert.edu.cn/vul337).