简体中文 | English

Sedna

什么是Sedna?

Sedna是在KubeEdge SIG AI中孵化的一个边云协同AI项目。得益于KubeEdge提供的边云协同能力，Sedna可以实现跨边云的协同训练和协同推理能力，如联合推理、增量学习、联邦学习、终身学习等。Sedna支持目前广泛使用的AI框架，如TensorFlow/Pytorch/PaddlePaddle/MindSpore等，现有AI类应用可以无缝迁移到Sedna, 快速实现边云协同的训练和推理，可在降低成本、提升模型性能、保护数据隐私等方面获得提升。

项目特性

Sedna具有如下特性：

• 提供边云协同AI基础框架
  • 提供基础的边云协同数据集管理、模型管理，方便开发者快速开发边云协同AI应用
• 提供边云协同训练和推理框架
  • 联合推理: 针对边缘资源需求大，或边侧资源受限条件下，基于边云协同的能力，将推理任务卸载到云端，提升系统整体的推理性能
  • 增量训练: 针对小样本和边缘数据异构的问题，模型可以在云端或边缘进行跨时间自适应优化
  • 联邦学习: 针对数据大，原始数据不出边缘，隐私要求高等场景，模型在边缘训练，参数云上聚合，可有效解决数据孤岛的问题
  • 终身学习：针对小样本和边缘数据异构的问题
    • 通过云端知识库提供记忆功能，让边缘积累的样本知识能在持续更新同时被持久化，从而处理灾难性遗忘问题；
    • 结合增量训练和多任务训练，同时实现跨时间与跨情景的知识迁移，从而更好地处理未知任务。
  • more
• 兼容性
  • 兼容主流AI框架TensorFlow、Pytorch、PaddlePaddle、MindSpore等
  • 针对云边协同训练和推理，预置难例判别、参数聚合算法，同时提供可扩展接口，方便第三方算法快速集成

架构

Sedna的边云协同基于KubeEdge提供的如下能力实现

• 跨边云应用统一编排
• Router: 管理面云边高可靠消息通道
• EdgeMesh: 数据面跨边云微服务发现和流量治理

组件

Sedna由以下组件构建：

GlobalManager

• 统一边云协同AI任务管理
• 跨边云协同管理与协同
• 中心配置管理

LocalController

• 边云协同AI任务的本地流程控制
• 本地通用管理: 模型, 数据集，状态同步等

Worker

• 执行训练或推理任务, 基于现有AI框架开发的训练/推理程序
• 不同特性对应不同的worker组, worker可部署在边上或云上, 并进行协同

Lib

• 面向AI开发者和应用开发者, 暴露边云协同AI功能给应用

指南

文档

Sedna 在 readthedoc.io 托管相关文档。 您可以根据这些文档更好地了解Sedna。

安装

Sedna的安装文档请参考这里。

样例

样例1：大小模型协同推理
样例2：边云协同增量学习
样例3：边云协同联邦学习
样例4：边云协同联邦学习: 基于YoLov5的目标识别.
样例5：边云协同终身学习

路标

• 2021 Q1 Roadmap

社区例会

例会时间：

• 太平洋时间：北京时间 周四 10:00-11:00 (每周一次，从2020年11月12日开始)。 (查询本地时间)

会议资源：

• 会议纪要和议程
• 会议视频记录
• 会议链接
• 会议日历 | 订阅日历

支持

如果您有任何疑问，请以下方式与我们联系：

• slack channel

贡献

如果您有兴趣成为一个贡献者，也想参与到Sedna的代码开发中， 请查看CONTRIBUTING获取更多关于如何提交Patch和贡献的流程。

许可证

Sedna基于Apache 2.0许可证，查看LICENSE获取更多信息。