1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/cocalele-rocksdb

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
USERS.md 20 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
Отправлено 03.03.2025 15:56 635da6e

Документ представляет список пользователей RocksDB и их сценариев использования. Если вы используете RocksDB, пожалуйста, откройте pull request и добавьте себя в этот список.

Facebook

Facebook использует RocksDB как хранилище данных в нескольких сервисах управления данными и в качестве серверной части многих различных состоятельных сервисов, включая:

  1. MyRocks — https://github.com/MySQLOnRocksDB/mysql-5.6
  2. MongoRocks — https://github.com/mongodb-partners/mongo-rocks
  3. ZippyDB — распределенная система хранения ключ-значение от Facebook со стилизованным репликацией Paxos, основанная на RocksDB.[1] https://www.youtube.com/watch?v=DfiN7pG0D0k
  4. Laser — высокопроизводительный сервис хранения ключ-значение с низкими задержками (в миллисекундах), основанный на RocksDB.[1]
  5. Dragon — распределенный движок запросов графа. https://code.facebook.com/posts/1737605303120405/dragon-a-distributed-graph-query-engine/
  6. Stylus — базовый фреймворк потоковой обработки данных, написанный на C++. [1]
  7. LogDevice — распределенное хранилище логов [2]

[1] https://research.facebook.com/publications/realtime-data-processing-at-facebook/

[2] https://code.facebook.com/posts/357056558062811/logdevice-a-distributed-data-store-for-logs/

Bilibili

Bilibili использует Alluxio для ускорения своих рабочих нагрузок машинного обучения, а Alluxio использует RocksDB для хранения метаданных файловой системы, поэтому Bilibili использует RocksDB.

Реальное время платформа Bilibili использует Flink и RocksDB как хранилище состояния Flink.

TikTok

TikTok или его родительская компания ByteDance используют RocksDB как хранилище данных для некоторых систем хранения, таких как распределенная база данных графа ByteGraph.

Кроме того, TikTok использует Alluxio для ускорения запросов Presto, а Alluxio хранит метаданные файлов в RocksDB.

FoundationDB

FoundationDB использует RocksDB для реализации интерфейса хранилища ключ-значение в своей серверной части.

Apple

Apple использует FoundationDB, поэтому она также использует RocksDB.

Snowflake

Snowflake использует FoundationDB, поэтому она также использует RocksDB.

Microsoft

Поиск Bing от Microsoft использует RocksDB как хранилище данных для своего веб-платформы данных: https://blogs.bing.com/Engineering-Blog/october-2021/RocksDB-in-Microsoft-Bing

LinkedIn

LinkedIn использует RocksDB как хранилище данных для двух разных случаев применения:

  1. Хранилище активностей пользователей в следующем фиде LinkedIn. Подробнее здесь: https://engineering.linkedin.com/blog/2bkj/followfeed--linkedin-s-feed-made-faster-and-smarter
  2. Apache Samza, открытый фреймворк для потоковой обработки данных

Узнайте больше о этих случаях применения на Tech Talk Анкита Гупты и Навеена Сомасундарама: http://www.youtube.com/watch?v=plqVp_OnSzg

Yahoo

Yahoo использует RocksDB как хранилище данных для своего крупнейшего распределенного хранилища данных Sherpa. Узнайте больше здесь: http://yahooeng.tumblr.com/post/120730204806/sherpa-scales-new-heights

Tencent

PaxosStore — это распределенная база данных, поддерживающая WeChat. Она использует RocksDB как свое хранилище данных.

Baidu

Apache Doris — это аналитическая база данных MPP, выпущенная Baidu. Она использует RocksDB для управления метаданными табличных данных.

CockroachDB

CockroachDB — это открытая база данных транзакций географически распределенной. Они используют RocksDB как свое хранилище данных. Посмотрите их GitHub: https://github.com/cockroachdb/cockroach

DNANexus

DNANexus использует RocksDB для ускорения обработки данных геномики. Вы можете узнать больше из этого блога Майкла Лин: http://devblog.dnanexus.com/faster-bam-sorting-with-samtools-and-rocksdb/

Iron.io

Iron.io использует RocksDB как хранилище данных для своего распределенного системы очередей. Узнайте больше из Tech Talk Ред Аллмана: http://www.youtube.com/watch?v=HTjt6oj-RL4

Tango Me

Tango использует RocksDB как хранилище графа для хранения всех данных соединений пользователей и других данных социальной активности.

Turn

Turn использует RocksDB как слой хранения для своего ключ-значение хранилища, которое обслуживает до 2,4 миллионов запросов в секунду во время пиковых нагрузок из разных центров данных. Просмотрите наш оператор объединения протокола RocksDB здесь: https://github.com/vladb38/rocksdb_protobuf

Santander UK/Cloudera Profession Services

Просмотрите их блог: http://blog.cloudera.com/blog/2015/08/inside-santanders-near-real-time-data-ingest-architecture/

Airbnb

Airbnb использует RocksDB как хранилище данных для своего персонализированного сервиса поиска. Вы можете узнать больше об этом здесь: https://www.youtube.com/watch?v=ASQ6XMtogMs

Alluxio

Alluxio использует RocksDB для обслуживания и масштабирования метаданных файловой системы более чем до одного миллиарда файлов. Подробное описание дизайна и реализации представлено в этом блоге инженера: https://www.alluxio.io/blog/scalable-metadata-service-in-alluxio-storing-billions-of-files/

Pinterest

Система Pinterest для получения объектов использует RocksDB для хранения данных: https://www.youtube.com/watch?v=MtFEVEs_2Vo

Smyte

Smyte использует RocksDB как слой хранения для своего ключ-значение хранилища, высокопроизводительных счетчиков и служб HyperLogLog с окном времени.

Rakuten Marketing

Rakuten Marketing использует RocksDB как диск кэширующий слой для реального времени службы.1. MyRocks——https://github.com/MySQLOnRocksDB/mysql-5.6 2. MongoRocks——https://github.com/mongodb-partners/mongo-rocks 3. ZippyDB——Facebook的一个分布式键值存储系统,具有类似Paxos风格的复制功能,基于RocksDB构建。[1] https://www.youtube.com/watch?v=DfiN7pG0D0k 4. Laser——这是一个高查询吞吐量、低(毫秒)延迟的关键值存储服务,基于RocksDB构建。[1] 5. Dragon——一个分布式的图查询引擎。https://code.facebook.com/posts/1737605303120405/dragon-a-distributed-graph-query-engine/ 6. Stylus——一个用C++编写的底层流处理框架。[1] 7. LogDevice——一个用于日志的分布式数据存储系统。[2]

[1] https://research.facebook.com/publications/realtime-data-processing-at-facebook/

[2] https://code.facebook.com/posts/357056558062811/logdevice-a-distributed-data-store-for-logs/

Bilibili

Bilibili 使用Alluxio来加速其机器学习训练工作负载,而Alluxio使用RocksDB来存储文件系统的元数据,因此Bilibili也使用了RocksDB。

Bilibili的实时平台使用Flink,并且使用RocksDB作为Flink的状态存储。

TikTok

TikTok或其母公司字节跳动使用RocksDB作为某些存储系统的存储引擎,例如其分布式图形数据库ByteGraph

此外,TikTok还使用Alluxio来加快Presto查询的速度,而Alluxio则使用RocksDB来存储文件的元数据。

FoundationDB

FoundationDB 使用RocksDB在其服务器后端实现了一个key-value存储接口

Apple

苹果公司使用FoundationDB,所以它也使用RocksDB。

Snowflake

Snowflake使用FoundationDB,所以它也使用RocksDB。

Microsoft

微软公司的必应搜索引擎使用RocksDB作为其网络数据平台的存储引擎:https://blogs.bing.com/Engineering-Blog/october-2021/RocksDB-in-Microsoft-Bing

LinkedIn

LinkedIn有两个不同的应用案例都在使用RocksDB作为存储引擎:

  1. LinkedIn的跟随动态流,用于存储用户的活动。详情请参阅博客文章: https://engineering.linkedin.com/blog/2016/03/followfeed--linkedin-s-feed-made-faster-and-smarter
  2. Apache Samza,开源流处理框架

了解更多关于这些应用场景的信息,请观看Ankit Gupta和Naveen Somasundaram的技术讲座: http://www.youtube.com/watch?v=plqVp_OnSzg

Yahoo

雅虎正在将其最大的分布式数据存储Sherpa作为RocksDB的存储引擎使用。更多相关信息请点击这里: http://yahooeng.tumblr.com/post/120730204806/sherpa-scales-new-heights

Tencent

PaxosStore 是支持微信的分布式数据库。它使用RocksDB作为其存储引擎。

Baidu

Apache Doris 是百度发布的MPP分析型数据库引擎。它使用RocksDB 来管理其表元数据。

CockroachDB

CockroachDB是一个开源的地理分布式事务性数据库。他们使用RocksDB作为他们的存储引擎。更多信息请查看GitHub:https://github.com/cockroachdb/cockroach

DNANexus

DNANexus使用RocksDB来加速基因组数据的处理。 您可以在Mike Lin的这篇博文中了解更多信息:http://devblog.dnanexus.com/faster-bam-sorting-with-samtools-and-rocksdb/

Iron.io

Iron.io使用RocksDB作为其分布式队列系统的存储引擎。 更多信息请观看Reed Allman的技术讲座:http://www.youtube.com/watch?v=HTjt6oj-RL4

Tango Me

Tango使用RocksDB作为图存储来存储所有用户连接的数据和其他社交活动数据。

Turn

Turn使用RocksDB作为其键值存储层,在高峰期每秒可处理高达240万次查询,来自不同的数据中心。 有关我们的RocksDB Protobuf合并操作员,请访问:https://github.com/vladb38/rocksdb_protobuf

Santander UK/Cloudera Professional Services

请查阅他们的博文:http://blog.cloudera.com/blog/2015/08/inside-santanders-near-real-time-data-ingest-architecture/

Airbnb

Airbnb使用RocksDB作为个性化搜索服务的存储引擎。您可以在这里了解更多:https://www.youtube.com/watch?v=ASQ6XMtogMs

Alluxio

Alluxio 使用RocksDB为超过十亿个文件提供可扩展的文件系统元数据服务。详细设计和实施描述见此工程博客: https://www.alluxio.io/blog/scalable-metadata-service-in-alluxio-storing-billions-of-files/

Pinterest

Pinterest的对象检索系统使用RocksDB进行存储:https://www.youtube.com/watch?v=MtFEVEs_2Vo

Smyte

Smyte 使用RocksDB作为核心键值存储层,高性能计数器和服务时间窗口HyperLogLog的服务。

Rakuten Marketing

Rakuten Marketing 使用RocksDB作为其实时出价服务的磁盘缓存层。

VWO, Wingify

VWO 的智能代码检查器和URL助手使用RocksDB来存储所有安装VWO智能代码的网址。

QuasarDB

QuasarDB 是一款高性能、分布式、事务性的键值数据库,与内存分析引擎如Apache Spark集成良好。 QuasarDB使用高度调优过的RocksDB作为持久层。

Netflix

Netflix 使用AWS EC2实例上的本地SSD驱动器来缓存应用程序数据。

TiKV

TiKV 是一款地理位置复制的、高性能、分布式、事务性的键值数据库。TiKV由Rust和Raft驱动。TiKV使用RocksDB作为其持久层。

TiDB

TiDB 使用TiKV分布式键值数据库,因此它也使用RocksDB。

PingCAP

PingCAP 是TiDB背后的公司,它的云数据库服务使用RocksDB。

Apache Spark

Spark结构化流处理 使用RocksDB作为本地状态存储。

Databricks

Databricks 替换AWS RDS以提高可伸缩性,因此它使用RocksDB。

Apache Flink

Apache Flink 使用RocksDB在机器上存储状态。

Dgraph

Dgraph 是一个开源、可扩展、分布式的低延迟、高吞吐量图数据库。它们使用RocksDB在机器上存储状态。

Uber

Uber 使用RocksDB作为一个耐用且可扩展的任务队列。

360 Pika

360 Pika 是一个兼容Redis的NoSQL数据库。由于存储了大量的数据,Redis可能会遇到容量瓶颈,而Pika就是为了解决这个问题而诞生的。它已经被广泛应用于许多公司。

LzLabs

LzLabs使用RocksDB作为其多数据库分布式框架中的存储引擎,用于存储应用程序配置和用户数据。

ProfaneDB

ProfaneDB 是一个Protocol Buffers数据库,使用RocksDB进行存储。它可以使用gRPC访问,并通过直接.proto文件定义模式。

IOTA基金会

IOTA基金会IOTA参考实现(IRI) 中使用RocksDB来存储Tangle的本地状态。Tangle是第一个开源分布式账本,为物联网的未来提供动力。

Avrio项目

Avrio项目Avrio中使用RocksDB来存储区块、账户余额及数据等区块链相关数据。Avrio是一款多区块链去中心化的加密货币,赋能金融交易。

Crux

Crux 是一个文档数据库,使用RocksDB进行本地EAV索引存储,以便执行点对时间双临时Datalog查询。“解绑”架构使用Kafka提供水平扩展能力。

Nebula Graph

Nebula Graph 是一款分布式、可扩展、闪电般快速的开源图数据库,能够托管数十亿节点和万亿条边的大规模图,同时保持毫秒级延迟。

YugabyteDB

YugabyteDB — это открытая высокопроизводительная распределенная база данных SQL, использующая RocksDB в качестве своего уровня хранения. Для получения более подробной информации обратитесь к https://github.com/yugabyte/yugabyte-db/.

ArangoDB

ArangoDB — это нативная многомодельная база данных с гибкими моделями данных для документов, графиков и ключевых значений, предназначенная для создания приложений с высокой производительностью с использованием удобного языка запросов, похожего на SQL, или расширений на JavaScript. Она использует RocksDB как свой движок хранения.## Qdrant Qdrant — это открытое программное обеспечение для векторной базы данных, которое использует RocksDB в качестве своего постоянного хранилища.

Milvus

Milvus — это открытое программное обеспечение для векторной базы данных для неструктурированных данных. Оно использует RocksDB не только как один из поддерживаемых уровней хранения ключей-значений, но также как очередь сообщений.

Kafka

Kafka — это открытое программное обеспечение для распределённой системы потока событий, которая использует RocksDB для хранения состояния в Kafka Streams: https://www.confluent.io/blog/how-to-tune-rocksdb-kafka-streams-state-stores-performance/.

Solana Labs

Solana — это быстрый, безопасный, масштабируемый и децентрализованный блокчейн. Он использует RocksDB в качестве основного уровня хранения для своего журнала.

Apache Kvrocks

Apache Kvrocks — это открытое программное обеспечение для распределённой базы данных ключей-значений NoSQL, основанное на RocksDB. Оно служит экономически выгодной и увеличивающей емкость альтернативой заменяемому Redis.

Другие

Более подробная информация о других базах данных, использующих RocksDB, доступна на dbdb.io.

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/cocalele-rocksdb.git
git@api.gitlife.ru:oschina-mirror/cocalele-rocksdb.git
oschina-mirror
cocalele-rocksdb
cocalele-rocksdb
pureflash-aof-v8.10