社区动态
Pick of the Week'20 | 第 43 周看点--20 fastest-growing OSS startups
每周五 Nebula 为你播报每周看点,每周看点由固定模块:本周新进 pr、社区问答、推荐阅读,和随机模块:本周大事件构成。
即将送走的是 2020 年第 43 个工作周的周五 🌝 许久不见,来和 Nebula 一块回顾下本周图数据库和 Nebula 有什么新看点~~
本周大事件
在榜单上,NebulaGraph 研发商 Vesoft Inc. 凭借 4.5K stars、351% AGR 的成绩位列第八 👏👏,具体的排名可以阅读下 Medium 报告:https://medium.com/runacapital/open-source-growth-benchmarks-extention-the-ross-index-and-the-fastest-growing-startups-in-q3-2020-7aee7fa7eed7
在十月排名中,NebulaGraph 上升一名 👏 目前位列 18,而 Top10 的排名较上月变化不大。
产品动态
在本次更新中,Studio 发布了一个新功能:可视化的 Schema 管理。自此,在 Studio 上,无需记忆 nGQL 语法即可直接创建适用于 NebulaGraph 的图数据 Schema,方便快捷。
社区问答
Pick of the Week 每周会从官方论坛、微博、知乎、微信群、微信公众号及 CSDN 等渠道精选问题同你分享。
本周分享的主题来自社区用户 @caoxiaoyuan7242,关于 【新集群恢复快照】
提问:请问创建好快照之后,如何在一个新集群里恢复快照数据呢?快照文件需要复制到集群的哪个文件夹下呢?
Nebula:创建好快照后,可看到快照目录中的文件结构和原始数据目录中的文件结构相同,由此可知,其实可以认为快照就是原始文件的一个备份。如果想要通过所创建的 checkpoint 恢复 nebula 集群,这里有两个建议: 1,修改原始集群的配置,将 data_path 指向新 checkpoint 的目录; 2,不改变集群配置,写 shell 脚本,用 checkpoint 的数据替换原始的 data。如果需要复现集群数据损坏的问题,请保留原始 data。
追问:万分感谢,还有另外一个疑问,假如我有一个主备集群,备集群的集群组成和主集群不一致(例如主机群 5 台 storage 机器,从集群只有四台)请问这种情况下备集群能用主集群的快照数据复制主集群数据么?
Nebula:在原则上是不可以的,需要保证主备集群的架构一致。因为主备集群的架构如果不一致的话,可能存在数据丢失的问题。举一个简单的例子,例如我们的 space 创建备划分为了 5 partition 1 replica, 这样的话如果备集群是 4 个机器,那肯定会丢失一个 part 的数据。还可能会出现其它适配的问题。所以建议在恢复的过程中要确保主备集群架构一致。
追问:好的,感谢,我们的初衷是想在线下先构建好图以后再去把线下快照数据推到线上,线下机器不想完全和线上一直,这样看的话线下的集群配置得是和线上集群一样才行了
Nebula:最好是一致的,我猜测您的业务之所以这么做,是想高效的 load 线上数据,对吗? 如果数据预备集群的节点少于线上集群的节点,即使不出适配性的问题,那切换快照之后系统也会做一个存储节点间 partition 的 Balance 的操作,这个操作也会耗费系统资源。会拉低整个 checkpoint 切换的效率,我感觉得不偿失。
追问:再咨询一下,如果我把主集群里的每台机器的/data目录下的所有文件都拷贝到对应的从集群,而不是利用快照信息,这种方式是不是也可以完成数据的迁移呢
Nebula:是的,拷贝原始 data 目录也是可以的。其实 checkpoint 的实现机制是为数据文件创建 hard link,这个 hard link 的优势就是在相同文件系统下不会占用太多的存储空间,因此本地系统上以 hard link 机制创建 checkpoint 的话,无论是存储空间还是备份性能都有很大的优势。
在您的业务中,其实是将 checkpoint 拷贝到了另一个系统中,这样的话其实和直接拷贝数据文件没有太大的区别。
另外,如果您想直接拷贝数据文件的话,需要确保一件事情,那就是在拷贝的过程中,避免源集群发生写操作。
推荐阅读
- 主流开源分布式图数据库 Benchmark
- 推荐理由:选型一款能够满足美团实际业务需求的图数据库产品,是建设图存储和图学习平台的基础。在本文中美团 NLP 团队对主流的几款图数据库就【数据导入】、【数据写入】、【数据查询】作了评测
- 往期 Pick of the Week
本期 Pick of the Week 就此完毕,喜欢这篇文章?来来来,给我们的 GitHub 点个 star 表鼓励啦~~ 🙇♂️🙇♀️ [手动跪谢]
交流图数据库技术?加入 Nebula 交流群请先填写下你的 Nebula 名片,Nebula 小助手会拉你进群~~