Pick of the Week'20 | 第 43 周看点--20 fastest-growing OSS startups

清蒸
2020-10-23

每周看点

每周五 Nebula 为你播报每周看点,每周看点由固定模块:本周新进 pr、社区问答、推荐阅读,和随机模块:本周大事件构成。

即将送走的是 2020 年第 43 个工作周的周五 🌝 许久不见,来和 Nebula 一块回顾下本周图数据库和 Nebula 有什么新看点~~

本周大事件

每周看点

在榜单上,Nebula Graph 研发商 vesoft 凭借 4.5K stars、351% AGR 的成绩位列第八 👏👏,具体的排名可以阅读下 Medium 报告:https://medium.com/runacapital/open-source-growth-benchmarks-extention-the-ross-index-and-the-fastest-growing-startups-in-q3-2020-7aee7fa7eed7

每周看点

在十月排名中,Nebula Graph 上升一名 👏 目前位列 18,而 Top10 的排名较上月变化不大。

产品动态

每周看点

每周看点

在本次更新中,Studio 发布了一个新功能:可视化的 Schema 管理。自此,在 Studio 上,无需记忆 nGQL 语法即可直接创建适用于 Nebula Graph 的图数据 Schema,方便快捷。

社区问答

Pick of the Week 每周会从官方论坛、微博、知乎、微信群、微信公众号及 CSDN 等渠道精选问题同你分享。

本周分享的主题来自社区用户 @caoxiaoyuan7242,关于 【新集群恢复快照】

提问:请问创建好快照之后,如何在一个新集群里恢复快照数据呢?快照文件需要复制到集群的哪个文件夹下呢?

Nebula:创建好快照后,可看到快照目录中的文件结构和原始数据目录中的文件结构相同,由此可知,其实可以认为快照就是原始文件的一个备份。如果想要通过所创建的 checkpoint 恢复 nebula 集群,这里有两个建议: 1,修改原始集群的配置,将 data_path 指向新 checkpoint 的目录; 2,不改变集群配置,写 shell 脚本,用 checkpoint 的数据替换原始的 data。如果需要复现集群数据损坏的问题,请保留原始 data。

追问:万分感谢,还有另外一个疑问,假如我有一个主备集群,备集群的集群组成和主集群不一致(例如主机群 5 台 storage 机器,从集群只有四台)请问这种情况下备集群能用主集群的快照数据复制主集群数据么?

Nebula:在原则上是不可以的,需要保证主备集群的架构一致。因为主备集群的架构如果不一致的话,可能存在数据丢失的问题。举一个简单的例子,例如我们的 space 创建备划分为了 5 partition 1 replica, 这样的话如果备集群是 4 个机器,那肯定会丢失一个 part 的数据。还可能会出现其它适配的问题。所以建议在恢复的过程中要确保主备集群架构一致。

追问:好的,感谢,我们的初衷是想在线下先构建好图以后再去把线下快照数据推到线上,线下机器不想完全和线上一直,这样看的话线下的集群配置得是和线上集群一样才行了

Nebula:最好是一致的,我猜测您的业务之所以这么做,是想高效的 load 线上数据,对吗? 如果数据预备集群的节点少于线上集群的节点,即使不出适配性的问题,那切换快照之后系统也会做一个存储节点间 partition 的 Balance 的操作,这个操作也会耗费系统资源。会拉低整个 checkpoint 切换的效率,我感觉得不偿失。

追问:再咨询一下,如果我把主集群里的每台机器的/data目录下的所有文件都拷贝到对应的从集群,而不是利用快照信息,这种方式是不是也可以完成数据的迁移呢

Nebula:是的,拷贝原始 data 目录也是可以的。其实 checkpoint 的实现机制是为数据文件创建 hard link,这个 hard link 的优势就是在相同文件系统下不会占用太多的存储空间,因此本地系统上以 hard link 机制创建 checkpoint 的话,无论是存储空间还是备份性能都有很大的优势。

在您的业务中,其实是将 checkpoint 拷贝到了另一个系统中,这样的话其实和直接拷贝数据文件没有太大的区别。

另外,如果您想直接拷贝数据文件的话,需要确保一件事情,那就是在拷贝的过程中,避免源集群发生写操作。

推荐阅读

本期 Pick of the Week 就此完毕,喜欢这篇文章?来来来,给我们的 GitHub 点个 star 表鼓励啦~~ 🙇‍♂️🙇‍♀️ [手动跪谢]

交流图数据库技术?交个朋友,Nebula Graph 官方小助手微信:NebulaGraphbot 拉你进交流群~~

关注公众号

你喜欢这篇文章吗? 喜欢的话,给我们点个 star 吧: https://github.com/vesoft-inc/nebula
欢迎来到 Nebula Graph!有什么可以帮您的吗?