社区动态
Pick of the Week'20 | 第 38 周看点--数据导入的配置建议
每周五 Nebula 为你播报每周看点,每周看点由固定模块:本周新进 pr、社区问答、推荐阅读,和随机模块:本周大事件构成。
即将送走的是 2020 年第 38 个工作周的周五 🌝 来和 Nebula 一块回顾下本周图数据库和 Nebula 有什么新看点~~
本周大事件
图数据在社交推荐、实时计算、风控和安全等领域有可期待的前景。如何用图数据库高效存储和查询大规模异构图数据,是一个重大挑战。
为大众所熟知的图数据库大多在大数据集合上束手无策,如:广泛应用于图谱领域的 Neo4j 社区版本,却由单机单副本提供服务。JanusGraph 虽然通过外置元数据管理、kv 存储和索引的方式解决了大数据集合存储问题,但其存在广为诟病的性能问题。
面临大数据量挑战的互联网公司,如何解决图数据库的挑战呢?在本次直播中,微信团队的高级工程师李本利将和你分享下他的实践。
- 【版本预告】下周发布 NebulaGraph v1.1
本周新进 pr
本周 NebulaGraph 主要有这些产品动态和新合并的 pr:
- 不再支持 string index range 查询,需要等值匹配;
LOOK UP
的 where 条件判断里有 string 类型的属性,条件判断需要匹配索引的全部 columns,pr 参见:https://github.com/vesoft-inc/nebula/pull/2283、https://github.com/vesoft-inc/nebula/pull/2277 - 修复在 job manager 初始化前停掉 meta 服务可能会导致 meta core 的问题,pr 参见:https://github.com/vesoft-inc/nebula/pull/2332
- 修改了 raft 相关逻辑,当选举失败后,会增加延时,确保同一时间只有一个 election request,pr 参见:https://github.com/vesoft-inc/nebula/pull/2305
社区问答
Pick of the Week 每周会从官方论坛、微博、知乎、微信群、微信公众号及 CSDN 等渠道精选问题同你分享。
本周分享的主题来自社区用户 nicole,关于【Spark Writer 配置建议】
#Spark Writer 配置建议#
利用 Spark 进行数据导入前,要进行 application.conf 的配置。
- 建议丰富配置文件的注释说明,全部配置给出,但存在默认值的配置项可注释掉并给出说明,比如 Spark 相关的配置。
- 对于 tags 和 edges 的字段映射配置,关于 fields 配置项,是否可增加源数据字段和 nebula 图中属性字段的同名映射配置?当有 tag 或者 edge 有 50+ 属性时,采用同名映射就可以减少很多 fields 的配置。**
推荐阅读
- Neo4j 导入 NebulaGraph 的实现原理与实践
- 推荐理由:在本文中你将了解基于 Spark 的数据导入工具 NebulaGraph Exchange 的实现原理及相关的数据导入实践。
- NebulaGraph Cloud Service Trial 公测
- 推荐理由:目前试用版本将能快速创建 NebulaGraph的服务,并利用提供的可视化工具进行在线体验。
- 往期 Pick of the Week
本期 Pick of the Week 就此完毕,喜欢这篇文章?来来来,给我们的 GitHub 点个 star 表鼓励啦~~ 🙇♂️🙇♀️ [手动跪谢]
交流图数据库技术?加入 Nebula 交流群请先填写下你的 Nebula 名片,Nebula 小助手会拉你进群~~