社区动态
Pick of the Week'20 | 第 48 周看点--ARM64 可编译 NebulaGraph
每周五 Nebula 为你播报每周看点,每周看点由固定模块:本周新进 pr、社区问答、推荐阅读,和随机模块:本周大事件构成。
即将送走的是 2020 年第 48 个工作周的周五 🌝 许久不见,来和 Nebula 一块回顾下本周图数据库和 Nebula 有什么新看点~~
本周大事件
NebulaGraph Studio v2.0.0-alpha 支持使用 NebulaGraph v2.0.0 alpha 语法查询及可视化操作。 目前数据导入以及 schema 索引部分暂时未能兼容。后续会尽快优化补全支持。
本次活动你将了解到微众银行的 NebulaGraph 实践,360 的图数据库迁移史和 NebulaGraph 2.0 全面解读、DBaaS 服务解析。
产品动态
FIND PATH
支持正向、反向和双向查找路径,支持去除环路, 标签:nGQL
,pr 参见:https://github.com/vesoft-inc/nebula/pull/2398- 支持 ARM64 上编译 NebulaGraph,标签:
编译
,pr 参见:https://github.com/vesoft-inc/nebula/pull/2392
社区问答
Pick of the Week 每周会从官方论坛、微博、知乎、微信群、微信公众号及 CSDN 等渠道精选问题同你分享。
本周分享的主题来自社区用户 @xrfinbj,关于【Exchange 和 Spark Writer 什么关系?】
提问:Exchange 和 Spark Writer 什么关系? 一个代码来自 nebula/src/tools/spark-sstfile-generator 一个代码来自 nebula-java/tools/exchange NebulaGraph Exchange(简称为 Exchange)是一款 Apache Spark™ 应用,用于在分布式环境中将集群中的数据批量迁移到 NebulaGraph中,能支持多种不同格式的批式数据和流式数据的迁移。 Spark Writer 是 NebulaGraph 基于 Spark 的分布式数据导入工具,能够将多种数据仓库中的数据转化为图的点和边,并批量导入到图数据库中。
在 Spark 数据导入中的一些实践细节 这里说是同一个
Nebula:Exchange 是由 Spark Writer 迁移而来,且在 Spark Writer 的基础上提供了更丰富的数据源,如 MySQL、Neo4j、Hive、HBase、Kafka、Pulsar 等。
而且 Exchange 修复了关于 HDFS 文件导入时存在的数据类型与 Nebula Schema 数据类型不匹配的问题(如 HDFS 文件被 Spark 读成 DataFrame 时默认的数据类型均为 string,当 NebulaGraph 中 Schema 为 int、double 等类型时无法完成导入)。
后期的维护工作将集中在Exchange上。
建议利用 Spark 进行数据导入时使用 Exchange。
这里再提下文档里的注意点,文档里的 [TODO]
表示后期会在文档里补上这几个操作示例。Exchange 实际上已经具备了这些功能。使用 Exchange 从其他数据源迁移数据时,暂时可以参考 Neo4j 的操作示例:https://docs.nebula-graph.com.cn/nebula-exchange/use-exchange/ex-ug-import-from-neo4j/
推荐阅读
- 在 Spark 数据导入中的一些实践细节
- 推荐理由:本文主要从 Spark 导入出发,陆壬钾分享他在实践中对索引、集群冲突包等细节的处理方法。
- 往期 Pick of the Week
本期 Pick of the Week 就此完毕,喜欢这篇文章?来来来,给我们的 GitHub 点个 star 表鼓励啦~~ 🙇♂️🙇♀️ [手动跪谢]
交流图数据库技术?加入 Nebula 交流群请先填写下你的 Nebula 名片,Nebula 小助手会拉你进群~~