scala

Apache Spark 3.0 GraphX编程指南

爱⌒轻易说出口 提交于 2020-10-10 12:56:04
学习地址: https://spark.apache.org/docs/latest/graphx-programming-guide.html 目录 总览 入门 属性图 属性图示例 图运算符 运营商摘要列表 物业经营者 结构算子 加盟运营商 邻里聚集 汇总消息(a​​ggregateMessages) Map Reduce三元组转换指南(旧版) 计算学位信息 收集邻居 缓存和取消缓存 Pregel API 图构建器 顶点和边缘RDD 顶点RDD 边缘RDD 优化表示 图算法 网页排名 连接的组件 三角计数 例子 总览 GraphX是Spark中用于图形和图形并行计算的新组件。在较高的层次上,GraphX 通过引入新的 Graph 抽象来扩展Spark RDD :一个有向多重图,其属性附加到每个顶点和边上。为了支持图计算,GraphX公开了一组基本的操作符(例如, 子图 , joinVertices 和 aggregateMessages ),以及所述的优化的变体 预凝胶 API。此外,GraphX包括越来越多的图形 算法 和 构建器 集合,以简化图形分析任务。 入门 首先,首先需要将Spark和GraphX导入项目,如下所示: import org.apache.spark._ import org.apache.spark.graphx._ // To make some of