Spark向量
Spark是一个快速通用的大规模数据处理引擎，它可以处理各种大数据任务。其中，Spark的机器学习库MLlib提供了一套强大的向量操作API，即Spark向量。
Spark向量是MLlib库中最常用的数据结构之一，它可以表示各种类型的数据，例如数字、字符串等。在机器学习任务中，输入数据通常被表示为向量的形式，而Spark向量提供了便捷的操作方法。
创建Spark向量
Spark向量可以通过DenseVector和SparseVector两种类型来创建。
DenseVector是一种密集型向量，它表示一个具有连续性特征的数据集。创建方式如下：
from pyspark.ml.linalg import DenseVector
dv = DenseVector([1, 2, 3, 4, 5])SparseVector是一种稀疏型向量，它表示一个具有间隔性特征的数据集。创建方式如下：
from pyspark.ml.linalg import SparseVector
sv = SparseVector(5, [0, 2, 4], [1.0, 2.0, 3.0])这里的参数5指向量的长度，[0, 2, 4]表示向量中的非零值的位置，[1.0, 2.0, 3.0]表示向量中的非零值。
Spark向量操作
常见的Spark向量操作包括向量加减、向量内积、向量点乘、向量范数等。
向量加减：
from pyspark.ml.linalg import Vectors
v1 = Vectors.dense([1, 2, 3])
v2 = Vectors.dense([4, 5, 6])
result1 = v1 + v2
result2 = v1 - v2向量内积：
from pyspark.ml.linalg import Vectors
v1 = Vectors.dense([1, 2, 3])
v2 = Vectors.dense([4, 5, 6])
result = v1.dot(v2)向量点乘：
from pyspark.ml.linalg import Vectors
v1 = Vectors.dense([1, 2, 3])
v2 = Vectors.dense([4, 5, 6])
result = v1 * v2向量范数：
from pyspark.ml.linalg import Vectors
v = Vectors.dense([1, 2, 3])
result = Vectors.norm(v, 2.0)Spark向量化特征
在机器学习任务中，特征通常以向量的形式表示。通过Spark向量，可以将输入的各种不同类型的特征向量化。
例如，假设有一组输入特征，包括数字类型的特征（age）、二进制类型的特征（gender）、字符串类型的特征（education）等。可以将这些特征转化为Spark向量的形式：
from pyspark.ml.feature import VectorAssembler
dataset = spark.createDataFrame([
(0, 18, 0, "Bachelor"),
(1, 25, 1, "Master"),
(2, 40, 0, "PhD")
], ["id", "age", "gender", "education"])
assembler = VectorAssembler(
inputCols=["age", "gender", "education"],
outputCol="features")
output = assembler.transform(dataset)
output.show()这里的VectorAssembler会将输入的特征以Spark向量的形式输出到指定的输出列中（这里是"features"）。输出的结果如下：
+---+---+------+---------+-----------------+
| id|age|gender|education| features|
+---+---+------+---------+-----------------+
| 0| 18| 0| Bachelor|[18.0,0.0,0.0,1.0]|
| 1| 25| 1| Master|[25.0,1.0,1.0,0.0]|
| 2| 40| 0| PhD|[40.0,0.0,0.0,0.0]|
+---+---+------+---------+-----------------+总结
Spark向量是一种强大的数据结构，可以方便地表示各种类型的数据，并提供了便捷的操作方法。在机器学习任务中，Spark向量可以用于向量化输入特征。掌握了Spark向量的操作方法，可以更加高效地完成数据处理任务。
