Apache Spark（spark.apache.org）作为一种快速和通用的大规模数据处理引擎已取得稳步进展。该引擎基于Scala实现，非常适合于那些在多并行操作之间重用数据工作集的应用程序。它即可以作为一个独立集群，也可以作为Hadoop的YARN集群的一部分来工作。它可以从不同的源来访问数据，比如 HDFS，Cassandra，S3 等。不仅如此，Spark还提供了许多更高级的操作符，以便简化数据并行应用程序的开发。作为一种通用的数据处理平台，它使许多更高级别的工具的开发成为可能，如交互式SQL（Spark SQL），实时流媒体（Spark Streaming），机器学习库（MLib），R-on-Spark等。
