Sparkって何ですか？？

Question

PythonでSpark（Pyspark）というのが使えるようなのですが、
Sparkを使うとどんなメリットがあるのですか？
普通のPythonだとだめなのですか？

Comments

[1T2R3M4]

https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q13247391093

以下ご対応ください。
https://teratail.com/help#posted-otherservice

Answer 1

PySpark Documentation

PySpark is an interface for Apache Spark in Python. It not only allows you to write Spark applications using Python APIs, but also provides the PySpark shell for interactively analyzing your data in a distributed environment. PySpark supports most of Spark’s features such as Spark SQL, DataFrame, Streaming, MLlib (Machine Learning) and Spark Core.

ビッグデータを扱う際に使用されることの多い分散処理フレームワークです。
AWS等のクラウドでデータ分析や機械学習を行う際に使います。

Answer 2

Apache Sparkは、分散処理フレームワークです。

PySparkは、PythonからApache Sparkを使うためのモジュール(API)です。

NumpyがPythonからBLASを使うためのモジュールであり、mecab-python3がPythonからMecabを使うためのモジュールであるとの同じような関係です。

分散処理をやりたいのでなければ、PySparkを使う必要はありません。
現実問題として、PySparkを使うのは研究機関や大学などの計算機センターなので、そういうところで使う場合は計算センター管理者に質問してください。個人レベルでPySparkをつかうのはブルース・ウェインのような人以外にはいないでしょう。