レンタルサーバーでスクレイピングしたデータをCSVを作成したい

Question

実現したいこと

Pythonを使用してスクレイピングを行っています。
当初はローカルで行っていましたが、実行する回数が多くなったので、レンタルサーバーを使用して自動実行することを考えています。
スクレイピング自体はできたのですが、そもそものデータ書き出し方法がわかりません。
他者様のブログなどを参照に、テキストファイルをFTPでアップロードする方法まではできました。

ですが、現行の方法だと書き込み方法があまりスマートではなく、ファイルもテキストファイルではなくCSVファイルの保存を行いたいと思います。（初心者なので標準のCSVモジュールを使用して簡潔に実行できればと思っています。）
なお、最終的にはメールでcsvファイルを送信したいと考えています。

対応方法や下記コードの指摘等あればご教示ください。よろしくお願いいたします。

該当のソースコード

スクレイピングはできている前提で、ここではリストをテキストファイルを書き出してFTPへ保存するコードを掲載します。これは正常に動くことは確認できました。

import itertools
import ftplib
import io


# 書き込むデータ
data = [['a','A'], ['b', 'B'], ['c', 'C']]

# 1行の文字列に
row = []
for d in data:
    row.append(d[0] + ',' +d[1] + '\n')

line = ''.join(list(itertools.chain.from_iterable(row)))

# 書き込み
f = io.BytesIO(bytes(line, encoding="utf-8"))

# ftpの接続
ftp_host = 'xxxxxx.sakura.ne.jp'
ftp_pass = 'xxxxxx'
ftp_user = 'xxxxxx'

ftp = ftplib.FTP(ftp_host)
ftp.set_pasv("True")

ftp.login(ftp_user, ftp_pass)
ftp.cwd('/home/xxxxxx/xxxxxx/xxxxxx')

ftp.storbinary('STOR /home/xxxxx/xxxxx/xxxxxx/test.txt',f)

ftp.close()

補足情報（FW/ツールのバージョンなど）

レンタルサーバー：さくらのレンタルサーバ スタンダード
Python3.7

Comments

[otn]

何をしたいのか、質問文から読み取れません。
さくらサーバーにftpでputするコードのようなので、ローカルでスクレイピングして作成したデータをさくらサーバーにアップロードしたいと言うことなのでしょうか？

[akira111]

説明不足ですみません。
サーバー上でスクレイピング（CRONを設定し自動実行）したデータをcsvに書き込んでFTPにアップロードしたいという意味です。
ローカルではcsvモジュールやpandasなどを利用してすぐにcsvファイルを作成できるのですが、サーバー上ではどのように実現すればよいか解らず困っています。
最終的にはメール送信したいので、必ずFTPを使用したいというものではありません。

Answer 1

FTPサーバーとスクレイピングしているサーバーは別なのでしょうか？
同じならFTPを経由する利点はどんなものがあるのでしょうか？

スクレイピングしたデータをCSV化する機能は、同一コードで行けそうです。ローカルPC環境でもサーバーPC環境でもOSの差異によって多少変化するかもしれませんが、ライブラリが吸収してくれそうです。

CSV化後に直接mail系のライブラリを使って送信するのが良い気がします。
レンタルサーバーならSMTPサーバ機能はついていると思いますので、emailパッケージが使えそうです。

Comments

[akira111]

「ローカルPC環境でもサーバーPC環境でも…、ライブラリが吸収してくれそうです。」という、とても腑に落ちるコメントをヒントに解決できました。
with open…で作成するcsvファイルはどこかに保存しないと、その後のメールでも添付できないと誤った認識でおりました。同一コード内で処理すれば、そのまま添付できたのですね。
さきほど、emailパッケージの部分も作成し、無事自分のメールアドレスへ意図するファイルが到着いたしました。
この度はありがとうございました。