プログラムでAzure Blob s Storageにあるファイルの中身を読むには一旦ダウンロードするしかないのでしょうか？

Question

pythonのazure functionsでblob storageにあるファイルを読み込みたい(例えばテキストデータならば中身の文字列を、画像ならば画素値をプログラム中の変数に格納したい)のですが、それは可能なのでしょうか？
検索しても一旦ダウンロードしてファイルに書きこむ処理を行うプログラムしか出てきません。
変数に代入するにはダウンロードしてきたファイルを読むしかないのでしょうか

Answer 1

pythonのazure functionsでblob storageにあるファイルを読み込みたいのですが、それは可能なのでしょうか？

download_blob()のパラメータにoffsetがありますので、任意の位置から取得可能です。

テキストの場合

import os
from azure.storage.blob import BlobServiceClient

connect_str = os.getenv("AZURE_STORAGE_CONNECTION_STRING")
service = BlobServiceClient.from_connection_string(connect_str)
blob = service.get_blob_client(container="text", blob="hello.txt")
stream = blob.download_blob(offset=5)
text = stream.readall()
print(text)

画像の場合、フォーマットがありますので、結局全部ダウンロードする必要があります(offsetで途中から、のようなことは難しい)。ただしBytesIO等を使えばファイルに書き込む必要はありません。

import matplotlib.pyplot as plt
import os
from azure.storage.blob import BlobServiceClient
from PIL import Image
from io import BytesIO

connect_str = os.getenv("AZURE_STORAGE_CONNECTION_STRING")
service = BlobServiceClient.from_connection_string(connect_str)
blob = service.get_blob_client(container="pictures", blob="monalisa.jpg")
stream = blob.download_blob()
data = stream.readall()
img = Image.open(BytesIO(data))
plt.imshow(img)
plt.show()

[追記]
行いたい事はAzure Blob Storageをファイルシステムとしてマウントする方が近いかも知れません。マウントをするとローカルのディスクと同様にアクセスすることができます(ネットワークを経由する分遅くはなります)。

• Windows で Azure ファイル共有を使用する
• Linux で Azure Files を使用する
• macOS を使用して SMB 経由で Azure ファイル共有をマウントする

Comments

[abea]

ありがとうございます。
ちなみに任意の位置から読み込むことが可能とありますが、それだけでなく20行あるファイルの5行目から10行目を読み込むように指定することは可能なのでしょうか？

[yymmt]

そのような事をしたい場合は、改行をパースする必要がありますので、やはり全てをダウンロードする必要があります。上記の例でtextを取得した後
lines = StringIO(text.decode()).read().split("\n")
print(lines[5:11])
と2行追加すれば可能です。
もしかしたら、Azure Blob Storageをファイルシステムとしてマウントした方がやりたいことに近いかも知れません。それは別途回答欄に追記します。