python pandasによるxlsファイルの読み込みについて

Question

あるサイトからダウンロードしてきたxlsファイルがあり、それをpd.read_excelで読み込もうとしたところ、エラーで読み込めませんでした。解決策をご教示いただければ幸いです。

該当のソースコード

re = requests.get('http://****/hoge.xls')
output = open('hoge.xls', 'wb')
output.write(re.content)
output.close()

df = pd.read_excel('hoge.xls', sheet_name='aaa')

発生している問題・エラーメッセージ

unpack requires a buffer of 2 bytes

試したこと

df = xlrd.open_workbook('hoge.xls')

xlrd.open_workbookでも同じエラーが出ています。
同じサイトから別のxlsファイルをダウンロードし同じように読み込ませたところ、そちらはうまくいきました。
xlsファイルをexelで開いてみたところ、特におかしな部分は見当たらず、なぜこのファイルが読み込めないのかがわかりません。
解決策をご教示いただけますと幸いです。
よろしくお願い致します。

Comments

[toast-uz]

xlsが古いとこういうエラーが出るらしいので、とりあえずエラーが出るxlsをxlsxでセーブしてみて、そのxlsxではエラーが出ないことを確認ください。

[ta.eee]

ありがとうございます。
xlsをexcelで開いてxlsxでセーブし、pd.read_excelで読み込んだところ、おっしゃる通りエラーは出ず読み込めました。
サイトからDLするデータはxlsなので、xlsxに変換するライブラリなどありますでしょうか？
ご存知でしたら、ご教示いただけますと幸いです。
よろしくお願い致します。

Answer 1

ネット検索と質問者様でのテストによると、発生しているエラーは、エクセルファイルの形式が古いことが原因です。

参考
0. When opening xls file via read_excel, the error "struct.error: unpack requires a bytes object of length 2"
0. Python pandas cannot read old excel files with some strange encoding and split panes

参考2によると、pandasのread_excel()のデフォルトエンジンであるxlrdで対応していないフォーマットは、Excel2であり、なんとWindows2時代のものだそうです。今更Windwos2時代のファイルが残っていた可能性は少ないですが、参考2では「間違ってWindows2ヘッダを書き込むようなExcelファイル生成ツールがあったのでは」と推測しています。

対応はそれぞれです。

参考1は、Excelアプリのマクロで、自動的にファイルを読み込んで新たなフォーマットでファイル名を変えて保存することを繰り返すものです。マクロそのものも掲載されいていますが、質問者様にて作られた方が確実です。Excelには操作をレコーディングしてマクロとして生成する機能がありますので、それを使ってマクロを作り、出来上がったマクロを編集して、思ったような複数ファイルを繰り返し処理するようなものにするとよいと思います。

参考2は、xlrdそのものにパッチを当てるものです。xlrdバージョンも明記されていますので、質問者様が腕に覚えがありましたら、この方法も可能と思います。

Comments

[ta.eee]

詳しく書いていただき、ありがとうございました。なかなか難しそうですが、参考１を試してみようと思います。