Q&A
> jupiternotebook上で実行しようとすると
”何を”実行しようとしたのでしょうか？
pythonのライブラリであるPandasを使用して、webスクレイピング（HTML）を行おうとしています。
具体的には、pipでlmxlをインストールしているのですが、jupiternotebook上で実行しようとすると、"ImportError: lxml not found, please install it"と出てしまい、スクレイピングができません。
lmxlのインストールはVScode上で行っています。
どなたか解決していただけると幸いです。
よろしくお願いいたします。
> lmxlのインストールはVScode上で行っています
具体的にインストール方法を示してください．(他の内容も具体性が不足しており原因究明に至りません)
> pipでlmxlをインストールしている
> lmxlのインストールはVScode上で行っています。
と同じ状態で
pip show lxml
を実行してください
いろいろ表示される中に「Location:」で始まる行があるので、そこに書かれてるパスを記録してください
次に、jupyterで
> "ImportError: lxml not found, please install it"と出てしまい
の状態で、下記のpythonコードを実行してください
import sys
import pprint
pprint.pprint(sys.path)
たくさんパスが表示されますが、その中にpip show...で記録したパスが入ってますでしょうか？
入ってないとimportできません
ありがとうございます。
locationに表示されているパスが、import sys import pprint pprint.pprint(sys.path)で表示される結果に入っています。
しかしながら、依然として、エラーが表示されます。
何を実行して
> "ImportError: lxml not found, please install it"と出てしまい
となるのでしょうか？
url = "https://ja.wikipedia.org/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%AC%E3%83%99%E3%83%AB%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E4%B8%80%E8%A6%A7"
tables = pd.read_html(url)
を実行しようとして、上記のエラーが出ます。
lxmlのインストールもJupyter Notebook上でやるようにしてください．
Notebookのセルで
!pip install lxml
もしくは
!python -m pip install lxml
とすると良いでしょう．これでうまくいかないならPandasの再インストールがおすすめです．
VSCodeで動かされたPythonとJypyter Notebookで動かされたPythonが別物である可能性が高いです．
ありがとうございます。
Jupiternotebook上で実行してみましたが、同様のエラーが出ました。
→VSCodeで動かされたPythonとJypyter Notebookで動かされたPythonが別物である可能性が高いです．
こちらの文章の意味が理解できないのですが、説明していただけると幸いです。
>> VSCodeで動かされたPythonとJypyter Notebookで動かされたPythonが別物である可能性が高いです．
> こちらの文章の意味が理解できない
jupyterと、vs codeのpythonのそれぞれで、下記を実行して、それぞれで使ってるpythonの絶対パスを調べてください
import sys
print(sys.executable)
同じでしょうか？
> url = "https://ja.wikipedia.org/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%AC%E3%83%99%E3%83%AB%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E4%B8%80%E8%A6%A7"
tables = pd.read_html(url)
を実行しようとして、上記のエラーが出ます。
jupyterで
from lxml import etree
は実行できますか？
エラーになりますか？
エラーになる場合ですが、その時のエラーメッセージは下記と同じですか？
> "ImportError: lxml not found, please install it"
VSCodeで実行した
import sys
import pprint
pprint.pprint(sys.path)
と，Jupyter Notebokで実行した
import sys
import pprint
pprint.pprint(sys.path)
の出力が違う可能性がある．ということです．特にsite-packagesの場所が違うなら，インストール先のPythonと実行環境のPythonが別物であるということになります．
インストールはVSCodeで，実行はJupyterNBで，なら別々のPythonカーネルである可能性が捨てきれません．普通，同一のPythonカーネルでインストールも実行も行うものです．
実行をJupyterNBで行うとのことで，Notebookセルでのpip installをお願いしましたが，これでもエラーが出るならPandasの再インストール等の手法をとることになりそうです．
ありがとうございます。
まず、import sys
print(sys.executable)
の実行結果ですが、notebookの方では、末尾が/python3であったのに対して、VScodeでは、末尾がpythonという違いが発見できました。
from lxml import etree のnotebookでの実行結果ですが、何もnotebook上には表示されませんでした。
> from lxml import etree のnotebookでの実行結果ですが、何もnotebook上には表示されませんでした。
何も表示されないのは、エラーが出ずに実行できたということなので、おそらく「lxml」自体は使用可能です
なのに「pd.read_html(url)」はダメなのですね
ps_aux_grepさんも書いてるけど、pandasが怪しいかも
pythonは、何を使ってるのでしょうか？
公式版？
anaconda版？
それ以外？
pythonは公式版をインストールしました。
ならPandasの再インストールを試しましょう．
!python3 -m pip uninstall pandas -y
!python3 -m pip install pandas
この実行は、VXcode上でも構わないでしょうか？
念の為，両方でやってみましょうか．
ちなみに「VSCode上でやる」というのはVSCodeで開かれるターミナルで実行されるもので間違い無いですか？
jupyterで
print(sys.executable)
を実行して表示されたpythonの絶対パスを使うのが、確実です
調べた絶対パスが、たとえば
/aaa/bbb/python3
だとしたら、ターミナルで下記を実行します
(実行する際は、調べた実際のpythonのパスに置き換えてください)
/aaa/bbb/python3 -m pip uninstall pandas -y
/aaa/bbb/python3 -m pip install pandas --no-cache-dir
ありがとうございます。
/aaa/bbb/python3 -m pip uninstall pandas -y
/aaa/bbb/python3 -m pip install pandas --no-cache-dir
こちら、自分のパスに変えて実行完了しました。
この後どうしたら良いでしょうか？
すみません、pythonのダウンロードをhomebrew経由でpyenvというものを使ってダウンロードしていました。
次のコマンドを実行してください．
/aaa/bbb/python3 -c "import pandas as pd; pd.read_html('https://www.google.com')"
エラーが出ていなければ，そのPythonカーネルにlxmlおよびPandasが正常にインストールされて動いています．
このカーネルをJupyter Notebookの実行に使えば良いだけのことです．
> /aaa/bbb/python3 -m pip install pandas --no-cache-dir
こちら、自分のパスに変えて実行完了しました。
の「自分のパス」はjupyterで調べたpythonの絶対パスだから、上記でjupyterで使ってるpythonのpandasが再インストールされたはず
jupyterで下記を実行してみてください
「url」は違うWebページでもいいです
> url = "https://ja.wikipedia.org/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%AC%E3%83%99%E3%83%AB%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E4%B8%80%E8%A6%A7"
tables = pd.read_html(url)
> pythonのダウンロードをhomebrew経由でpyenvというものを使ってダウンロードしていました。
このやり方ですか？
https://zenn.dev/kenghaya/articles/9f07914156fab5
それともこのやり方ですか？
https://corgi-lab.com/programming/python/mac-pyenv-anaconda/
前者なら大丈夫です
後者ならanacondaが入ってるので、そこにpandasやlxmlをpipでインストールしたら、環境が壊れるかもしれません
皆さんありがとうございます。
VScode上でpythonの拡張機能を使って、notebookを使うことができました。
lxmlのインストールができ、スクレイピングまでできました。
しかしながら、スクレイピングしたものをCSVファイルにしようとすると、
（"df.to_csv("data/write_data.csv" を実行しようとした）
"Output exceeds the size limit, Open the full output data in a text editor "
と表示され、実行できません。
解決策がありましたら、ご教授いただきたいです。。
よろしくお願いいたします。
> スクレイピングしたものをCSVファイルにしようとすると、
は、この質問の
> "ImportError: lxml not found, please install it"と出てしまい、スクレイピングができません。
とは別内容なので、別の質問にしてください
> スクレイピングまでできました。
この質問の
> "ImportError: lxml not found, please install it"と出てしまい、スクレイピングができません。
が解決したのなら、どのようにしたのかを質問者さんが回答に書いて、「自己解決」にしてください
承知しました。
上記記述の繰り返しになってしまいますが、VScode上でpythonの拡張機能を使って、notebookを使うことができました。その上で、 lxmlのインストールができ、スクレイピングまでで完了しました。
皆さんにご指摘いただいた通り、異なるpythonを動かしていたのだろうと推測いたしました。
兎にも角にも解決いたしました。
本当にありがとうございました。
回答1件
0
自己解決
VScode上でpythonの拡張機能を使って、juiternotebookと接続することで、解決いたしました。
投稿2022/10/08 09:23
総合スコア3
あなたの回答
tips
プレビュー
