pythonによるURL機械学習

Question

pythonを用いた機械学習でURLの良性と悪性判定を行おうと考えいます．
以下のようなコードで，エラーが発生します．どなたか解決策などありませんか？

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 読み込み --- (*1)
analysisresults_data = pd.read_csv("urldata.csv", encoding="utf-8")

# ラベルと入力データに分離する --- (*2)
y = analysisresults_data.loc[:,"Result"]
x = analysisresults_data.loc[:,["URl"]]

# 学習用とテスト用に分離する --- (*3)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.3, train_size = 0.7, shuffle = True)

# 学習する --- (*4)
clf = SVC()
clf.fit(x_train, y_train)

# 評価する --- (*5)
y_pred = clf.predict(x_test)
print("正解率 = " , accuracy_score(y_test, y_pred))

エラーが以下の通りです．
Traceback (most recent call last):
File "pandas_libs\parsers.pyx", line 847, in pandas._libs.parsers.TextReader.read
File "pandas_libs\parsers.pyx", line 862, in pandas._libs.parsers.TextReader._read_low_memory
File "pandas_libs\parsers.pyx", line 918, in pandas._libs.parsers.TextReader._read_rows
File "pandas_libs\parsers.pyx", line 905, in pandas._libs.parsers.TextReader._tokenize_rows
File "pandas_libs\parsers.pyx", line 2034, in pandas._libs.parsers.raise_parser_error
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 76272: invalid start byte

・CSVファイル

Comments

[toast-uz]

こういった記事を参考に、csvファイルの文字コードを確認してみましょう。
https://kazo9.net/win-memo-check

Answer 1

このあたりを使えないでしょうか．

https://www.kumilog.net/entry/unicode-decode-error

CSVファイルのエンコーディングがUTF-8なのかどうかが気になります．
違う場合は，読み込めなくなるので，下の部分のencoding="utf-8"と書かれている部分を
書き換えてみたら読み込めるかもしれません．

analysisresults_data = pd.read_csv("urldata.csv", encoding="utf-8")

日本語の文字コードだとeuc_jp（古い場合）やshift_jis（CSVファイルをWindowsで作った場合）が多いと思います．

Comments

[ponponpain_kun]

変えてみて試してみましたが改善されませんでした・・・

[ktl2018]

私の環境で再現を図ってみましたが，再現できませんでした．
encodig="utf-8"としたときに日本語を含むshift_jisで保存したCSVを読み込むと
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 24: invalid start byte
と出ました．
analysisresults_data = pd.read_csv("urldata.csv", encoding="shift_jis")
としたとき，エラーメッセージが変わらないでしょうか？

＝＝＝＝＝＝＝＝＝＝＝＝＝
別件ですが，user名が見えてます．あまりよくないと思うので，teratailに投稿するときにuser1とかに書き換えた方がいいと思います．例）File "c:\Users\user1.vscode\

Answer 2

補足の回答になります。

Windows で作成された csv ファイルを読み込もうとして発生しているエラーだと仮定した場合ですが、もし以下でも同じエラーが発生する場合は

pd.read_csv("urldata.csv", encoding="shift_jis")

以下を試してみてください。

pd.read_csv("urldata.csv", encoding="cp932")

shift-jis と cp932 の違いに関しては以下が詳しいです。

https://weblabo.oscasierra.net/shift_jis-windows31j/