Q&A
どのような規則でURL（文字列？）を数値に変換すべきなのか仕様を提示ください。
機械学習するのにURLを数値化させたいです。
CSVファイルのURLを数値化させるpythonプログラムはどのように記述すればよいでしょうか?
参考になるサイトやプログラムがありましたら教えて下さい。
質問の意味が分からなかったのですが、こちら https://teratail.com/questions/213238 での回答を受けての内容のようですね。
質問の仕方が下手でした。すいませんでした。
回答2件
0
ベストアンサー
URLだけで判別を行うなら、適当な区切り文字（-, ., /あたり）を定義して便宜的に「語のようななにか」に区切るか、文字n-gramを使うかしてBag of Words表現っぽいものを作り、それを使うというのが割とすぐ思いつく方法です。ただし、実際にできるかというとかなり微妙かもしれません。
URLにアクセスしてコンテンツを拾ってくるのであれば、先行研究は色々あると思います。
投稿2019/09/23 09:54
総合スコア30933
つまり、
例えば -→1 .→2 /→３ :→4 また０から9、aからz、AからZの全ての文字列を０とする。
などで
https://teratail.com
00000433000000002000
で数値変換するということでしょうか?
その場合何かしら特徴を抽出して分類できると思うんですが
あまりお勧めはしないで他の論文などの先行研究から別のやり方を考えた方がいいでしょうか?
違います。Bag of Words表現で検索してください。URLをベクトルで表すことになります。
0
直接的な回答では無いのですが大阪大学(熊本大学)の松原先生のKDDの発表でURLのアクセスを予測する発表があります。URLとアクセスしたID、時間をテンソルに変換して、時系列に予測するモデルです。
URLを何らかの方法でテンソルに変換していると思います。
YouTube:Fast mining and forecasting of complex time-stamped events (KDD 2012)
論文もあると思いますので探してみてください。
いくつかの質問を通しての疑問ですが、最終目標はなんでしょうか？
- 機械学習を触ってみること？
- 業務として悪性のURLを分類する必要がある？
- SVMを理解する？
目標に応じてアプローチが異なると思います。
機械学習を理解するのであれば、上手く行くケースでまずは感覚を掴まれたらいかがかと思います。
(追記)
＞最終目標はURLから悪性か良性かの分類プログラムを作りたいです。
具体的なイメージはないのですが、悪性の教師データを取得するのは難しいような気がします。
よくある異常検知のように正常データを大量に学習して、異物を発見するようなモデルになるように思いますが、果たしてURLの文字列から異物を判断することができるか疑問です。
ウィルス検知やマルウェア検知のアルゴリズムなどを調べてみてはいかがでしょうか？
初期のスパム検知にはナイーブベイズが利用されていたと聞いたことがあります。
投稿2019/09/22 21:18
編集2019/09/24 00:56
総合スコア799
沢山ありがとうございます。
最終目標はURLから悪性か良性かの分類プログラムを作りたいです。
ロジスティック回帰
SVM
ランダムフォレスト
ニューラルネットワーク
の４つの中から分類したいと思いまずはSVMを試した。が上手くいかなかったため、色々調べた結果
ニューラルネットワークにより特徴を抽出して分類しようと思ってます。なにかアドバイスありましたらよろしくお願いします。
アルゴリズム選択の参考としてCheatSheetがぐぐれば出てきます。一度ご覧下さい。
あなたの回答
tips
プレビュー
