質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

2回答

703閲覧

python アクセスログ pandas データフレーム化 jupyter

syu-yu

総合スコア24

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2017/11/20 05:44

編集2017/11/20 06:23

やりたいこと:txtファイルからアクセスログを読み込み、'time','request','status','bytes'のカラムにてデータフレーム化

不明点:
⓵エラー:Shape of passed values is (1, 2), indices imply (4, 2)
⓶ここでのyeildの意味。(検索してもイマイチ理解ができませんでした。)

現状:
access_log.txt
127.0.0.1 - - [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326
127.0.0.1 - - [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326

別ディレクトリ
import re
import pandas as pd
pattern = re.compile('^\S+ \S+ \S+ [(.)] "(.)" (\S+) (\S+)$')
def parse_access_log(path):
for line in open(path):
for m in pattern.finditer(line):
yeild m.group()

columns = ['time','request','status','bytes']
pd.DataFrame(parse_access_log('access_log.txt'),columns=columns)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

yeild m.group() は yield m.groups() の間違いなのではないでしょうか。

Python

1import re 2import pandas as pd 3pattern = re.compile('^\S+ \S+ \S+ [(.*)] "(.*)" (\S+) (\S+)$') 4 5def parse_access_log(path): 6 for line in open(path): 7 for m in pattern.finditer(line): 8 yield m.groups() 9 10columns = ['time','request','status','bytes'] 11pd.DataFrame(parse_access_log('access_log.txt'),columns=columns)

また、yeild に関してはとりあえずはこちらをご覧下さい。
そのほかにも、'Python ジェネレータ' で検索をかけると、解りやすく解説しているページが多数見つかると思います。

投稿2017/11/20 07:20

magichan

総合スコア15898

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

syu-yu

2017/11/23 06:42

遅くなりました。 その通りでした。 yeildも何となく理解できました。 また機会があればよろしくお願いします!
guest

0

正規表現部分の「]」と「"」の間に空白スペースが無いので、パターンマッチしていないということはないでしょうか。

投稿2017/11/20 05:59

ka_ei

総合スコア207

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

syu-yu

2017/11/20 06:22

回答ありがとうございます! 自分のjupyter上では空欄は空いている状態で上記のエラー文でした。 質問文を修正しておきます。。。
ka_ei

2017/11/20 06:32

なるほど、承知しました。別の原因ですね。ご回答いただきありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問