質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
sed

sedとは、POSIX環境のために作られたコマンドラインエディタです。sedは編集スクリプトの指示のもとに複数のファイルを編集し、標準出力にその結果を出力します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWK

AWKは、UNIX 上で開発されたプログラミング言語で、CSVファイルなどのテキストファイルの処理を目的にデザインされています。

Q&A

2回答

1792閲覧

python 拡張子のないファイルを読み込めるか?

退会済みユーザー

退会済みユーザー

総合スコア0

sed

sedとは、POSIX環境のために作られたコマンドラインエディタです。sedは編集スクリプトの指示のもとに複数のファイルを編集し、標準出力にその結果を出力します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWK

AWKは、UNIX 上で開発されたプログラミング言語で、CSVファイルなどのテキストファイルの処理を目的にデザインされています。

0グッド

0クリップ

投稿2020/07/27 07:47

編集2020/07/27 08:10

前提・実現したいこと

下記のような,拡張子のないファイルの
一部分のみを読み取りたいのですが
どうすればよいかわかりません.
とくにTime = 0.005やTime = 0.01などの時間と、Total lift: -0.0869131394の物理量のみを読み込みたいです。

例えば,拡張子をcsvにして,データ区切りを施したファイルには
pandasを使えばできるのですが,
このようなファイルを大量に読み込む必要があり,
どうにかcsv等に変換せずにそのまま読み込める方法を探しています.

どなたか知っている方はいませんか?

■■ファイル(ワードパッドで開いたもの,拡張子なし)長くてすいません。。。

-------------------------------------------------------------------------- WARNING: No preset parameters were found for the device that Open MPI detected: Local host: ccfd01 Device name: mlx5_0 Device vendor ID: 0x02c9 Device vendor part ID: 4119 Default device parameters will be used, which may result in lower performance. You can edit any of the files specified by the btl_openib_device_param_files MCA parameter to set values for your device. NOTE: You can turn off this warning by setting the MCA parameter btl_openib_warn_no_device_params_found to 0. -------------------------------------------------------------------------- /*---------------------------------------------------------------------------*\ | o | | | o o | HELYX(R) Core: Open-source CFD for Enterprise | | o O o | Version: 3.2.0 | | o o | ENGYS Ltd. <http://engys.com/> | | o | | *---------------------------------------------------------------------------*/ Build : 3.2.0-49f935506940 Arch : "LSB;label=32;scalar=64" Exec : /home/user/Engys/HELYX/v3.2.0/CORE/HELYXcore-3.2.0/platforms/linux64Gcc51DPInt32Opt/bin/pisoFoam -case ./ -parallel Date : Jul 27 2020 Time : 14:30:30 Host : "ccfd01" PID : 131538 Case : /home/wd1a/Engys/helyx-3.2.0/run/les_Re5000_hamada_5upwind nProcs : 150 Slaves : 149 ( "ccfd01.131539" "ccfd01.131540" "ccfd01.131541" "ccfd01.131542" "ccfd01.131543" "ccfd01.131544" ・ ・ ・ ・ Starting time loop liftDrag LD1 read: Creating lift/drag file. --> FOAM Warning : From function virtual bool Foam::functionObjects::liftDrag::read(const Foam::dictionary&) in file liftDrag/liftDrag.C at line 1334 Old format used in binData. Time = 0.005 Courant Number mean: 0.0008401181416 max: 0.5415492641 smoothSolver: Solving for Ux, Initial residual = 1, Final residual = 5.622808846e-05, No Iterations 1 smoothSolver: Solving for Uy, Initial residual = 0, Final residual = 0, No Iterations 1 smoothSolver: Solving for Uz, Initial residual = 0, Final residual = 0, No Iterations 1 GAMG: Solving for p, Initial residual = 1, Final residual = 0.009588823783, No Iterations 21 time step continuity errors : mean magnitude = 1.611158484e-05, global = -1.044559554e-07, cumulative = -1.044559554e-07 GAMG: Solving for p, Initial residual = 0.0004913348773, Final residual = 4.592637766e-06, No Iterations 18 time step continuity errors : mean magnitude = 2.478992397e-06, global = -2.910135626e-09, cumulative = -1.07366091e-07 GAMG: Solving for p, Initial residual = 5.511542216e-05, Final residual = 9.159198339e-07, No Iterations 12 time step continuity errors : mean magnitude = 4.93626578e-07, global = -2.35525591e-10, cumulative = -1.076016166e-07 ExecutionTime = 1.84 s ClockTime = 1 s liftDrag LD1 execute: Viscous drag: 0.328838746, pressure drag: 61.43967168, porous drag: 0 Viscous lift: -0.0004461338866, pressure lift: -0.08646700552, porous lift: 0 Total lift: -0.0869131394, Front lift: 0.009149628478, Rear lift: -0.09606276788, Drag: 61.76851042 Time = 0.01 Courant Number mean: 0.350709318 max: 155.1787849 smoothSolver: Solving for Ux, Initial residual = 0.7216084361, Final residual = 0.0001919553515, No Iterations 3

該当のソースコード

import pandas as pd df = pd.read_csv('test', delim_whitespace=True, comment='#', names=['X', 'Y', 'Z'])

なんとなくこんな感じなのはわかるのですが、、、、

読み取りのルール

まず1行目から "Old format used in binData."(Time = 0.005の上行)までスキップします。
そして、Time = 0.005、Time = 0.010、Time = 0.015...をすべてと
各タイムステップのTotal lift: -0.0869131394、Total lift:....をすべて読みとりたいです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

とくにTime = 0.005やTime = 0.01などの時間と、Total lift: -0.0869131394の物理量のみを読み込みたいです。

元ファイルはとくに構造化されていないフリーテキストのようなので、基本的にはテキストを行ベースで読み込んで処理する必要があると思います。

もちろんPythonでもできますが、むしろSedAWKが得意とする処理です。
質問にこれらのタグを入れると、より適切な回答が得られやすくなるかと思います。

ただし、読み取りのルール(仕様)は明確にしておいてください。でないとどんな言語でも処理できません。
Pythonで書くなら基本的には以下のような流れでできると思います。

Python

1times = [] # 読み取れたデータ 2with open('test') as f: 3 while True: 4 line = f.readline().rstrip('\n') 5 if len(line) <= 0: 6 break 7 8 # 読み取り処理 9 if line.startswith('Time = '): 10 times.append(line)

投稿2020/07/27 08:00

編集2020/07/27 08:56
can110

総合スコア38341

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

なんとなくこんな感じなのはわかるのですが、、、、

それで読めませんか?

って、そもそもCSVファイルじゃないので、ふつーにテキストファイルとして読み込んで、文字列処理で該当箇所を切り出し、読み込みましょう

投稿2020/07/27 07:49

編集2020/07/27 07:53
y_waiwai

総合スコア88042

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問