【python】リストに格納された16進数文字列を数値に変換する方法が知りたいです。

Question

各成分が16進数8桁で記載されたファイルを文字列のリストとして読み込んで、
そのリスト形状を変換した後に、文字列を16進数の数値に変換しようとしています。
下記コードの3行目までは、所望の動きをしているように見えるのですが、
4行目でエラーが発生します。

どのように書けば、16進数文字列を数値に変換してくれるのでしょうか。

■読み込んだファイル（data_hex.csv）
"21460000 0610105a 1a77780a0 8014a66b a167281f 0c0d0615"
"0aa43400 103a505a 5a66780a0 0015696b b1649819 8c0d7812"
"25523400 616a505a 8a55780a0 9011036b c6478814 2c0d0513"
"62707632 797a141a 2a24760a0 7014915b a961231f 580d0314"

a = np.loadtxt('data_hex.csv',delimiter='\t', dtype='unicode')
x = a.reshape(-1, 2)  
x0, x1 = np.hsplit(x, 2)  
x0_i = [int(s, 16) for s in x0]

■エラー
int() can't convert non-string with explicit base
このようなエラーが出ますが、3行目・4行目間で　str(x0)
を挿入しても同じ結果になるため、リスト成分自体は文字列なのかと思います…。
読み込み時のdtype='unicode'が悪いのかと思ったのですが、
それ以外で16進数を読み込むことができなかったためこの個所は調査できていないです。

■環境
jupyter notebook

Answer 1

以下のように修正でいかがでしょう？

修正前

x0_i = [int(s, 16) for s in x0]

修正後

import re

x0_i = [[int(s, 16) for s in re.split(r'\s+', e[0])] for e in x0]

• 動作確認用repl.it: https://repl.it/@jun68ykt/Q253130

Comments

[ak_]

回答ありがとうございます。
うまくいっていること、確認できました。
reについても初めて知りましたので、勉強してみます！

[jun68ykt]

どういたしまして
> うまくいっていること、確認できました。
とのことでよかったです????

> reについても初めて知りましたので、勉強してみます！

re は正規表現モジュールです。
https://docs.python.org/ja/3/library/re.html

このご質問のように、テキストファイルを読み込んで、 NumPy だったり Pandas だったりで、何か目的の処理をさせようとする前に、読み込んだテキストデータを整えなければならない場合があります。その際、正規表現（および正規表現を使った関数）を使えると、楽に切り抜けられることも多いです。

Answer 2

元データの各行が"で囲われているため、ソース２行目以降が意図しない結果になっています。
pandasを使うと以下のように書けます。

import pandas as pd

df = pd.read_csv('data_hex.csv', header=None)

def func(row):
    l = row[0].split('\t')
    l = [int(e,16) for e in l]
    return pd.Series(l)

df = df.apply(func, axis=1)
a = df.values
print(a)
#[[  558235648   101716058  7104594080  2148836971  2707892255   202180117]
# [  178533376   272257114 24266637472     1403243  2976159769  2349692946]
# [  626144256  1634357338 37133713568  2417034091  3326576660   739050771]
# [ 1651537458  2038043674 11312521376  1880396123  2841715487  1477247764]]

Comments

[ak_]

回答ありがとうございます。
元データが悪い（コードが対応できていない）のは想定外でした汗
pandasも勉強してみます！

Answer 3

x0の中身を見てみましょう。

[['"21460000    0610105a    1a77780a0    8014a66b    a167281f    0c0d0615"']
 ['"25523400    616a505a    8a55780a0    9011036b    c6478814    2c0d0513"']]

2次元のリストになっています。
この状態で内包表式内のsとして渡されるのは、

['"21460000    0610105a    1a77780a0    8014a66b    a167281f    0c0d0615"']

などのリストです。int(s, 16)の引数には'0610105a'といった形で渡さないといけないのでそのように書き換えてみてください。reshapeしている意図はわかりませんが、mapやsplitなどを使えばできます。
変数を逐一printで確認するのも理解の助けになりますよ。

Comments

[ak_]

回答ありがとうございます。
間違っていた場所を理解することができました。

reshapeしているのは、各要素2個ごとに共通の意味をもったデータが構成されているためで、
共通のデータを一括りにした方が処理しやすいと思ったからです。
（身長　体重　身長　体重…みたいなデータに対して、身長だけのリストと体重だけのリストに
分けたかって解析したかったイメージです。）
mapやsplitについても無知なので調べてみます。

[退会済みユーザー]

なるほど理解できました。
numpyは確かに便利ですが、標準の関数を組み合わせて処理をするとテクニックの幅が広がっていいと思います。atcoderなどで楽しく学ぶのがおすすめです。