List処理にて、わからない条件がある

Question

前提・実現したいこと

前任者からの引継ぎでいただいたPythonｎソースを理解したいです。

発生している問題

質問できる方がおらず、こちらで質問するに至りました。
・methodの「not in [0]」が何を意味しているかわかりません(method全体をそもそもしっかり理解できておりません)。
・collect_listがいきなり出てくるのですが、何者でしょうか。他行にて宣言の記述がありませんでした。
・「col」などから察するに、データフレームを扱っている処理のようですが、aaa列をmethodで処理した結果をbbbにリネームと言うことでしょうか。

該当のソースコード

def method(value_list):
  vals = list(filter(lambda x : x not in [0], value_list))
  vals_int = list(map(int, vals))
  if len(vals_int) >= 1:
    ret = Counter(vals_int).most_common()[0][0]
    return int(ret)
  else:
    return 0000

list = []
list.append(method(collect_list(col('aaa'))).alias('bbb'))

Comments

[meg_]

> [0]がなにを意味しているのかわかりません。
断片のコードでは答えられる人はいないのでは？

[Fur0]

申し訳ありませんでした。追記いたしました。
見せられる範囲が限られているため、もしかしたら修正後でも理解が難しい場合があるかもしれません...。
本当に申し訳ございません。

Answer 1

list.append(method(collect_list(col('aaa'))).alias('bbb'))

ここですが、collect_listは関数です。どこかで定義されているはず。名前指定でimportしているのかもしれません。

colも関数です。このみかけ上からはpandas.Dataframeと関係あるようには見えません。

aliasですが、methodの返り値に付いていますが、それはintです。int に alias というメショッドはないので、エラーになると思います。

また、method は 0000 を返すことがありますが、これなんでしょう？ 数値として 0 を 表したいのか、8進数を表したいのか、意味不明ですね。

Comments

[Fur0]

回答ありがとうございます。
collect_listはpysparkの部品のようです。他は私も調査中です...!

Answer 2

[0]は、0という整数を要素とするリストです。

こういうものが分からないときは、pythonの対話モードで以下のように確認してください。

> python
Python 3.8.3 (default, Jul  2 2020, 17:30:36) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

というようにpythonを起動します。

[0]を調べて見ましょう。

>>> print(type([0]))
<class 'list'>
>>> print(list.__doc__)
Built-in mutable sequence.

If no argument is given, the constructor creates a new empty list.
The argument must be an iterable if specified.

[0]の型はリストで、リストは可変な列であることがわかります。
value_listとして、適当なリストを設定して動かしてみましょう。

>>> value_list = ['abc', '0', '1', 0, 1, 2, 3,]
>>> print(value_list)
['abc', '0', '1', 0, 1, 2, 3]
>>> val = list(filter(lambda x : x not in [0], value_list))
>>> print(val)
['abc', '0', '1', 1, 2, 3]

これを見れば、この行が何をやっているのかがわかるかもしれません。

あと注意事項ですが、昔の人が書いたpythonプログラムはpython2系の場合が多いのですが、最近多くの人が使っているのはpython3系です。python2系とpython3系では互換がないので、どういうpythonを使っているかを明記して質問することをお勧めします。

pythonのバージョンを調べるには、以下のようにしてください。

> python -V
Python 3.8.3

私は、いつも対話モードで関数を定義しています。

>>> def method(value_list):
...   vals = list(filter(lambda x : x not in [0], value_list))
...   vals_int = list(map(int, vals))
...   if len(vals_int) >= 1:
...     ret = Counter(vals_int).most_common()[0][0]
...     return int(ret)
...   else:
...     return 0000
...
>>> print(type(method))
<class 'function'>

ただし、途中に空白行が入っているとそこで入力が切れて、そのあとがエラーになるので、空白行を入れないようにしてください。

Comments

[Fur0]

ありがとうございます。
Pythonは3系です。

追加で質問なのですが、対話モードで複数行の関数を定義することができません（methodが定義できません）。

現在は業務でPythonのコードをJavaに書き換え可能かを検証しているところなので、Pythonのファイルだけあって実行環境がないため、対話モードだけが頼りです。

申し訳ございませんが、よろしくお願いします。

[ppaul]

関数定義は可能です。回答の方をご覧ください。
また、pythonは以下のように非対話的に実行できます。
> python foo.py

質問者さんの会社の方針に口出しするつもりはありませんが、ある言語で開発したシステムを他言語に書き換えるのは多くの場合悲惨な結果になります。Delphiのような過去の言語でかかれたものは仕方がないのですが、多大のコストをかけて移植してみたがバグが多くてわからない、ということになりがちです。
性能問題があるならJavaよりはC/C++ですし、そうでないならPython人口が増える昨今、pythonでサポートの問題はないと思います。
もし、仕様書の残っていないようなプログラムならわざわざ解析する価値もないので、要件定義からやり直した方が長期的にはコストパフォーマンスが良いですよ。

[Fur0]

本当はそうしたいです...。

[ppaul]

技術の分からない上司ほど、困った選択をするのが世の常ですね。
まあ、pythonのスキルを上げるチャンスだと思って頑張ってください。
アドバイスですが、ソースコードを見る限り、前任者の方はプログラミングが下手です。業務として解析するのはいいですが、プログラミングスタイルを真似しない方がよろしいかと思います。

[Fur0]

下手なのですね...!
端的に言うと、どんな処理をしているのか理解し難いことが理由でしょうか。