しつもpandas読み込みの際に非データ部分を消す方法

Question

課題 1

txt = pd.read_table('test.txt',header=None)

test.txtから読み込むと下のようなテーブルが得られました

0 	# Attributes for both student-mat.csv (Math co...
1 	1 school - student's school (binary: "GP" - Ga...
2 	2 sex - student's sex (binary: "F" - female or...
3 	3 age - student's age (numeric: from 15 to 22)
4 	4 address - student's home address type (binar...
5 	5 famsize - family size (binary: "LE3" - less ...
6 	6 Pstatus - parent's cohabitation status (bina...
7 	7 Medu - mother's education (numeric: 0 - none...
8 	8 Fedu - father's education (numeric: 0 - none...
9 	9 Mjob - mother's job (nominal: "teacher", "he...
10 	10 Fjob - father's job (nominal: "teacher", "h...

一部コメントのようなものが含まれており、これを含まないデータ部分だけを抽出したいです。
例では最初の行にコメントが含まれていますが、実際にはさまざまなところにコメントが残っています、
read_table()オプションで何か出来たりするのでしょうか？

課題2

またデータ部分を抽出した際に
データの頭についている数字部分を消したいです。(以下はゴールの見本です。)

0 	# Attributes for both student-mat.csv (Math co...
1 school - student's school (binary: "GP" - Ga...
2 sex - student's sex (binary: "F" - female or...
3 age - student's age (numeric: from 15 to 22)
4 address - student's home address type (binar...
5 famsize - family size (binary: "LE3" - less ...
6 Pstatus - parent's cohabitation status (bina...
7 Medu - mother's education (numeric: 0 - none...

Answer 1

コメントを取り除くには、read_tableやread_csvにオプション引数commentを指定し、値にコメントに使う1文字(今回だと'#')を指定します。

txt = pd.read_table('test.txt', header=None, comment='#')

文字列の先頭についている数字部分を取り除くには、str.extractで正規表現パターンを指定して、別のデータフレームを生成すればいいでしょう。

txt2 = txt[0].str.extract(r"^\d+\s+(.*)$", expand=True)