pandasでのマルチアンサーのクロス集計

Question

pythonのpandasを使ってデータの集計をしています。(python3.4.4/pandas0.19)
集計対象データに以下のQ2のようなマルチアンサーがあります。

---

[アイテム]
Q1.性別
１：男、２：女
Q2.趣味（2つまで可）
１：読書、２：映画鑑賞、３：スポーツ、４：買い物

---

[データ]
id,性別,趣味-読書,趣味-映画鑑賞,趣味-スポーツ,趣味-買い物
A,1,0,1,1,0
B,2,1,0,1,0
C,2,0,0,0,1
D,2,1,1,0,0
E,1,1,0,0,0

---

この2アイテムでクロス集計をしたいのですが、pandasではどのようにしたら
できるのでしょうか？