例えば,
点Oを原点として,四角形の頂点{A,B,C,D}の座標を,Oからの距離rと,方向を示す角度θとで表すことを考えてはどうか.
四角形が円に内接しているという条件から,rは単一であり,
図形全体を回転させる自由度を潰すために,いずれかの頂点に関するのθを0にする.
結果として,変数は4個(rと3つのθ).
拘束条件としては4辺の長さが与えられているから「拘束条件の個数=変数の個数」なので,まぁ,後は頑張れば4点の座標が解けるんじゃないかと.
(座標がわかったらならば,各問はやれるよね)
で,どうやって解くのか? については…
ここに質問していることから,「紙とペンで解くんじゃなくてプログラムで何とかする話」なのかと推測するので,何か適当な方法を実装すればよろしいのではないかと.
自分なら,「連立方程式を解く」とかいう方向だとめんどくさい気がするので,てきとーな初期値を与えて最適化計算で済ます.
(「連立方程式を解く」方向でやったとしても,どうせfloatだのdoubleだのの精度がどうので「真の解」は求まらないのだろうし)