hamachanさんが実施しようとされている事は、理論(技術)的には可能だとしても、コスト(時間)的には相当難しいと思います。
とはいえ参考情報が欲しいとのことなので、ググって簡単に見つかる範囲で情報連携致します。
まずは、ollydbgを使ってパスワード認証の解析を実施する例です。
CTFの過去問を解いてOllyDbgの使い方を覚える。
解析対象がプログラムであれ暗号であれ、どんな
方式を採用しているのかがある程度推測出来ないと、解析はとても困難です。
前出の例では、パスワード認証方式であることやその挙動を目視で確認出来るなどの理由で例題レベルでした。
しかし、暗号の解析となると非常に複雑です。
暗号攻撃法
暗号化された後のバイト列の長さは暗号化方式によって異なりますし、利用されている方式が一種類とも限らないので、解読すべきバイト列を過不足無く正確に切り出す事自体が非常に大変です。
更に、切り出されたバイト列を実際に解読するのも非常にコスト(時間)の掛かる事です。
WindowsのパスワードはGPUを25個使えば約6分から6時間で突破が可能、毎秒3500億通りもの総当たりが可能な方法とは?
最近ニュースを賑わせているのは、これまで安全だと思われていた暗号化方式に脆弱性が見つかったり短時間で解読可能のなったという話題ですが・・・
それが実際には、暗号周りの問題をより複雑化・高度化させているのが実情だと思います。
暗号技術そのものについては、例えば下記の入門書で理解を深めてから更に調査・研究を進められると良いのではないでしょうか?
暗号技術入門 第3版 秘密の国のアリス
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。