信念状態の式をコンパクトな形で記述するために、条件付き確率表を遷移行列として記述することができます。これを行うには、各行動について、完全な条件付き確率表から対応する行を集めて状態遷移行列を作成します。行動「右へ移動」の場合、これは次のように示されます。
Observe how the belief state evolves from various initial belief states