2進数・デジタル化・文字コードから情報表現を理解する

負の整数を2進数で表す代表的な方式が2の補数表現です。n bitの2の補数では、表現範囲は -2^(n-1) から 2^(n-1)-1 になります。

2の補数で負数を作る基本的な方法は、正の値の全bitを反転して1を加えることです。例えば8bitの+5は00000101なので、-5は11111011です。

固定小数点数は小数点位置をあらかじめ固定して値を表します。扱える範囲と精度の設計が分かりやすい一方、非常に大きな値と非常に小さな値を同じ形式で広く扱うには不向きです。

浮動小数点数は、符号、仮数部、有効数字部分、指数部などを用いて広い範囲の値を表します。単精度・倍精度などが代表用語です。有限bitで表すため、多くの実数を完全には表現できません。

丸め誤差は、表現できる桁数に合わせて値を丸めることで生じる誤差です。有限bitの浮動小数点では、多くの10進小数を厳密に表せません。

打切り誤差は、無限級数や反復計算などを有限のところで打ち切ったり、近似式を用いたりすることで生じます。

桁落ちは、ほぼ等しい大きな数同士を減算したとき、有効な上位桁が相殺され、残った値の有効数字が少なくなる現象です。

情報落ちは、大きさが極端に異なる数を加減したとき、小さい方の情報が有限桁の表現に吸収されて結果へ反映されにくくなる現象です。

表現可能範囲を超えるとオーバーフロー、絶対値が小さすぎて表現可能な範囲を下回るとアンダーフローが起こります。

標本化定理では、理想的な帯域制限信号を再現するためには、最高周波数成分の2倍より高い標本化周波数で標本化する必要があると考えます。

標本化周波数が不足すると、高い周波数成分が別の低い周波数として現れるエイリアシングが起こることがあります。

標本化周波数を上げれば時間方向の情報を細かく取得できますが、保存・伝送するデータ量も増えます。量子化bit数を増やす場合も同様にデータ量が増えます。

情報源符号化は、情報を効率よく表現してデータ量を減らすことを主な目的とします。ハフマン符号は、出現頻度の高い記号へ短い符号を割り当てる代表的な可変長符号です。

ハフマン符号では、ある符号語が別の符号語の先頭部分にならない接頭語条件を満たすように構成でき、符号列を一意に復号できます。

通信路符号化は、伝送時の誤りを検出・訂正しやすくするために冗長情報を付加する考え方です。圧縮とは逆にデータ量が増える場合があります。

単純なパリティは代表的な誤り検出方法で、標準的なハミング符号は一定条件下で1bit誤りを訂正できます。目的と能力を混同しないようにします。