2009-07-03から1日間の記事一覧

32ビット固定小数の精度

上位16ビットを整数部、下位16ビットを小数部とすると、 扱える値の範囲は整数部で -32768 ~ +32767 小数部で 0.0000152587891 ~ 0.999984741 【考察】 整数演算ユニットが使えるので、処理速度は浮動小数より速くなると思われる。 浮動小数に比べると精度…