被坑了的浮点数的精度

欢迎 来到 我 王国聪的博客!

Quick Start

看这段代码:

1
2
3
$ Debug.Log(sizeof(float)); //4字节
$ Debug.Log(sizeof(uint)); //4字节
$ Debug.Log(float.MaxValue > uint.MaxValue); //true

通过上面代码,我们可以发现float和uint(为了取最大值,这里就用无符号整形)都是4字节,那么为什么float的取值范围要比int大呢?

继续再看一段代码

1
2
3
Debug.LogFormat("{0}至{1}", float.MinValue, float.MaxValue);//取值范围: -3.402823E+38至3.402823E+38
Debug.LogFormat("{0}至{1}", int.MinValue, int.MaxValue);//取值范围: -2147483648至2147483647
Debug.LogFormat("{0}至{1}", uint.MinValue, uint.MaxValue);//取值范围: 0至4294967295

如果有人不知道 取值范围 -3.402823E+38-3.402823E+38 其中的E+38的含义我这里解释一下
-3.402823E+38 等价于 -3.402823*10^38(10的38次方)取值范围-3.402823E+38 – 3.402823E+38 也就等价于
-340282300000000000000000000000000000000 至 340282300000000000000000000000000000000

看到这里大家应该心里有点明白了吧?float的最大值340282300000000000000000000000000000000完全秒杀int的最大值4294967295

在回到文章开头的代码,float占4字节int也占4字节 ,此刻你的内心是否有个疑问?为什么差这么多?
首先咱先看看int 4字节 (1个字节8位,4字节就是32位)也就表示它由32位保存 也就是它的最大值是 2^32(2的32次方)=4294967296(大家可以拿起计算器算一下是不是这个值)
同样的float 4字节 也表示它由32位保存那么凭什么它能存3.402823E+38这么大的数呢?机器不会骗人,原因就是它不是按int这么存数据的。比如一个float 数据
1024.1024 等价于 1.0241024 * 10^3 (3表示指数,1.0241024表示有效数字)float其实只是把符号、指数、有效数字3部分保存,真正在运算的时候是根据指数在移位操作。
float把 32位分成了3部分,1位(符号位)8位(指数位)23位(有效数字)那么 1+ 8 + 23 等于32吧,所以float的32位是这么来的。23位有效数字就表示float真正能存的精度,23位小数部分是反被储存的部分,所以它是有24位存储的,2^24(2的24次方)=16777216

请大家记住这个数值,下面我们在做个试验:

1
2
3
4
float a = 16777216f;
float b = a + 0.01f;
Debug.Log(a);//1.677722E+07
Debug.Log(b);//1.677722E+07

读完代码,如果你的程序中有一个float的数值运算后的小数部分,如果超过16777216.xxx那么很抱歉它们的结果是一致的。
float我们介绍完了,double的原理和float差不多,double占8字节,1位符号位+11位指数+52位有效数字 = 64位。double的有效2^53(2的53次方)=9007199254740992,超过9007199254740992.xxx那么很抱歉它们的结果是一致的。

double 示例:

1
2
3
4
double a = 9007199254740992f;
double b = a + 0.01f;
Debug.Log(a);//9.00719925474099E+15
Debug.Log(b);//9.00719925474099E+15

而且浮点数计算结果不同的CPU计算出来可能是不一致的,像帧同步那种游戏基本应该告别float和double了。
最后我们在聊一下定点数,应对解决精度问题,c#提供了定点数decimal关键字。可以看到它是由16个字节组成也就是64位,内存大小相当于4个float或者2个double 取值范围也很高。
只要数据在10进制28-29位之间,小数点在中间任意位置均可。数据运算就不会像float和double一样被和谐了。所以说如果需要准确精度的小数计算就一定要使用定点数。

坚持原创技术分享,您的支持将鼓励我继续创作