vb 为什么会这样? dim a,b,c as double a=50.3 b= int(a) c=a-b 运行得 c= 0.29999999997 为什么?
2个回答
展开全部
这是由于DOUBLE型变量的内部存储格式决定的。如果把C定义成single,结果就是0.3
具体参考一下VB数据类型定义。
浮点数(double类型)的存储格式为mmmEeee 或 mmmDeee ,其中 mmm 是假数,而 eee 是指数(以 10 为底的幂)。
具体就是50.3转成上述格式再以二进制存储时受存储位数限制会由些许误差,但是很小,不影响计算精度。
这么写一下
Dim a, b As Double
Dim d As Single
Dim c As Double
a = 0.3
a = a + 50
b = Int(a)
c = (a - b)
d = c
则d=0.3
具体参考一下VB数据类型定义。
浮点数(double类型)的存储格式为mmmEeee 或 mmmDeee ,其中 mmm 是假数,而 eee 是指数(以 10 为底的幂)。
具体就是50.3转成上述格式再以二进制存储时受存储位数限制会由些许误差,但是很小,不影响计算精度。
这么写一下
Dim a, b As Double
Dim d As Single
Dim c As Double
a = 0.3
a = a + 50
b = Int(a)
c = (a - b)
d = c
则d=0.3
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询