labview中数值的小数位精度问题

2019-07-17 09:28发布

labview中数值的小数位精度问题:

我现在有一个19.97十进制数值,在进行for循环,每循环一次减去一个不同的值,最后19.97变成0.01.再循环的时候跟0.01进行比较,我运行的结果却是相减后的0.01与我指定的0.01不相等,我把所有数值的精度都改为了2位精度位数,还是不行,请大神赐教啊
微信截图_20181121115139.png
友情提示: 此问题已得到解决,问题已经关闭,关闭后问题禁止继续编辑,回答。
该问题目前已经被作者或者管理员关闭, 无法添加新回复
3条回答
cd340823
1楼-- · 2019-07-17 12:01
关注下,和我之前遇到的问题很像
sszx2007
2楼-- · 2019-07-17 16:21
请问,19.97应该叫十进制数值?这是浮点数,浮点数的相等比较是无意义的,为什么无意义?自己百度
gaiwendi
3楼-- · 2019-07-17 21:15
目前问题算是解决了,我是19.97乘个100,这样就变成整数了

一周热门 更多>