`
葬雪晴
  • 浏览: 5938 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类

计算时精度导致的小异常

 
阅读更多
今天发生了0.0037775进位为6位的时候,出现了3.377的怪现象。
总也查不出来原因无论怎么round都没用。给的还是3.377。

最后发现原来计算的结果精度很高,是0.0037774999999虽然显示的是0.0037775,进位的时候就会发生这种情况。

解决方法是先round 第7位,再round第六位
分享到:
评论

相关推荐

    SAP HANA数据计算后小数点位数异常

    ### SAP HANA 数据计算后小数点位数异常解析及官方解决方案 #### 一、问题背景及概述 在SAP HANA系统中,用户可能会遇到数据计算后小数点位数异常的问题。这类问题通常出现在对数据库进行升级之后,具体表现为SQL...

    一种基于聚类和快速计算的异常数据挖掘算法.pdf

    总结来说,本研究提出的算法在处理动态增量数据库环境下的异常数据挖掘问题时,通过聚类和快速计算局部偏离因子,达到了高效率和高精度的目标,为异常数据挖掘领域带来了一种新的解决思路和方法。

    MFC 浮点数计算器 经多次修正 计算精度高

    这个“MFC浮点数计算器”项目显然使用了MFC库来创建一个计算器应用,重点在于处理浮点数运算,经过多次修正以提高计算精度,并且具有用户友好的界面设计。 在MFC中,创建一个计算器应用通常涉及到以下几个关键知识...

    高精度计算器源码 BCD

    同时,它也可以用于金融、会计等领域,这些领域对计算精度有严格要求,需要避免因浮点数计算产生的精度损失。此外,对于任何需要处理大量数据和高精度计算的软件项目,这种源码都是一个有价值的参考。

    GPS KLOBUCHAR模型改正精度异常现象分析.pdf

    然而,该模型在某些条件下可能出现精度异常,例如在分析17年5月北半球中纬度区域的GPSK8模型时,DUBO测站在连续6天内出现了改正精度异常的现象。 NeQuick模型是一种半经验模型,将电离层分为层次并根据时间和空间的...

    球体重力及重力梯度异常_球体重力及重力梯度异常_重力异常_重力_

    这篇资料可能包含如何计算这些异常值的详细方法。 首先,球体重力是指地球对物体施加的引力,由牛顿的万有引力定律描述。地球不是一个完美的球体,其密度分布不均,导致重力场并非均匀。重力异常则是指实际观测到的...

    GPS高程异常拟合粗差剔除以及精度评价方法研究.pdf

    【拟合模型】在处理GPS高程异常时,常见的方法是采用数值逼近法,特别是二次曲面拟合法。这种方法通过构建二次曲面模型来近似地表地形,从而计算出高程异常。然而,如果忽略公共点的误差,直接进行转换,会导致拟合...

    浮点数精度问题解答——浮点数

    总之,IEEE 754标准为二进制浮点数的表示和计算提供了统一的框架,尽管它无法消除所有精度问题,但通过规范化的舍入策略和运算要求,尽可能减少了由于浮点精度导致的错误。理解这些概念对于编写高精度计算代码和调试...

    长方体重力异常正演模拟

    - 网格大小的调整,以平衡计算精度和计算速度。 - 并行计算的应用,利用Matlab的`parfor`循环提升计算效率。 - 结果可视化,使用`surf`或`slice`等函数,结合颜色图例和坐标轴标签,清晰展示重力异常分布。 五、...

    小区域控制测量的GPS静态高程精度分析.pdf

    3. **高程异常模型**:不同地区的高程异常模型可能不完全准确,导致高程计算的误差。 4. **观测时间**:长时间的静态观测可以提高精度,但也会受到温度、湿度等因素的影响。 文章通过实验对比分析了不同条件下GPS...

    参考资料-利用单片机进行复杂函数计算的一种高精度算法.zip

    在进行复杂函数计算时,这些限制可能会导致精度下降或计算时间过长。因此,设计高效且精确的算法对于单片机应用来说非常关键。 高精度算法旨在在有限的硬件资源下提供更精确的结果。这通常通过改进数值计算方法、...

    电子政务-基于电能表数据精度补偿算法的线损异常判定方法.zip

    在“基于电能表数据精度补偿算法的线损异常判定方法”这一主题中,我们关注的是如何利用电力数据来优化公共服务,特别是通过算法解决电力系统中的线损问题。 线损,即电力在传输过程中的损耗,是电力系统运行中不可...

    大数据之数据异常值分析与处理

    数据异常值分析与处理在大数据领域中扮演着至关重要的角色,因为异常值可能导致数据分析结果的偏差,甚至误导决策。在处理异常值时,通常需要理解数据的特性、缺失模式以及选择合适的处理方法。 删除法是最直观的...

    蒸汽流量计算软件

    1. 设备选型:在选择蒸汽管道、阀门、仪表等设备时,需要依据蒸汽流量来确定合适规格,避免因流量过大或过小导致的设备损坏或效率低下。 2. 能源管理:通过对蒸汽流量的精确计算,企业可以更有效地监控和调整能源...

    GDOP1_gdopmatlab_GDOP的计算公式_GDOP_gdop怎么计算_satellite_

    标题中的“GDOP1_gdopmatlab_GDOP的计算公式_GDOP_gdop怎么计算_satellite_”暗示了我们即将探讨的是全球定位系统(GPS)中的几何精度因子(GDOP)及其在MATLAB环境下的计算方法。GDOP是衡量定位精度的一个关键指标...

    带括号高精度计算器

    【带括号高精度计算器】是一种能够处理复杂数学表达式的软件工具,尤其在处理大整数运算时,它能提供精确的结果。...在分析和解决问题时,我们需要对C++编程、高精度计算以及软件架构有深入的理解。

    java常见异常总结

    - 使用`BigInteger`和`BigDecimal`类来进行大数值运算,它们提供了更好的精度控制和异常处理机制。 #### 4. `java.lang.ArrayIndexOutOfBoundsException` - **异常概述**:当尝试访问数组中的非法索引时抛出此...

    最小二乘配置法在GPS高程异常值推估中的应用.pdf

    这在实际应用中意味着使用LSC方法可以提高GPS高程异常值的计算精度,从而提升大地高到正常高的转换质量。 此外,该研究还涉及了全球定位系统(GPS)技术的基本原理和应用,以及高程系统的概念,如大地高和正常高之间...

    安全阀计算软件.rar

    - 提高计算精度:避免人工计算可能的误差,确保设备性能和安全性。 - 提升效率:快速完成复杂的计算,节省工程师的时间。 - 符合法规:软件内置各种标准,确保设计符合法规要求。 - 方便记录与报告:生成计算报告,...

Global site tag (gtag.js) - Google Analytics