定点化学习(一)

news/2024/9/23 13:21:20 标签: 学习

学习笔记,方便复习,刷到请划走,避免误导。

我有一个小数3.76,我要用8bit位宽来定点化,是不是就是3.76乘以256,但是得到的数值是962.56,这个0.56是不是可以用四舍五入来舍去。
ChatGPT 说:
ChatGPT
没错,首先你将小数 3.76 乘以 256,得到 962.56。在量化过程中,你可以使用四舍五入的方法来处理小数部分:

计算:

\text{定点数} = \text{round}(3.76 \times 256) = \text{round}(962.56) = 963
定点数=round(3.76×256)=round(962.56)=963
存储:你可以将 963 存储为 8 位定点数。

通过四舍五入,你就能有效地将浮点数转换为定点数,而不损失太多精度。需要注意的是,963 会在 8 位定点数中占用一个超出范围的值(最大为 255),所以需要考虑小数部分的精度和可表示范围。

所谓的量化误差就是我定点化后,还存在小数位,这个小数小于一个阈值,比如0.5,那么我就认为量化误差是很小的,相当于无损定点化了,比如我962.56,0.56大于0.5,是有损量化误差。

小数位可以用8bit存储,小数位是0.76*256=194.56。
3.76不可以用8bit存储,因为3.76的定点化是963,超过255.


http://www.niftyadmin.cn/n/5671993.html

相关文章

基于JAVA开发的超市管理系统

1.1社会背景 随着现代科学技术的迅猛发展,计算机技术已经渗透到哥哥领域,成为各行业必不可少的工具,特别是Internet技术的推广和信息高速公路的建立,使IT产业在市场竞争中越发显示出其独特的优势,步入信息化时代&…

C++三大特性——继承性(超万字详解)

目录 前言 一、封装 1. 封装(Encapsulation) 二、继承 1. 构造函数的调用顺序 原理: 2. 析构函数的调用顺序 原理: 3、派生类的隐藏 1. 成员函数隐藏 2. 成员变量隐藏 3. 基类函数的重载隐藏 三、多重继承问题 1. 构…

linux强制关闭再启动后zookeeper无法启动

1、若开启了zkserver就先关闭zkserver 查看zkserver是否启动 sh zkServer.sh status关闭zkServer sh zkServer.sh stop2、更改conf/zoo.cfg 将这里的启动端口改为2183 3、启动zkServer sh zkServer.sh start4、以2183端口启动zkCli zkCli.sh -server 127.0.0.1:2183这样启…

.net 之内存回收

前言 一些基本概念如下: 托管代码 托管代码就是执行过程交由运行时管理的代码。 在这种情况下,相关的运行时称为公共语言运行时 (CLR),不管使用的是哪种实现(例如 Mono、.NET Framework 或 .NET Core/.NET 5)。 CLR 负责提取托…

oracle sql分组(group,根据多个内容分组)在select之后from之前 再进行select查询,复杂子查询的使用

数据库中的表结构及内容如下: 表结构 表内容 分组查询语句如下: select TO_CHAR(riqi, YYYY-MM), address, busness, myclass,(select sum(money) from my_test where addressb.address and busnessb.busness and myclassb.myclass and istrue 是) sh…

中小企业体系技术抽象沉淀-异地灾备篇

IT团队内部使用工具 系列文章:https://blog.csdn.net/caicongyang/article/details/136857045 DDL DML管控 https://github.com/hhyo/Archery/ flyway 文档编写 wiki 技术对外输出文档推荐gitbook 同城双活数据同步方案 总览: vivo 系列文章&#x…

【LeetCode】每日一题 2024_9_22 找到小镇的法官(模拟)

前言 每天和你一起刷 LeetCode 每日一题~ LeetCode 启动! 题目:找到小镇的法官 代码与解题思路 func findJudge(n int, trust [][]int) int {// 我当时的思路就是:每个人(除了小镇法官)都信任这位小镇法官。// 直接…

Hive企业级调优[1]——计算资源配置

目录 企业级调优 计算资源配置 YARN 资源配置 MapReduce 资源配置 企业级调优 计算资源配置 本教程的计算环境为 Hive on MR。计算资源的调整主要包括 YARN 和 MapReduce。 YARN 资源配置 1)YARN 配置说明 需要调整的 YARN 参数均与 CPU、内存等资源有关&am…