字节序转换LC0117

一般而言,字节序指示大于一个字节类型的数据在内存中的存放顺序(一个字节的数据当然就无需谈顺序的问题了)。

a)Little-Endian就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。b)Big-Endian就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。

举个例子:一个32位的整型数0x12345678,在内存中的长度是4个字节。假如他在内存中的首地址是0x10000000.

在Little-Endian中

0x10000000->0x78

0x10000001->0x56

0x10000002->0x34

0x10000003->0x12

在Big-Endian中

0x10000000->0x12

0x10000001->0x34

0x10000002->0x56

0x10000003->0x78

哪些平台是Little-Endian,哪些是Big-Endian?

就目前我所知道的:

Little-Endian:PC(x86),DreamCast

Big-Endian:MAC,GC,XBOX360,PS3

因此在涉及到这些平台间的移植时,需要考虑到字节序转换问题。

如何判断一个平台是什么字节序?

给个简单的例子:

enumENDIAN_TYPE{

ENDIAN_LITTLE,

ENDIAN_BIG,

};

ENDIAN_TYPEGetCurrentEndianType()

{

unsignedlongdata=1;

return(*(unsignedchar*)(&data)==1)ENDIAN_LITTLE:ENDIAN_BIG;

}

如何进行字节序转换?

字节序问题本身是个很简单的问题,单独转换某个变量的字节序也是个很简单的问题,只需要一行代码就可以搞定,以32位长的整型为例,这样一个函数就够了:

Uint32SwapBytesUint32(Uint32v)

return(v>>24)|((v>>8)&0xff00)|((v<<8)&0xff0000)|(v<<24);

但是注意个函数其实有隐患,当传入参数是浮点数时,虽然也是32位,但是编译器会做隐式类型转换,先将浮点数转化为整型,再对这个整型进行字节序转换。例如如果传入的是0.5,会先被转换成0,然后进行字节序转换后输出还是0。

安全的做法应该是这样:

voidSwapBytesUint32_Ptr(Uint32*v)

*v=(*v>>24)|((*v>>8)&0xff00)|((*v<<8)&0xff0000)|(*v<<24);

但在实际的移植项目中却往往非常麻烦。其根本原因是在于我们无法直接从一段内存中判断一个变量的长度。例如内存中一段数据0x12345678.他可能是4个char,也可能是2个short,也可能是1个long.这3种情况下做字节序转换会得到3种不同的结果。

BigEndianLittleEndian

4个char0x123456780x12345678

2个short0x123456780x34127856

1个long0x123456780x78563412

因此,我们必须100%准确的知道他原来是什么类型,才能做出正确的转换。

--------------------------------------------------------------------------------------

好了,以上其实都是老生常谈,google一搜一大把,但在实际工程应用中要比这个复杂。

首先,很少有项目能够提供完整的准确的数据结构的文档,多数情况我们只能靠猜=.=!

其次,当原始数据结构里面有指针时,单纯遍历容易出现重复转字节序的问题。

例如,这样的数据结构:

structMapUnit{//地图单元定义

listm_neighbors;

//data...

};

在上面的例子中,如果没有完整的地图单元的列表,而只能通过遍历相邻的地图转字节序时,很容易出现重复转字节序的问题。而且这种问题非常难以debug.

那么在工程中我们如何避免这种问题?从需求出发,我们需要这样一个机制,能够识别出重复转的变量,跳过或者报一个警告。很显然,需要我们在转字节序的时候将转过的变量记录下来。

可以设计一个诸如下面的代码框架:

SWAPBYTES_BEGIN();

SWAPBYTES_UINT16_VAR(a);

SWAPBYTES_UINT16_VAR(b);

SWAPBYTES_UINT16_VAR(c);

SWAPBYTES_UINT16_VAR(a);//这个时候变量a不会再一次转字节序

SWAPBYTES_UINT16_VAR(d);

SWAPBYTES_END()

其中SWAPBYTES_BEGIN()/SWAPBYTES_END()定义了一个代码段,在这一段代码中,对于相同地址的变量,不会进行重复的字节序转换。

具体实现是在调用SWAPBYTES_BEGIN()的时候建立一个以变量地址为key的map,每次对变量进行字节序转换时,先检测变量的地址是否已在map中,是的话直接跳过,否则将变量的地址(以及其他辅助信息)添加进来,然后对该变量进行字节序转换。

说实话,做移植项目的字节序转换相当痛苦……需要极其细心,因为任何一个变量的遗漏都会导致bug.

而且代码中会充斥着乱七八糟的SWAPBYTES_XXXX()的代码~~~~~~我恨移植!!!

如果是原创项目,就可以比较干净的解决了:)

这里介绍一种方法。由于字节序问题的本质是在数据写入时丢失了数据长度的信息,因此我们可以在文件头中额外加入文件中每个变量的长度即可。

文件头定义如下:

structFileHeader{

charEndianType;

Uint32HeaderSize;

charVarLen[1];

其中EndianType标示文件写入时是BigEndian还是LittleEndian,HeaderSize标示整个FileHeader的大小,由于是32位的,所以需要根据EndianType进行字节序转换。VarLen是每个变量的长度。之后根据VarLen中的值,对文件扫描一遍就可以完全转换,不会有遗漏和重复。这个过程可以是在运行时或者预先转好,取决于实际应用需要。

当然这个方法有一个明显的问题是数据文件会变大,通常会变为原大小的1.5倍。不过由于这种数据比较特殊(通常只是1,2,4这几个数字),有很多压缩方法可以缩小文件头,这里就不一一说明了。

THE END
1.Contents/premium.mdatmaster·Newslab2020/Contents·GitHub发生在英国与美国的两个系列官司; 陪审团、直播、短视频、梗图; #MeToo与女权遭遇的反弹? 591 “自媒体”十年 2022/5/24 “自媒体”十年:流量生意,一地鸡毛; “自媒体推动民主化”的想象; 平台与内容工厂的合谋; “人民币是最大驱动因素”; 一个没有自律和理想追求的行业。 https://github.com/Newslab2020/Contents/blob/master/premium.md
2.Java208道面试题,大厂不是梦,好东西就要让更多人看到6、String str="i"与 String str=new String(“i”)一样吗? 7、如何将字符串反转? 8、String 类的常用方法都有那些? (1)常见String类的获取功能 (2)常见String类的判断功能 (3)常见String类的转换功能 (4)常见String类的其他常用功能 9、new String("a") + new String("b") 会创建几个对象? https://blog.csdn.net/IT_LaoFan/article/details/122116290
3.支付宝支付宝,全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA收款等生活服务应用。https://www.alipay.com/
4.安全生产关于化妆品安全,这些知识快收藏!如何判断一个产品是否属于化妆品? 消费者可通过定义判断一个产品是否属于化妆品。化妆品首先是日用化学工业产品,且同时符合使用目的、使用方法、使用部位的限制要求。使用目的超出清洁、保护、美化和修饰目的的产品,如宣称具有医疗作用的;使用方法超出涂擦、喷洒或者其他类似方法的产品,如采用口服、注射的;施用部位超出人https://www.ntv.cn/zxhArticle.shtml?id=246451
5.63期53期59期一、判断 1、测试过程中出现的异常情况,让对方恢复即可不需要及时记录(X ) 2、习近平总书记说“没有信息安全,就没有国家安全;没有信息化,就没有现代化”(√) 二、单选 1、管理测评的方法是什么() A访谈和核查 2、“应将开发环境与实际运行环境物理分开,测试数据和测试结果受到控制 ”,属于哪个控制点? https://www.jianshu.com/p/ccf3e27ffd19
6.通过非国家工作人员为他人谋利并收受财物如何定性———要闻谋利事项的性质,是判断是否具有权钱交易本质的另一个重要因素 除职权制约或影响程度外,国家工作人员通过非国家工作人员为他人谋利的类型和性质,也是判断公权力在其中发挥作用程度的重要因素,可分为以下四种类型。 一是谋利事项与职权紧密相关。比如,分管城建的副县长,为老板承揽市政工程提供帮助,同时让老板将工程的部分高https://www.ccdi.gov.cn/yaowenn/202112/t20211215_158885_m.html
7.今日头条今日头条是一个通用信息平台,致力于连接人与信息,让优质丰富的信息得到高效精准的分发,促使信息创造价值。https://www.toutiao.com/
8.腾讯网腾讯网从2003年创立至今,已经成为集新闻信息,区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道,充分满足用户对不同类型资讯的需求。同时专注不同领域内容,打造精品栏目,并顺应技术发展趋https://qq.com/
9.hao123充绒量仅3克 波司登:绒跟绒不一样 丈夫杀熊救妻事件:夫妻已出院回家 王大发说鹿晗关晓彤没办酒而已 隰县人没想到黑神话带来泼天流量 投喂野生动物不是爱心而是灾难 15岁少女遭性侵后死亡 警方拘捕4人 日本面向中国公民新设10年旅游签热 山姆代购每月返现可高达万元热 https://www.hao123.com/
10.java判断网站是否正常mob64ca12dc54c5的技术博客在日常的软件开发过程中,经常会遇到需要判断一个网站是否正常访问的情况。这在监控系统健康状态、自动化测试等场景下尤为重要。本文将介绍如何使用Java来判断一个网站是否正常,以及如何处理异常情况。 使用Java进行网站健康状态检测 我们可以使用Java中的HttpURLConnection类来发送HTTP请求,然后根据返回的状态码来判断网站是https://blog.51cto.com/u_16213348/11301229
11.五经普形堂轻松get普查登记知识点(数字经济篇)(7)使用工业互联网指通过对人、机、物的全面互联,构建起全要素、全产业链、全价值链全面连接的新型工业生产制造服务体系。包括智能化制造、网络化协同、服务化延伸、个性化定制、数字化管理、平台化设计等6种模式。 08 贵企业是否通过网站或应用程序(APP)实现商品或服务交易?(跳至10题) https://www.ntjoy.com/html/minshengxinwen/2023/1214/507919.shtml
12.如何判断一篇文章是否可信?信息素养方法论:8个标准我有一位新认识的朋友,一个地道的福建人,她在厦门长大,而且在厦门大学法学院读了7年的书。早上,给我发来一篇她写的文章《如何判断一个作者是否真专业?》。 这篇文章提出了一个问题:面对海量的、又观点相反的互联网热文,如何判断哪一篇具有更高的可信度呢?有没有基本的判断标准呢? http://www.360doc.com/content/19/0802/14/200041_852575059.shtml
13.可信计算之完整性度量架构腾讯云开发者社区挑战者(验证者V)向证明者(示证者A)发送一个挑战证明的消息以及一个随机数nonce。该随机数的存在可以防止重放攻击。 证明者把经过身份密钥或签名密钥加签的PCR结果、度量日志以及随机数返回给挑战者。挑战者拿到返回后,先用公钥对PCR值进行验签,验签通过后,将度量日志的每一项与预期值进行对比,以此判断平台是否可信。https://cloud.tencent.com/developer/article/2409984