运维开发网

C++中输出十六进制形式的字符串

运维开发网 https://www.qedev.com 2020-03-27 10:41 出处:网络 作者: daisy
前言 在进行 i18n 相关的开发时,经常遇到字符编码转换的错误。这时如果能把相关字符串用十六进制的形式打印出来,例如,\"abc\" 输出成 \"\\\\x61\\\\x62\\\\x63\" 这对于 i18n 的除错来说是很有帮助的。Python 里面

前言

在进行 i18n 相关的开发时,经常遇到字符编码转换的错误。这时如果能把相关字符串用十六进制的形式打印出来,例如,"abc" 输出成 "\\x61\\x62\\x63" 这对于 i18n 的除错来说是很有帮助的。Python 里面,只需要使用 repr() 函数就行了。可在 C++ 中如何做到这点呢?

下面是用 ostream 的格式化功能的一个简单的实现:

std::string get_raw_string(std::string const& s)
{
 std::ostringstream out;
 out << '\"';
 out << std::hex;
 for (std::string::const_iterator it = s.begin(); it != s.end(); ++it)
 {
 out << "\\x" << *it;
 }
 out << '\"';
 return out.str();
}

看上去简单直接,但很可惜这段代码不能实现我们的意图。它还是按字面输出了每个字符。可我们明明指定了使用 std::hex 来格式化输出啊!?问题原来是出在 std::hex 只是一个针对整数类型的输出格式设置,当输出字符类型时,C++ 流还是按照字面输出。到 ostream 的文档去细查才知,原来 C++ 标准输出流对于格式化输出的控制很弱,只能提供有限的几种格式定制,而且大部分都是针对整数和浮点数类型的,对于字符类型完全没有参数可以控制。有点讽刺的是, ostream 利用了 C++ 的函数重载和强类型机制做到了在表达力不输于 C 的同时,又杜绝了臭名昭著的 printf 带来的无穷的麻烦,大大增加了安全。可在这里,强类型安全反而是我们达到目的的障碍:我就是想让 ostream 把字符当成整数打印啊!还好,C++ 还有类型强转这招可以让我们绕过强类型匹配这道安全闸门:

out << std::hex << "\\x" << static_cast<int>(*it);

好了,这下字符都按整数来输出了,而 std::hex 又指示 ostream 用十六进制表示去输出整数。问题解决了。且慢,为什么输出 UTF-8 中文编码的时候会变成这样:

"\xffffffe4\xffffffb8\xffffffad" // get_raw_string("中")

这么多的 F word 太影响市容了。能不能把它们去掉?其实原因在于,我们输出的是强制类型转换成 int 的整形数值,而 int 是 32 bit 长,所以会多出前面这么多位来。如果要去掉,只要转成 8 bit 的整数不就行了吗。可惜 C/C++ 中没有 8 bit 的整数,你唯一能做到的是

typedef char int8_t;

可是用这样得来的 int8_t 去转也还是不行,因为在 C++ 中,typedef 并没有产生一个新的类型,而只是定义了一个原来类型的别名。而这个别名是不参与到函数重载的匹配计算当中的。换言之,ostream 说了,别以为你披上件 int8_t 的马甲我就不认识你了,我还是把你当 char 来输出。此路不通!

那我们就放弃利用 ostream 了吗?且慢,其实 ostream 默认是不会输出前面的 0 的,那只要把最后 8 bit 之前的位都抹成 0 不就能达到我们的要求了吗。

好了,下面就是无错最终版:

std::string get_raw_string(std::string const& s)
{
 std::ostringstream out;
 out << '\"';
 out << std::hex;
 for (std::string::const_iterator it = s.begin(); it != s.end(); ++it)
 {
 // AND 0xFF will remove the leading "ff" in the output,
 // So that we could get "\xab" instead of "\xffab"
 out << "\\x" << (static_cast<short>(*it) & 0xff);
 }
 out << '\"';
 return out.str();
}

经历了几番波折,终于成功利用了 ostream 提供的十六进制输出的功能实现了打印字符串十六进制的功能。其实细究起来,之所以那么绕,还是因为 ostream 本身在格式化输出控制方面太弱了。进一步的,C++ 里还有更好的工具做这件事吗? boost::format 看起来象是,但它依然不能正确处理我们上面遇到的两难境地。好在,另一个 boost 库给出了合适的答案: boost::spirit::karma

Karma 是 boost::spirit 库的一部分。大家可能比较熟悉的是用 spirit 库做 parser 来解析字符串。而 spirit 通过 Karma 提供的功能就恰好相反,它是专门用来将 C++ 数据结构格式化为字符流的。

我们恰好就需要它,下面就是用 karma 库重写的代码:

template <typename OutputIterator>
bool generate_raw(OutputIterator sink, std::string s)
{
 using boost::spirit::karma::hex;
 using boost::spirit::karma::generate;

 return generate(sink, '\"' << *("\\x" << hex) << '\"', s);
}

std::string get_raw_string_k(std::string const& s)
{
 std::string result;
 if (!generate_raw(std::back_inserter(result), s))
 {
 throw std::runtime_error("parse error");
 }

 return result;
}

这里面最主要就是利用了 karma 内置的一个输出模块 karam::hex 来帮我们完成工作,而这个 hex 是一个多态的生成器。它不象 ostream 的类型重载,只能针对某些类型输出 hex 格式,而是针对所有类型都能输出 hex 格式,包括 char 。还有一个优点,代码的表达力更强了,输出的格式完全在一行代码中体现:

// 输出格式为 "\x61\x62\x63",方便直接贴到 python 或 C++ 的代码中
'\"' << *("\\x" << hex) << '\"'

如果想要改变输出格式,只需要改这行代码即可,例如:

// 输出格式变为 "0x61 0x62 0x63 "
'\"' << *("0x" << hex << " ") << '\"'

那么效率方面有没有任何性能损失呢?下面是一段测试代码,分别用两种算法转换相同的字符串:

#include "boost/test/unit_test.hpp"
#include "boost/../libs/spirit/optimization/measure.hpp"
#include "string.hpp" // The function for test

static std::string const message = "hex output performance test data 中文";

struct using_karma : test::base
{
 void benchmark()
 {
 this->val += get_raw_string_c(message).size();
 }
};

struct using_ostream : test::base
{
 void benchmark()
 {
 this->val += get_raw_string(message).size();
 }
};

BOOST_AUTO_TEST_CASE(TestStringPerformance)
{
 BOOST_SPIRIT_TEST_BENCHMARK(
 100,
 (using_karma)
 (using_ostream)
 );

 BOOST_CHECK_NE(0, live_code);
}

下面是运行的结果,分别是两种算法需要的时间,值越小越好:

算法 耗时(s)
karma 6.97
ostream 14.24

可能出乎意料,大致来说 karma 比 ostream 快了一倍。这也与 spirit 官方给出的性能数据差不多。这里的函数返回值是通过 std::string 值拷贝返回的,消耗了不少时间,如果纯从格式化输出来说,猜测 karma 的性能优势只会更大。另一份测试 表明,karma 应该是 C/C++ 里面你能找到的速度最快的格式化字符流方案了。

对于这么简单的功能来说,这篇文章已经显得太长了,庆幸的是,我们最终还是找到了一个表达力强,性能高的十六进制输出方案。人说好事难双,可 C++ 这门复杂的语言,却经常能找执行飞快又高度抽象的代码方案。只是有些过于复杂了 ...

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

0

精彩评论

暂无评论...
验证码 换一张
取 消