一覧CS-02-1 · 文字・バイト・データ量

文字コードとバイト数の基礎

文字が数値として保存される仕組みと、文字数・データ量の関係を学びます。

説明

コンピューターが扱うデータは、0と1の組合せで表されます。この0または1の一桁がビットで、8ビットをまとめたものが1バイトです。文字も、決められた規則に従ってバイト列に変換してから保存します。この規則を文字コードと呼びます。

このモジュールでは、「文字がバイト列になるとどう見えるのか」「同じ文字数でもデータ量が変わるのはなぜか」を学びます。まず1バイトの値を2進数と16進数で表示し、次に英字と日本語をASCII・UTF-8という文字コードで変換します。最後に、そのバイト数を使って容量の単位と転送時間の計算を説明します。

11バイトの16進表記

8桁の2進数をそのまま書くと長いため、バイトは16進数で表すことがよくあります。16進数は0〜9とA〜Fを使い、Aは10、Fは15を表します。1桁が4ビットに相当するので、1バイトは16進数2桁で表せます。

例として、16進数の「A5」をバイト列に変換し、その内容を表示します。

raw =変数rawに保存 bytes.fromhex('a5')16進表記からバイト列を作る; raw.hex(' ')16進数で表示

'a5'と表示されました。大文字のA5と小文字のa5は同じ値です。rawに入っているのは、文字のAと5を保存した2バイトではなく、16進数A5で表す1バイトです。

2バイト数と、その中に入っている値

同じ1バイトについて、長さ・値・2進表記を並べます。

len(raw)バイト数, raw[0]先頭バイトの値, format(raw[0], '08b')8桁の2進数で表示

結果の1はバイト数、165は10進数の値、10100101は同じ値の2進表記です。2進数の各桁は、右から1、2、4、8、16、32、64、128を表します。1になっている桁を足すと128+32+4+1=165です。

31バイトで表せる値の範囲

00とFFでもバイト数を調べます。値の大きさによって、必要な長さが変わるかを確認してください。

[(x.hex()16進表記, len(x)バイト数, x[0]先頭バイトの値) for x in (bytes.fromhex('00'), bytes.fromhex('ff'))00とFFを順に処理]

00の値は0、FFの値は255ですが、どちらも1バイトです。8ビットの組合せは2⁸=256通りあります。負の数を扱わない符号なし整数なら、1バイトで0〜255を表せます。

4ASCIIでの英字の表し方

ASCIIでは、英字や数字などに0〜127の番号が割り当てられています。例として文字「A」をASCIIへ変換します。

text = 'A'文字列を保存; raw = text.encode('ascii')ASCIIへ符号化; raw.hex(' ')16進表記, raw[0]10進数の値

文字「A」に対応する値は、16進数で41、10進数で65です。最初に使った16進数A5とは異なります。文字と番号の対応は、説明欄の末尾にある「対応表・資料」で全128値を確認できます。

5ASCIIとUTF-8に共通する文字

UTF-8は、日本語を含む多くの文字を表せる文字コードです。まず「ABC」をUTF-8へ変換します。Unicodeで文字に割り当てられた番号を、コードポイントと呼びます。

text = 'ABC'3文字の文字列; raw = text.encode('utf-8')UTF-8へ符号化; [ord(c) for c in text]各文字のコードポイント, raw.hex(' ')バイト列の16進表記

「A」「B」「C」のコードポイントは10進数で65・66・67、保存するバイトは16進数で41・42・43です。ASCIIに含まれる文字は、UTF-8でも同じ1バイトで表されます。

6UTF-8では「あ」が3バイトになる

次は「Aあ」です。各文字のコードポイントと、UTF-8で保存するバイト列を並べます。

text = 'A\u3042'「Aあ」を保存; raw = text.encode('utf-8')UTF-8へ符号化; [f'U+{ord(c):04X}' for c in text]各文字のコードポイントを16進表示, raw.hex(' ')バイト列の16進表記

「A」はU+0041、「あ」はU+3042です。一方、UTF-8で保存するバイト列は41 E3 81 82で、計4バイトになります。「あ」のコードポイント3042を、そのまま2バイトにして保存するわけではありません。

7文字数とバイト数が異なる理由

「Aあ」の文字数と、UTF-8に変換したバイト列の長さを調べます。

len(text)コードポイント数, len(raw)バイト数, len(raw) * 8ビット数

「Aあ」は2コードポイントですが、UTF-8では4バイト、つまり32ビットです。「A」は1バイト、「あ」は3バイトなので、文字数だけではデータ量を求められません。

なお、結合文字などを含む文字列では、見た目の文字数とコードポイント数も一致しないことがあります。

8UTF-8のビットの並び

UTF-8は、先頭の数ビットで、そのバイトが文字の始まりなのか、続きなのかを表します。各バイトを2進数にして、その並びを確認します。

[format(b, '08b')各バイトを8桁の2進数にする for b in rawrawの全バイトを順に処理]

「A」のバイトは0で始まります。これはASCII範囲の文字を1バイトで表す形式です。「あ」は1110で始まるバイトと、10で始まる二つのバイトになっています。

1110と10を除いた4+6+6ビットをつなげると0011 0000 0100 0010です。16進数にすると3042となり、「あ」のコードポイントが得られます。

9バイト列から文字列に戻す処理

文字列をバイト列に変換する処理を符号化、その逆を復号と呼びます。UTF-8で復号すると元の文字列に戻るかを確認します。

raw.decode('utf-8')UTF-8で文字列に戻す, raw.decode('utf-8') == text元の文字列との一致を判定

「Aあ」に戻り、比較結果はTrue、つまり等しいという結果になりました。保存されたバイト列を文字として扱うには、符号化したときと同じ文字コードで復号します。

10kBとKiBの換算

kBは1000バイト、KiBは1024バイトを1単位とする表記です。同じバイト列を1000個つなげ、二つの単位で容量を求めます。

payload = raw * 1000バイト列を1000個つなぐ; len(payload)B単位, len(payload) / 1000kB単位, len(payload) / 1024KiB単位

4000 Bを1000で割ると4 kB、1024で割ると3.90625 KiBです。どちらも同じ4000バイトを表しています。単位が違うと数値も変わるため、容量を確認するときは単位まで読む必要があります。

11GBとGiBで容量表示が変わる理由

GBは10⁹バイト、GiBは2³⁰バイトを1単位とします。1 GBに相当するバイト数を、それぞれの単位で表示します。

size = 10**910⁹バイト; print(f'{size / 10**9:.3f} GB / {size / 2**30:.3f} GiB')GBとGiBへ換算し小数点以下3桁で表示

1.000 GBが、GiBでは約0.931と表示されました。数値の違いは単位の換算によるものです。保存されているデータ量が減ったわけではありません。

12通信速度から転送時間を求める式

通信速度のMbit/sは、1秒当たりに転送するメガビット数です。ファイル容量のMBはメガバイトなので、そのまま割り算はできません。100 MBのデータを80 Mbit/sで送る例で、時間を計算します。

size = 100 * 10**6100 MBのバイト数; bits_per_second = 80 * 10**680 Mbit/s; size / (bits_per_second / 8)速度をB/sに直して転送秒数を計算

80 Mbit/sを8で割ると10 MB/sです。100 MB÷10 MB/sで、転送時間は10秒になります。この計算はデータ部分を一定の速度で送れる場合の値で、通信ヘッダーや再送による追加時間は含みません。

まとめ

文字「Aあ」は2コードポイントですが、UTF-8では41 E3 81 82の4バイトになります。文字に割り当てた番号と、保存するバイト列は、文字コードの規則に従って対応しています。

容量や転送時間の計算では、bitとB、kBとKiBなどの単位を確認します。同じ量でも、使う単位によって表示される数値は変わります。

操作履歴と解説を振り返れます。

対応表・資料

ASCII全128値
10進	16進	2進	文字・制御名
0	00	00000000	NUL
1	01	00000001	SOH
2	02	00000010	STX
3	03	00000011	ETX
4	04	00000100	EOT
5	05	00000101	ENQ
6	06	00000110	ACK
7	07	00000111	BEL
8	08	00001000	BS
9	09	00001001	HT
10	0A	00001010	LF
11	0B	00001011	VT
12	0C	00001100	FF
13	0D	00001101	CR
14	0E	00001110	SO
15	0F	00001111	SI
16	10	00010000	DLE
17	11	00010001	DC1
18	12	00010010	DC2
19	13	00010011	DC3
20	14	00010100	DC4
21	15	00010101	NAK
22	16	00010110	SYN
23	17	00010111	ETB
24	18	00011000	CAN
25	19	00011001	EM
26	1A	00011010	SUB
27	1B	00011011	ESC
28	1C	00011100	FS
29	1D	00011101	GS
30	1E	00011110	RS
31	1F	00011111	US
32	20	00100000	SP（空白）
33	21	00100001	!
34	22	00100010	"
35	23	00100011	#
36	24	00100100	$
37	25	00100101	%
38	26	00100110	&
39	27	00100111	'
40	28	00101000	(
41	29	00101001	)
42	2A	00101010	*
43	2B	00101011	+
44	2C	00101100	,
45	2D	00101101	-
46	2E	00101110	.
47	2F	00101111	/
48	30	00110000	0
49	31	00110001	1
50	32	00110010	2
51	33	00110011	3
52	34	00110100	4
53	35	00110101	5
54	36	00110110	6
55	37	00110111	7
56	38	00111000	8
57	39	00111001	9
58	3A	00111010	:
59	3B	00111011	;
60	3C	00111100	<
61	3D	00111101	=
62	3E	00111110	>
63	3F	00111111	?
64	40	01000000	@
65	41	01000001	A
66	42	01000010	B
67	43	01000011	C
68	44	01000100	D
69	45	01000101	E
70	46	01000110	F
71	47	01000111	G
72	48	01001000	H
73	49	01001001	I
74	4A	01001010	J
75	4B	01001011	K
76	4C	01001100	L
77	4D	01001101	M
78	4E	01001110	N
79	4F	01001111	O
80	50	01010000	P
81	51	01010001	Q
82	52	01010010	R
83	53	01010011	S
84	54	01010100	T
85	55	01010101	U
86	56	01010110	V
87	57	01010111	W
88	58	01011000	X
89	59	01011001	Y
90	5A	01011010	Z
91	5B	01011011	[
92	5C	01011100	\
93	5D	01011101	]
94	5E	01011110	^
95	5F	01011111	_
96	60	01100000	`
97	61	01100001	a
98	62	01100010	b
99	63	01100011	c
100	64	01100100	d
101	65	01100101	e
102	66	01100110	f
103	67	01100111	g
104	68	01101000	h
105	69	01101001	i
106	6A	01101010	j
107	6B	01101011	k
108	6C	01101100	l
109	6D	01101101	m
110	6E	01101110	n
111	6F	01101111	o
112	70	01110000	p
113	71	01110001	q
114	72	01110010	r
115	73	01110011	s
116	74	01110100	t
117	75	01110101	u
118	76	01110110	v
119	77	01110111	w
120	78	01111000	x
121	79	01111001	y
122	7A	01111010	z
123	7B	01111011	{
124	7C	01111100	\|
125	7D	01111101	}
126	7E	01111110	~
127	7F	01111111	DEL

Python 3

raw = bytes.fromhex('a5'); raw.hex(' ')

'a5'

len(raw), raw[0], format(raw[0], '08b')

(1, 165, '10100101')

A5の各ビット
重み	128	64	32	16	8	4	2	1
ビット	1	0	1	0	0	1	0	1

[(x.hex(), len(x), x[0]) for x in (bytes.fromhex('00'), bytes.fromhex('ff'))]

[('00', 1, 0), ('ff', 1, 255)]

text = 'A'; raw = text.encode('ascii'); raw.hex(' '), raw[0]

('41', 65)

text = 'ABC'; raw = text.encode('utf-8'); [ord(c) for c in text], raw.hex(' ')

([65, 66, 67], '41 42 43')

text = 'A\u3042'; raw = text.encode('utf-8'); [f'U+{ord(c):04X}' for c in text], raw.hex(' ')

(['U+0041', 'U+3042'], '41 e3 81 82')

文字とUTF-8の対応
文字	コードポイント	UTF-8	バイト数
A	U+0041	41	1
あ	U+3042	E3 81 82	3

len(text), len(raw), len(raw) * 8

(2, 4, 32)

[format(b, '08b') for b in raw]

['01000001', '11100011', '10000001', '10000010']

「あ」を表すUTF-8の3バイト
位置	バイト	形式を示すビット	コードポイントのビット
1	E3	1110	0011
2	81	10	000001
3	82	10	000010

raw.decode('utf-8'), raw.decode('utf-8') == text

('Aあ', True)

payload = raw * 1000; len(payload), len(payload) / 1000, len(payload) / 1024

(4000, 4.0, 3.90625)

size = 10**9; print(f'{size / 10**9:.3f} GB / {size / 2**30:.3f} GiB')

1.000 GB / 0.931 GiB

size = 100 * 10**6; bits_per_second = 80 * 10**6; size / (bits_per_second / 8)

10.0

演習完了