Яким чином визначити кількість інформації?

Аналогічно, для визначення кількості інформації необхідно ввести одиницю виміру. За одиницю кількості інформації приймають таку кількість інформації, яка міститься в інформаційному повідомленні, що зменшує невизначеність знання вдвічі. Така одиниця названа бітом.

Тому, щоб обчислити обсяг інформації всього повідомлення, потрібно кількість символів, наявних у повідомленні, помножити на інформаційну вагу одного символу. Математично цей добуток записується так: I = К – i. Наприклад: повідомлення, записане літерами 32-символьного алфавіту, містить 180 символів.

Існує три основні способи вимірювання інформації: об’ємний; ентропійний; алгоритмічний.

Кожен символ деякого повідомлення має певну інформаційну вагу – несе фіксовану кількість інформації. Щоб визначити кількість інформації в повідомленні, потрібно знати інформаційну вагу одного символу. Інформаційна вага символу залежить від кількості символів у використовуваному алфавіті.