Em Informática é muito importante considerar a capacidade de armazenamento, já que quando se faz algo no computador, trabalha-se com arquivos que podem ser guardados para uso posterior. Evidentemente, quando se armazena algo, isto ocupa um certo espaço de armazenamento.
Assim como a água é medida em litros ou o açúcar é medido em quilos, os dados de um computador são medidos em bits e bytes. Cada valor do código binário foi denominado “bit” (binary digit), que é a menor unidade de informação. Cada conjunto de 8 bits forma o byte, o qual corresponde a um caractere, seguindo o código binário.
Por que 1 Kb equivale a 1024 bytes?
Quando falamos em bytes, grupos de bits, não estamos falando em base 10, mas sim em uma estrutura fundamentada no código binário, ou seja, na base 2, nos 2 modos que o computador detecta, geralmente chamados de 0 e 1. Mas não há número inteiro possível que atinja exatamente o valor 1.000. Então, ao elevarmos a base 2 à décima potência, teremos 1024.

BIT - Binary BigiT, é a menor unidade de medida. O computador não interpreta os caracteres conforme nós interpretamos, para ele existe apenas duas situações possíveis, SIM ou NÃO; CERTO ou ERRADO; 0 (zero) ou 1 (um). Ele só entende a presença de pulso elétrico, 1 (um) e a falta dele 0 (zero).

BYTE - é o conjunto de 8 Bit’s que combinados formam 1 (um) caractere ( uma letra, um número, um símbolo, um acento, etc). Ex: 00000011 = 3. Portanto a palavra SÃO PAULO é formada por 9 bytes, contando o espaço em branco. Como as unidades de medida de informação são baseadas em bit’s, todo cálculo é baseado no resultado de um cálculo exponencial, no caso do Byte é 2³ = 8.

Baseado em fontes:

1. http://infoblogs.com.br/view.action?contentId=33802&Unidade-de-Medida-de-Informacao.html
2. http://www.algosobre.com.br/informatica/unidades-de-medida-do-computador.htm
3. http://computerdicas.blogspot.com/2008/03/unidade-de-medida-de-informao.html