Định luật Shannon (Shannon's Law).

Vào năm 1948 nhà toán học Shannon, người được xem là cha đẻ của kỷ nguyên thông tin, đã trình bày công thức về thông lượng kênh (channel capacity), được gọi là Định luật Shannon. Đây là một định luật cơ bản mà mọi kỹ sư viễn thông đều phải biết.

Định luật Shannon định nghĩa thông lượng kênh (ký hiệu C) như tốc độ bit (R) lớn nhất mà chúng ta có thể thông tin qua kênh đó mà thông tin không bị méo.

Thông lượng kênh được xác định:

C = W log2 (1 + S/N) (1)

với W là băng thông của kênh thông tin, có đơn vị đo là [Hz], S là công suất của tín hiệu được truyền đi, có đơn vị [W], N là công suất của nhiễu, cũng có đơn vị đo [W]. C và R có thứ nguyên [bit/giây] hay [b/s].

Để hiểu một cách trực giác công thức trên ta giả sử S » N, và lượng tử hóa S bằng n bit, có nghĩa là chia S thành 2n mức. Đồng thời giả sử N có bậc của biên độ một mức lượng tử của S, có nghĩa là N=1, do vậy S/N = 2n. Khi đó ta có giá trị gần đúng:

C = n W (2)

Điều này có nghĩa rằng thông lượng bằng số bit trong một symbol nhân với băng thông kênh. Khi nhiễu N lớn hơn, ta phải tự hạn chế có nghĩa là lượng tử hóa thô hơn sao cho một mức lượng tử hóa tín hiệu bằng với mức nhiễu, có nghĩa là giảm n, hay giảm số bit tạo thành một symbol.

Định luật Shannon nói cho ta biết rằng tốc độ bit lớn nhất mà kênh có thể đạt được, hay điều tốt nhất ta có thể làm, là R=C (3).

Tuy nhiên các hệ thống được thực hiện trong thực tế luôn có R.

Khi thay (3) vào (1) và biến đổi ta có thể viết lại công thức (1) như sau:

(W/R) log2 [1+ (Eb/N0) (R/W)] = 1 (4)

với Eb là năng lượng của 1 bit tín hiệu, có đơn vị [joule/bit] hay [J/b], còn N0 là công suất nhiễu trên một đơn vị băng thông, có đơn vị [W/Hz].

Giải thích biến đổi như sau: Eb × R có thứ nguyên [J/b] ×[b/s] = [J/s] = Watt và biểu diễn công suất tín hiệu, ký hiệu bởi S như ở trên; N0×W là công suất nhiễu chứa trong băng thông W, ký hiệu N. Do vậy (Eb/N0) (R/W) trong (4) chính là S/N trong (1).

Có thể đo chỉ tiêu kỹ thuật của kênh thông tin như tốc độ bit có thể đạt được trên một đơn vị băng thông (R/W) theo tỷ số giữa năng lượng trong 1 bit và công suất nhiễu theo tần số (Eb/N0).

Khi chuẩn hóa (4) bằng việc định nghĩa hiệu suất băng thông y = (R/W) [b/s/Hz] và ký hiệu x = Eb/N0 ta có:

(1/y) log2 (1 + xy) = 1 (5)

hoặc (1 + xy)1/y = 2 (6)

Đối với y>0, khi lấy giới hạn toán học: (1+ xy)1/y → ex, ở đây e = 2.718, do vậy

x = ln(2) = 0.693, hoặc -1.6 dB.

Điều này có nghĩa rằng khi ta có băng thông vô hạn, công suất tín hiệu trong một bit có thể chỉ bằng 69% công suất nhiễu (hoặc thấp hơn nhiễu 1.6 dB) trong một đơn vị băng thông mà thông tin truyền qua kênh vẫn không bị méo.

Hình 1 là đồ thị mô tả công thức (6). Ngoài ra có thể miêu tả quan hệ R/W theo (S/N), có nghĩa là y theo z=xy trong công thức (5) bằng biến đổi sau:

log2 (1 + z) = y (7)

Hình 2 mô tả quan hệ trong công thức (7). Các đường biểu diễn giới hạn toán học của các công thức (6) và (7) khi cho y → 0 (có nghĩa W → ∞ ) được gọi là giới hạn Shannon, là hiệu suất băng thông lý tưởng của kênh thông tin.Khi biết giới hạn Shannon, các thực thể nghiên cứu (tổ chức, cá nhân) hoặc các nhà công nghiệp đều cố gắng tìm kiếm phương pháp mã hóa tốt hơn sao càng gần giới hạn này càng tốt.

Tất nhiên các đường mô tả hệ thống thực tế đều nằm phía dưới phía bên phải của đường giới hạn Shannon.

Tóm lại, định luật Shannon cho ta biết tốc độ bit lớn nhất mà kênh thông tin, với băng thông xác định, có thể cung cấp, sao cho thông tin truyền qua nó không bị méo, ứng với các tỷ số tín hiệu/nhiễu khác nhau. Tỷ số tốc độ bit/băng thông được gọi là hiệu suất băng thông, và đồ thị mô tả mối quan hệ của nó theo các tỷ số S/N khác nhau ứng với trường hợp lý tưởng (W → ∞) được gọi là giới hạn Shannon.