임의 변수의 엔트로피는 어떤 조건에서 사라지며, 이는 변수에 대해 무엇을 의미합니까?

/ / 에 게시됨 사이버 보안, EITC/IS/QCF 양자 암호화 기초, 엔트로피, 고전적인 엔트로피, 심사 검토

확률 변수의 엔트로피는 변수와 관련된 불확실성 또는 무작위성의 양을 나타냅니다. 사이버보안 분야, 특히 양자암호학에서는 확률변수의 엔트로피가 사라지는 조건을 이해하는 것이 중요하다. 이 지식은 암호화 시스템의 보안과 신뢰성을 평가하는 데 도움이 됩니다.

무작위 변수 X의 엔트로피는 X의 결과를 설명하는 데 필요한 비트 단위로 측정된 정보의 평균 양으로 정의됩니다. 이는 변수와 관련된 불확실성을 정량화하며, 엔트로피가 높을수록 무작위성 또는 예측 불가능성이 크다는 것을 나타냅니다. 반대로 엔트로피가 낮거나 사라지는 경우는 변수가 결정론적이 되었음을 의미하며, 이는 변수의 결과를 확실하게 예측할 수 있음을 의미합니다.

고전적 엔트로피의 맥락에서 랜덤 변수의 엔트로피가 사라지는 조건은 변수의 확률 분포에 따라 달라집니다. 확률 질량 함수 P(X)를 갖는 이산 확률 변수 X의 경우 엔트로피 H(X)는 다음 공식으로 제공됩니다.

H(X) = – Σ P(x) log2 P(x)

여기서 합계는 X가 취할 수 있는 모든 가능한 값 x에 대해 취해집니다. 엔트로피 H(X)가 1이면 X와 관련된 불확실성이나 임의성이 없음을 의미합니다. 이는 확률 질량 함수 P(X)가 단일 결과에 확률 0을 할당하고 모든 결과에 확률 XNUMX을 할당할 때 발생합니다. 다른 결과. 즉, 변수가 완전히 결정적이 됩니다.

이 개념을 설명하기 위해 공정한 동전 던지기를 생각해 보세요. 확률 변수 X는 던지기 결과를 나타내며 앞면(H) 또는 뒷면(T)의 두 가지 가능한 값을 갖습니다. 이 경우 확률 질량 함수는 P(H) = 0.5이고 P(T) = 0.5입니다. 위의 공식을 사용하여 엔트로피를 계산합니다.

H(X) = – (0.5 * log2(0.5) + 0.5 * log2(0.5))
= - (0.5 * (-1) + 0.5 * (-1))
= – (-0.5 – 0.5)
= - (-1)
= 1비트

동전 던지기의 엔트로피는 1비트로 결과에 불확실성이나 무작위성이 있음을 나타냅니다. 그러나 동전이 편향되어 항상 앞면이 나오면 확률 질량 함수는 P(H) = 1, P(T) = 0이 됩니다. 엔트로피 계산은 다음과 같습니다.

H(X) = – (1 * log2(1) + 0 * log2(0))
= – (1 * 0 + 0 * 정의되지 않음)
= – (0 + 정의되지 않음)
= 정의되지 않음

이 경우 XNUMX의 로그가 정의되지 않았기 때문에 엔트로피가 정의되지 않습니다. 그러나 이는 변수 X가 항상 앞면을 산출하므로 결정적이 되었음을 의미합니다.

고전적 엔트로피의 맥락에서 확률 변수의 엔트로피는 확률 분포가 단일 결과에 확률 1을 할당하고 다른 모든 결과에 확률 0을 할당하면 사라집니다. 이는 변수가 결정적이 되어 무작위성이나 예측 불가능성이 상실됨을 나타냅니다.

기타 최근 질문 및 답변 고전적인 엔트로피:

더 많은 질문과 답변:

아래의 태그 : , , , , ,