Reif Statistical Mechanics Chapter 1 - (3)

안녕하세요. 이번 시간에는 random walk를 이용해 중심극한정리를 증명해보겠습니다. 아래에서 모든 적분은 모든 변수에 대한 적분이며, $-\mathrm{\infty }$에서 $+\mathrm{\infty }$까지의 적분입니다.

Hello. This time, we will prove the central limit theorem using the random walk. From below, every integral is computed for every variable and the range is from $-\mathrm{\infty }$ to $+\mathrm{\infty }$.

 

일반적인 1D random walkGeneral 1D random walk

확률 분포Probability distribution

문제의 세팅은 지난번과 똑같습니다. 우리가 이번에 구할 것은 총 이동 변위가 $x$와 $x+dx$ 사이일 확률이 $P(x)dx$일 때, 확률밀도함수 $P(x)$를 구하는 것입니다.

The setting of the problem is the same as before. This time, we are going to find the probability density function $P(x)$, where the probability of total displacement lying between $x$ and $x+dx$ is $P(x)dx$.

 

이를 구하기 위해서는 아래 과정을 따르면 됩니다.

To compute this, we should follow the following steps.

 

1. 1번째 변위가 $s_1$, 2번째 변위가 $s_2$, ... , $N$번째 변위가 $s_N$일 확률을 구한다.Compute the probability of 1st displacement is $s_1$, 2nd displacement is $s_2$, ..., and $N$-th displacement is $s_N$.

2. $x<\sum _{i=1}^N{s}_i<x+dx$인 모든 $(s_1,s_2,...,s_N)$ 순서쌍에 대해 위의 확률을 다 더한다.For every tuple $(s_1,s_2,...,s_N)$ that satisfies $x<\sum _{i=1}^N{s}_i<x+dx$, sum up the above probabilities.

 

1번은 쉽습니다. 답은 바로 확률을 다 곱하면 되죠.

Number 1 is easy: we just multiply the probabilities.

 

$$\begin{array}{}\text{(1)}& P(s_1,...,s_N)d{s}_1...d{s}_N=w(s_1)d{s}_{1}w(s_2)d{s}_2...w(s_N)d{s}_N\end{array}$$

 

2번의 경우, 아래 적분을 하면 됩니다.

For number 2, we perform the following integral.

$$\begin{array}{}\text{(2)}& P(x)dx={\int }_{x<\sum _i{s}_i<x+dx}P(s_1,...,s_N)d{s}_1...d{s}_N\end{array}$$

 

이 적분은 적분 영역에 제한이 있기 때문에 계산하는 것이 쉽지 않습니다. 이 때 사용하는 트릭이 바로 디랙 델타 함수를 이용하는 것입니다.

This integral is hard to compute since there is a restriction on the region. To calculate, we use the Dirac delta function trick.

 

$$\begin{array}{}\text{(3)}& P(x)dx=\int w(s_1)...w(s_N)[\delta (x-\sum _i{s}_i)dx]d{s}_1...d{s}_N\end{array}$$

 

위의 식에서는 $x$에 대한 적분은 빠져있어야 함을 주의해야 합니다. 이제 양변에서 $dx$를 없애고, 아래에 주어진 디랙 델타 함수의 푸리에 변환을 이용합니다.

We must be careful since the integral about $x$ is not included. Now, eliminate $dx$ from both sides and use the Fourier transform of the Dirac delta function given below.

 

$$\begin{array}{}\text{(4)}& \delta (x-\sum _i{s}_i)=\frac{1}{2\pi }\int dk{e}^{ik(\sum _i{s}_i-x)}\end{array}$$

 

$$\begin{array}{rl}P(x)& =\frac{1}{2\pi }\int w(s_1)...w(s_N)e^{ik(\sum _i{s}_i-x)}dkd{s}_1...d{s}_N\\ & =\frac{1}{2\pi }{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}dk{e}^{-ikx}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}d{s}_{1}w(s_1)e^{ik{s}_1}...{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}d{s}_{N}w(s_N)e^{ik{s}_N}\\ & =\frac{1}{2\pi }{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}dk{e}^{-ikx}{({\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}ds{e}^{iks}w(s))}^N\\ \text{(5)}& & =\frac{1}{2\pi }{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}dk{e}^{-ikx}{Q}^N(k)\end{array}$$

 

여기서 $Q(k)=\int ds{e}^{iks}w(s)$는 $w(s)$의 푸리에 역변환입니다.

Here, $Q(k)=\int ds{e}^{iks}w(s)$ is the inverse Fourier transform of $w(s)$.

$N$이 클 때For large $N$

$Q(k)$에서 $k$가 클 때를 생각해봅시다. 그러면 $Q(k)$의 정의 식에서 $e^{iks}$는 $s$에 대해 굉장히 빨리 진동하는 함수가 됩니다. 따라서 적분을 하게 되면 이 빠른 진동이 자기 자신을 상쇄시키면서 적분 값이 작게 나오게 됩니다. 이 때문에 큰 $k$에 대해서 $Q(k)$는 작아지게 됩니다. 이 논증은 물리 전반에서 상당히 많이 쓰이는 논증이니 알아두시면 좋을 것입니다.

Let's think about large $k$ in $Q(k)$. Then, from the definition of $Q(k)$, $e^{iks}$ becomes a rapidly oscillating function of $s$. Thus, integration cancels out the oscillation and results in a small absolute value. Therefore, $Q(k)$ is small for large $k$ values. This argument is widely used in physics, so it will be helpful to take in mind.

 

$N$이 커지게 되면 큰 $k$에 대해 $Q(k)$가 감소하는 속도가 더 커지게 됩니다. 따라서 우리는 Eq. (5)에서 작은 $k$에 대해서만 $Q^N(k)$를 알면 됩니다. $Q(k)$의 정의에서, $k$가 작을 때 지수를 테일러 전개 하면,

When $N$ is large, the decreasing of $Q(k)$ for large $k$ becomes more rapid. Thus, we only need the information of $Q^N(k)$ for small $k$ values when computing Eq. (5). In the definition of $Q(k)$, we expand the exponential with Taylor series with small $k$.

 

$$\begin{array}{rl}Q(k)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}dsw(s)e^{iks}\approx {\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}dsw(s)(1+iks-\frac{1}{2}{k}^2{s}^2)\\ \text{(6)}& & =1+i\bar{s}k-\frac{1}{2}\overline{s^2}{k}^2\end{array}$$

 

$$\begin{array}{rl}\ln Q^N(k)& =N\ln Q(k)=N\ln (1+i\bar{s}k-\frac{1}{2}\overline{s^2}{k}^2)\\ & \approx N[(i\bar{s}k-\frac{1}{2}\overline{s^2}{k}^2)-\frac{1}{2}(i\bar{s}k{)}^2]\\ \text{(7)}& & =N[i\bar{s}k-\frac{1}{2}\overline{(\mathrm{\Delta }s{)}^2}{k}^2]\end{array}$$

 

$$\begin{array}{}\text{(8)}& \therefore Q^N(k)\approx \exp [iN\bar{s}k-\frac{1}{2}N\overline{(\mathrm{\Delta }s{)}^2}{k}^2]\end{array}$$

 

따라서 Eq. (5)에 이를 대입하면,

Thus, substituting this into Eq. (5) gives

 

$$\begin{array}{rl}P(x)& =\frac{1}{2\pi }{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{i(N\bar{s}-x)k-\frac{1}{2}N\overline{(\mathrm{\Delta }s{)}^2}{k}^2}\\ & =\frac{1}{2\pi }{e}^{-\frac{1}{2N\overline{(\mathrm{\Delta }s{)}^2}}(x-N\bar{s}{)}^2}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{-\frac{1}{2}N\overline{(\mathrm{\Delta }s{)}^2}{(k-i\frac{N\bar{s}-x}{N\overline{(\mathrm{\Delta }s{)}^2}})}^2}\\ \text{(9)}& & =\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-(x-\mu {)}^2/2{\sigma }^2}\end{array}$$

 

여기서 $\mu =N\bar{s},{\sigma }^2=N\overline{(\mathrm{\Delta }s{)}^2}$입니다.

Here, $\mu =N\bar{s},{\sigma }^2=N\overline{(\mathrm{\Delta }s{)}^2}$

 

따라서 $N$이 커지면 $w(s)$에 관계 없이 최종 분포는 평균이 $\mu =N\bar{s}$, 분산이 ${\sigma }^2=N\overline{(\mathrm{\Delta }s{)}^2}$인 정규분포가 됨을 알 수 있습니다. 이로써 중심극한정리의 증명이 완료되었습니다.

Therefore, for large $N$, regardless of $w(s)$, the final distribution is a normal distribution with average $\mu =N\bar{s}$ and variance ${\sigma }^2=N\overline{(\mathrm{\Delta }s{)}^2}$. This is the end of the proof.

 

이제 통계적인 기초를 다져봤으니 다음 시간부터 본격적으로 열 및 통계역학의 이야기 속으로 들어가 보겠습니다.

Now, we reviewed the fundamentals of statistics, so next time, we will be into the story of thermal and statistical physics.

 

References and further readings

F. Reif, "Fundamentals of Statistical and Thermal Physics", Chapter 1.10 ~ 1.11

https://en.wikipedia.org/wiki/Random_walk

https://en.wikipedia.org/wiki/Central_limit_theorem

 

Written by 심심한 대학원생