Reif Statistical Mechanics Chapter 1 - (1)

안녕하세요. 이번에는 열 및 통계물리 시리즈로 돌아온 심심한 대학원생입니다. 이번 시리즈는 제가 제일 좋아하는 학부 통계역학 책인 Reif의 "Fundamentals of Statistical and Thermal Physics"를 따라갈 예정입니다. Chatper 10까지 연재할 예정입니다.

Hello. This is 심심한 대학원생 returning with the thermal and statistical physics series. This series will be based on my favorite undergraduate statistical mechanics textbook: "Fundamentals of Statistical and Thermal Physics" by Reif. The series will end in chapter 10.

 

Chapter 1에서는 통계학 복습겸 random walk에 대해 다루고, 일종의 곁다리로 중심 극한 정리를 증명해 보겠습니다. 중심 극한 정리는 통계학에서 굉장히 중요한 중심 정리지만, 실제로 이를 증명하는 것은 한번도 본 적이 없을 것입니다. 물론 엄밀한 증명은 아니지만요.(확률을 정의해야 하기 때문에 실해석학이 필요합니다.)

In chapter 1, we will learn about the random walk as a review of statistics, and prove the central limit theorem as additional material. The central limit theorem is a crucial part of statistics, you would have never seen its proof. Of course, it is not rigorous. (You need real analysis in mathematics since you have to define probabilities.)

1D Random walk

확률 분포Probability distribution

1차원 상에서 술 취한 사람이 있어서 시간 1초마다 오른쪽 또는 왼쪽으로 1만큼 이동하는 상황을 생각해 봅시다. 오른쪽과 왼쪽으로 이동할 확률은 각각 $p$와 $1-p$고요. 이제 다음 질문에 답해봅시다. 시간 $N$초 후에 위치 $x=m$에 있을 확률은 얼마일까요?

Think about a drunken man who moves either right or left with a distance of 1 for every 1 second. The probability of moving right and left is $p$ and $1-p$, respectively. Now, answer the question. After $N$ seconds, what is the probability that the man is in position $x=m$?

 

언뜻 보면 물리랑 관련 없어 보이지만, 실제로는 물리에서 굉장히 중요한 문제 중에 하나입니다. 예를 들어 원자의 자기 모멘트가 어느 축을 기준으로 위나 아래만을 향할 수 있다고 할 때 (실제로 양자역학적으로 그렇고요), $N$개 원자의 총 자기 모멘트는 얼마가 될 것인가 하는 문제를 생각해 볼 수 있습니다. 조금만 생각해보면 위의 문제와 동치임을 알 수 있죠. 이외에도 확산 등의 과정에서도 이 문제는 굉장히 중요합니다.

At first sight, it seems irrelevant to real physics problems. However, this is one of the fundamental problems in physics. For example, think about an atom with a magnetic moment. The magnetic moment can point only up or down with respect to a certain axis (and quantum mechanically, this is the reality). Then, we can think of a problem: what is the total magnetic moment if there are $N$ atoms? If you think carefully, you can find out that the problem is equivalent to the random walk. Apart from this, the random walk is also important in diffusion.

 

자 그럼 문제를 풀어봅시다. 시간 $N$초 동안 오른쪽으로 $m_1$번, 왼쪽으로 $m_2$번 움직였다고 하면, $m_1,m_2$는 아래 두 관계식을 만족해야 합니다. 첫번째는 총 이동 횟수, 두 번째는 위치 $x=m$에 있을 조건입니다.

Now, let's solve the problem. For $N$ seconds, assume that the man moved right $m_1$ times and left $m_2$ times. Then, $m_1,m_2$ must satisfy the following two relations. The first one is the total steps and the second one is the condition for the position $x=m$.

 

$$\begin{array}{}\text{(1)}& m_1+m_2=N,m_1-m_2=m\end{array}$$

 

이 두 관계식을 풀면,

Solving these two relations gives,

 

$$\begin{array}{}\text{(2)}& m_1=\frac{N+m}{2},m_2=\frac{N-m}{2}\end{array}$$

 

이제 확률을 구해봅시다. 오른쪽으로 한번 갈 확률이 $p$인데 총 $m_1$번 갔고, 왼쪽으로 한번 갈 확률이 $1-p$인데 총 $m_2$번 갔죠. 또한 총 $N$초 중에서 오른쪽으로 갈 시간을 고르는 경우의 수 ${}_N{C}_{m_1}$ 까지 고려해야 합니다. 이를 전부 종합하면, 구하는 확률을 아래와 같습니다.

Now, let's compute the probability. The probability of going right once is $p$ and the number of right steps is $m_1$. The probability of going left once is $1-p$ and the number of left steps is $m_2$. Furthermore, we must consider the number of cases to choose the time for the right steps from total time $N$ seconds:  ${}_N{C}_{m_1}$. Summing up these gives the resulting probability.

 

$$\begin{array}{}\text{(3)}& P_N(x=m){=}_N{C}_{m_1}{p}^{m_1}(1-p{)}^{m_2}=\frac{N!}{[(N+m)/2]![(N-m)/2]!}{p}^{(N+m)/2}(1-p{)}^{(N-m)/2}\end{array}$$

 

이러한 확률 분포를 이항분포라 부릅니다.

This probability distribution is called the binomial distribution

 

평균과 표준편차Average and standard deviation

위의 확률분포를 이용하면, $N$초 동안 $m_1$번 오른쪽으로 이동할 확률은 바로 구할 수 있습니다.

Using the above distribution, one can directly obtain the probability of moving rightward $m_1$ times during $N$ seconds.

 

$$\begin{array}{}\text{(4)}& P_N(m_1)=\frac{N!}{m_1!(N-m_1)!}{p}^{m_1}(1-p{)}^{N-m_1}\end{array}$$

 

이제 이러한 술취한 사람이 여러 명이 있다고 합시다. 이 사람들이 $N$초 동안 이동했을 때, 평균적으로 오른쪽으로 이동한 횟수를 $\overline{m_1}$, 오른쪽으로 이동한 횟수의 표준편차를 ${\sigma }_{m_1}$이라 합시다. 평균과 표준편차의 정의에 의하면 두 값은 아래와 같이 구할 수 있습니다.

Now, assume that there are several drunken men. If these people move for $N$ seconds, let $\overline{m_1}$ be the average number of rightward movements and ${\sigma }_{m_1}$ be the standard deviation. According to the definition of average and standard deviation, these two quantities can be calculated with the following formula.

 

$$\begin{array}{}\text{(5(a))}& \overline{m_1}=\sum _{m=0}^{N}m{P}_N(m),\overline{m_1^2}=\sum _{m=0}^N{m}^2{P}_N(m)\end{array}$$

$$\begin{array}{}\text{(5(b))}& {\sigma }_{m_1}^2=\overline{m_1^2}-{\overline{m_1}}^2\end{array}$$

 

계산을 위해서는 $q=1-p$라 놓고, 아래 이항정리를 사용합니다.

For the computation, let $q=1-p$ and use the binomial theorem shown below.

 

$$\begin{array}{}\text{(6)}& (p+q{)}^N=\sum _{m=0}^N\frac{N!}{m!(N-m)!}{p}^m{q}^{N-m}\end{array}$$

 

$$\begin{array}{rl}\overline{m_1}& =\sum _{m=0}^{N}m{P}_N(m)\\ & =\sum _{m=0}^N\frac{N!}{m!(N-m)!}m{p}^m(1-p{)}^{N-m}\\ & =\sum _{m=0}^N\frac{N!}{m!(N-m)!}\left[p\frac{\partial }{\partial p}{p}^m\right]q^{N-m}\\ & =p\frac{\partial }{\partial p}\left[\sum _{m=0}^N\frac{N!}{m!(N-m)!}{p}^m{q}^{N-m}\right]\\ & =p\frac{\partial }{\partial p}(p+q{)}^N\\ \text{(7(a))}& & =pN(p+q{)}^N=Np\end{array}$$

 

$$\begin{array}{rl}\overline{m_1^2}& =\sum _{m=0}^N{m}^2{P}_N(m)\\ & =\sum _{m=0}^N\frac{N!}{m!(N-m)!}{m}^2{p}^m(1-p{)}^{N-m}\\ & =\sum _{m=0}^N\frac{N!}{m!(N-m)!}\left[{\left(p\frac{\partial }{\partial p}\right)}^2{p}^m\right]q^{N-m}\\ & ={\left(p\frac{\partial }{\partial p}\right)}^2\left[\sum _{m=0}^N\frac{N!}{m!(N-m)!}{p}^m{q}^{N-m}\right]\\ & ={\left(p\frac{\partial }{\partial p}\right)}^2(p+q{)}^N=p\frac{\partial }{\partial p}[pN(p+q{)}^{N-1}]\\ \text{(7(b))}& & =p[N(p+q{)}^{N-1}+pN(N-1)(p+q{)}^{N-2}]=N^{2}p\end{array}$$

 

$$\therefore \overline{m_1}=Np,{\sigma }_{m_1}=\sqrt{\overline{m_1^2}-{\overline{m_1}}^2}=Npq$$

 

분포가 얼마나 퍼져 있는지를 나타내는 좋은 지표 중 하나가 바로 표준편차와 평균의 비입니다.

A good measure of the width of the distribution is the ratio between standard deviation and average.

 

$$\begin{array}{}\text{(8)}& \frac{{\sigma }_{m_1}}{\overline{m_1}}=\sqrt{\frac{q}{p}}\frac{1}{\sqrt{N}}\propto \frac{1}{\sqrt{N}}\end{array}$$

 

이 결과에 의하면 $N$이 커지면 커질수록 분포가 뾰족해 짐을 알 수 있습니다. 이 비율이 $\sqrt{N}$에 반비례하는 건 앞으로도 자주 등장하는 결과니 알아봐 두시길 바랍니다.

From this, we can deduce that the distribution becomes sharper with increasing $N$. The $1/\sqrt{N}$ behavior will come out several times, so please keep in your mind.

 

이번 시간에는 이렇게 random walk에 대해 살펴봤습니다. 다음 시간에는 좀 더 일반화된 random walk에 대해 소개해보겠습니다.

In this class, we learned about the random walk. Next time, we will learn about the more generalized random walk.

 

References and further readings

F. Reif, "Fundamentals of Statistical and Thermal Physics", Chapter 1.1~1.4

https://en.wikipedia.org/wiki/Random_walk

 

Written by 심심한 대학원생