\documentclass[twocolumn]{jarticle}
\usepackage{vmargin}
\usepackage{epsfig}
\usepackage{times,mathptmx}
\setpapersize{A4}
\setmargnohfrb{20mm}{20mm}{20mm}{20mm}
\begin{document}
\begin{center}
\begin{LARGE}
最小二乗法について
\end{LARGE}
\end{center}
\begin{abstract}
最小二乗法とは得られたデータの組からデータ間の関係を推測する方法です。
これは、
\begin{itemize}
\item 物理定数の決定や、
\item 統計情報による未来予想
\end{itemize}
などに応用できます。
ここではその原理と計算法を説明します。
\end{abstract}

\section{問題の紹介}
二つ値の組となるデータ ($x_1$, $y_1$), ($x_2$, $y_2$), $\cdots$ ($x_n$,
$y_n$) が得られたとします。
その時、これらのデータの間に $y=ax+b$ という関係が成り立つと仮定して、
$a$, $b$ を求めることを考えます。

\begin{figure}[hbt]
\begin{center}
\epsfig{file=graph1.eps, width=6cm}
\end{center}
\end{figure}

もし、得られたデータに誤差が全くないときは、単純に二点を通る直線の式を
求めれば良いので、二つのデータの組があれば $a$ と $b$ は求まります。
しかし、ここでは誤差があるデータを考えます。
つまり、理想的な $a$, $b$ が得られたとしても、各データに関して正確には
\[
y_i = ax_i+b
\]
が成り立たないような状況を考えます。
この場合、「理想的」とは一体どのような判断になるのでしょうか?
\section{最小二乗法の考え方}
理想的な $a$, $b$ が得られたとすると、$y_i=ax_i+b$ は成り立たなくても、
両辺はかなり近い値になってます。
つまり、 
\begin{equation}
y_i-ax_i-b \label{eq1}
\end{equation}
は $0$ に近いはずです。
そこで、$a$ と $b$ がどれだけ理想に近いかは、各データに関して
式 (\ref{eq1}) を評価すればよいことになります。
ここで、各データに対して式 (\ref{eq1}) を二乗したものの合計した値を考え
ます。
\begin{eqnarray}
f(a,b)&=&\sum_{i=1}^{n}(y_i-ax_i-b)^2
\end{eqnarray}
得られたデータに対してこの式を最小にする $a$, $b$ が理想的であると考え
ます。
\section{最小二乗法の計算}
ではこの $f(a,b)$ を最小にする $a$, $b$ はどのようにすれば求まるのでしょ
うか?
これには 
\begin{enumerate}
\item $f(a,b)$ を $a$, $b$ で偏微分して、
\item 極値となる $a$, $b$ を連立方程式を解いて
\end{enumerate}
求めます。

\begin{eqnarray}
f(a,b)&=&\sum_{i=1}^{n}(y_i-ax_i-b)^2 \nonumber \\
&=&\sum_{i=1}^{n} (y_i^2 +a^2x_i^2+b^2-2ax_iy_i-2by_i+2abx_i) \nonumber\\
\frac{\partial f}{\partial a}&=&\sum_{i=1}^{n}
(2ax_i^2-2x_iy_i+2bx_i) \nonumber\\
&=&2a\sum_{i=1}^{n}x_i^2
-2\sum_{i=1}^{n}x_iy_i+2b\sum_{i=1}^{n}x_i \label{eqa}\\
\frac{\partial f}{\partial b}&=&\sum_{i=1}^{n}
(2b-2y_i+2ax_i)\nonumber\\
&=&2nb-2\sum_{i=1}^{n}y_i+2a\sum_{i=1}^{n}x_i \label{eqb}
\end{eqnarray}
式 (\ref{eqa}), (\ref{eqb}) の値が 0 となる $a$, $b$ が求まれば、 $f(a,b)$
の値は最小になります。
整理すると次のようになります。
\begin{eqnarray*}
\left(\sum_{i=1}^{n}x_i^2\right)a
+\left(\sum_{i=1}^{n}x_i \right)b
&=&\sum_{i=1}^{n}x_iy_i\\
\left(\sum_{i=1}^{n}x_i\right)a+nb&=&\sum_{i=1}^{n}y_i
\end{eqnarray*}
この連立方程式を解けば理想的な $a$, $b$ が求まります。

\begin{figure}[hbt]
\begin{center}
\epsfig{file=graph2.eps,width=6cm}
\end{center}
\end{figure}
\end{document}

