活性化関数

ニューラルネットワークとは？仕組みを図解でわかりやすく解説 ChatGPTや画像生成AIなど、日常のあちこちでAIが活躍する時代になりました。しかし「ニューラルネットワーク」という言葉を聞いたとき、「なんとなく脳に似た仕組みらしい…」くらいにしか理解できていない方も多いのではないでしょうか？ この記事では、ニューラルネットワークの基本構造と学習の仕組みを、数式への苦手意識がある方でも理解できるよう、具体例を交えながらわかりやすく説明します。AIの動作原理を知ることで、ツールの使い方や限界についての理解も格段に深まりますよ。 ニューラルネットワークの「ニューロン」って何？ ニューラルネットワークの名前の由来は、人間の脳にある**神経細胞（ニューロン）**です。ただし、コンピュータ上のニューロンは生物学的なものとは異なり、非常にシンプルな数学的概念です。 ニューロン＝「0〜1の数値を持つ箱」 人工ニューロンとは、0から1の間の数値（活性化の度合い）を保持する器だと考えてください。 たとえば手書き数字の「3」を認識するとき： 入力ニューロン：画像の各ピクセルの明るさ（0=黒、1=白） その値が次の層へと伝わり、最終的に「これは3だ」という判断に至る ピクセルが28×28のグレースケール画像なら、784個の入力ニューロンが存在します。それぞれのニューロンが「どれくらい明るいか」という情報を持ち、それが後続の層に次々と伝播していくのです。 なぜ「層（レイヤー）」が必要なのか ニューラルネットワークの大きな特徴は、ニューロンが複数の層に分かれていることです。 3種類の層の役割 層の種類 役割 入力層 生データ（画像・テキストなど）を受け取る 隠れ層 データの特徴を段階的に抽象化する 出力層 最終的な予測・分類結果を出力する 層を重ねることで「概念の抽象化」が起きる 画像認識を例に取ると、各層が担う処理はおよそ以下のようになります： 第1層（低レベル特徴）：エッジや線の方向を検出 第2層（中レベル特徴）：エッジの組み合わせからパーツ（丸・角など）を認識 第3層（高レベル特徴）：パーツを組み合わせて物体（顔・文字など）を識別 このように、層を重ねるほどより抽象的な概念を学習できるのが、ディープラーニング（深層学習）が強力な理由です。単純なプログラムでは「エッジとは何か」をルールベースで記述する必要がありますが、ニューラルネットワークはデータから自動的にそのルールを獲得します。 学習を支える「重み」と「バイアス」 ニューロン同士のつながりには、それぞれ**重み（Weight）という数値が設定されています。加えて、各ニューロンにはバイアス（Bias）**という補正値も存在します。 重みとバイアスの役割 重み：「どの入力をどのくらい重視するか」を決める係数。正の値なら強調、負の値なら抑制。 バイアス：「どのくらい活性化しやすいか」の閾値調整。バイアスが大きいほど、少ない入力でも反応しやすくなる。 28×28の手書き数字認識ネットワーク（隠れ層を2層持つシンプルな構成）では、重みとバイアスの総数は約13,000個にも上ります。この膨大なパラメータを最適化するのが「学習」の本質です。 活性化関数：出力を「なめらか」にする仕組み 重みとバイアスを計算した後、その結果を活性化関数に通すことで、ニューロンの出力値が決まります。 代表的な活性化関数には以下の2種類があります： Sigmoid関数：出力を0〜1に圧縮する。古典的な選択肢だが、勾配消失問題が起きやすい。 ReLU（Rectified Linear Unit）：入力が正ならそのまま、負なら0にする。現代のネットワークで広く使われるシンプルで強力な関数。 1 2 3 4 5 6 ReLU(x) = max(0, x) 例: x = -3 → 出力: 0 x = 2 → 出力: 2 x = 5 → 出力: 5 ReLUは計算がシンプルで勾配消失が起きにくいため、深いネットワークの学習に非常に向いています。 ...