はじめに 大規模言語モデルの入門書として，山田 育矢 著「大規模言語モデル入門」を読んでいる。本記事は第6章の読書メモである。gihyo.jp 目次 はじめに 目次 第6章 固有表現認識 6.1 固有表現認識とは 固有表現のタスク 固有表現認識を解くための主要アプ…

はじめに 大規模言語モデルの入門書として，山田 育矢 著「大規模言語モデル入門」を読んでいる。本記事は第5章の読書メモである。gihyo.jp 目次 はじめに 目次 第5章 大規模言語モデルのファインチューニング 5.1 日本語ベンチマーク : JGLUE 文書分類 文ペ…

はじめに 統計検定1級の統計数理・理工学において，ベータ分布はこれまでに2回しか出たことがない。ただ，数理統計学のテキストにはよく出てくる分布なので紹介する。 目次 はじめに 目次 ベータ分布 統計検定1級での出題 ベータ分布と他の確率分布との関係 …

はじめに 統計検定1級の統計数理・理工学において，不偏推定量は頻出分野である。 統計学の教科書では，「●●は不偏推定量である」「●●を不偏推定量として…」という説明は多いが，「不偏推定量を求めよ」という問題が出た時に頭が混乱したことがあったので，…

はじめに 統計検定1級の統計数理・理工学において，順序統計量は頻出分野である。この記事では順序統計量の累積分布関数の考え方についてまとめた。 目次 はじめに 目次 順序統計量 統計検定1級での出題 順序統計量の累積分布関数 導出 ポイント1 : 状況を図…

はじめに 指数分布の重要な性質として，無記憶性が挙げられる。逆に，「無記憶性を持つ連続型確率分布は指数分布である」ということも示せる。この記事では，無記憶性を持つ連続型確率分布は指数分布であることを紹介する。 目次 はじめに 目次 「無記憶性を…

はじめに 大規模言語モデルの入門書として，山田 育矢 著「大規模言語モデル入門」を読んでいる。本記事は第4章の読書メモである。gihyo.jp 目次 はじめに 目次 第4章 大規模言語モデルの進展 4.1 モデルの大規模化とその効果 4.2 プロンプトによる言語モデ…

はじめに 製造業においても，自然言語処理は重要な技術テーマのひとつである。週報などのメール，社内規定などのルール，安全記録や検査記録など，日々多くの文章が業務上で現れる。これらのテキストデータに対して自然言語処理技術を適用して業務効率化を実…

はじめに 先日作成した記事であるガンマ分布における変数変換 #統計検定 - jiku logにおいて，ガンマ分布を正規分布で近似する，という説明を行なった。 その後，X(旧Twitter)上で，以下の指摘を頂いた。#統計 ガンマ分布の中心極限定理モーメント母関数の収…

はじめに 統計検定1級の統計数理・理工学において，ガンマ分布は頻出分野である。この記事ではガンマ分布と他の分布の変換について説明する。 目次 はじめに 目次 ガンマ分布 統計検定1級での出題 ガンマ分布と他の確率分布との関係 ガンマ分布→正規分布の変…

はじめに 統計検定1級の統計数理・理工学において，指数分布は頻出分野である。この記事では，指数分布に関する話題のうち，指数分布から他の分布へ変換する，具体的には 指数分布→ガンマ分布・カイ2乗分布 指数分布→幾何分布 という変換について説明する。 …

はじめに 統計検定1級の統計数理・理工学において，指数分布は頻出分野である。この記事では，指数分布に関する話題のうち，他の分布を指数分布へ変換する，具体的には 連続一様分布→指数分布 ガンマ分布→指数分布 ワイブル分布→指数分布 パレート分布→指数…

はじめに 製造業においても，自然言語処理は重要な技術テーマのひとつである。週報などのメール，社内規定などのルール，安全記録や検査記録など，日々多くの文章が業務上で現れる。これらのテキストデータに対して自然言語処理技術を適用して業務効率化を実…

はじめに 製造業においても，自然言語処理は重要な技術テーマのひとつである。週報などのメール，社内規定などのルール，安全記録や検査記録など，日々多くの文章が業務上で現れる。これらのテキストデータに対して自然言語処理技術を適用して業務効率化を実…

「深層学習の原理に迫る 数学の挑戦」の紹介 深層学習は，その高い性能から現在のAIブームの中核を担っている技術である。本書では，なぜ深層学習の性能が高いのか，という説明を丁寧に説明している。深層学習は，これまでの機械学習技術における常識とは異…

はじめに 本記事について 当ブログでは，統計検定1級・統計検定準1級に関連する数理統計学のTips記事や，私が日々学んでいることを紹介している。統計検定に合格するためには，参考図書を読み問題演習をしっかりこなすことが重要だと考えるが，当ブログでは…

はじめに 統計検定1級の統計数理・理工学において，ポアソン分布は頻出分野である。この記事では，ポアソン分布に関する話題のうち，ポアソン分布から他の分布への変換，具体的には ポアソン分布→負の二項分布 ポアソン分布→二項分布 という変換について説明…

はじめに 統計検定1級の統計数理・理工学において，ポアソン分布は頻出分野である。この記事では，ポアソン分布に関する話題のうち，他の分布をポアソン分布へ変換する，具体的には 二項分布→ポアソン分布 負の二項分布→ポアソン分布 という変換について説明…

はじめに 統計検定1級の統計数理・理工学において，二項分布は頻出分野である。この記事では，二項分布に関する話題のうち，超幾何分布との関係について説明する。 目次 はじめに 目次 二項分布 統計検定1級での出題 二項分布と他の確率分布との関係 超幾何…

「AI・データ分析プロジェクトのすべて」の紹介 本書は，AI・データ分析業務の進め方において，特に「ビジネス力」に焦点を当ててデータ分析プロジェクトの進め方を説明している。 データ分析にかかわる仕事として，データ分析業務をサービスとしている人や…

はじめに 統計検定において，期待値の計算はよく出てくる問題の1つである。基本的に期待値は定義にしたがって計算することが多いが，今回は少し変わった方法として，スコア関数を活用した期待値計算の方法を紹介する。 目次 はじめに 目次 問題設定 スコア関…

「調査研究データの統計科学」の紹介 最近，統計的因果推論に関する書籍を読むようになったが，10年ほど前にこの分野の書籍である「調査研究データの統計科学 因果推論・選択バイアス・データ融合」を買った。久しぶりに手に取って読んでみると，昔よりは理…

はじめに 統計検定１級の2019年 統計数理 問3において，連続一様分布(以下，単に「一様分布」と記載する)の十分統計量に関する問題が出題された。この記事では，一様分布や他の分布における十分統計量と定義関数の関係についてまとめた。 目次 はじめに 目次…

「異常検知と変化検知」の紹介 講談社の「機械学習プロフェッショナルシリーズ」は，最新のAI・機械学習手法を丁寧に紹介しているシリーズなので，データサイエンスを学ばれている方もよく読まれているかもしれない。 異常検知は，製造業における代表的なデ…

はじめに 統計検定1級や準1級に関する記事を書くようになって，改めて数理統計学の書籍を見返すことが増えた。自分が統計検定1級・準1級を受けるために参考にした書籍を紹介したい。 はじめに 基本方針 目指すべき状態は「その分野について説明できる状態」 …

はじめに 先日，確率変数の変数変換の問題のうち，2変数バージョンの問題を解いていた際に私がつまずいたポイントとその対策を紹介した。 この記事では，2変数バージョンの問題のうち，場合分けが必要になるパターンについて紹介する。 stern-bow.hatenablog…

はじめに 先日，確率変数の変数変換について記事を作成した。確率変数の変数変換は統計検定1級で頻出の分野であり，出題のバリエーションも多い。 この記事では，確率変数の変数変換の問題のうち，2変数バージョンの問題を解いていた際に私がつまずいたポイ…

統計的因果推論の基本的な話題である傾向スコアについて，次の2冊を読みながら学習を進めている。www.ohmsha.co.jpwww.iwanami.co.jp 傾向スコアの目的 正しく因果効果を推定する際には，共変量をそろえた状態で，処置群()と対象群()を比較する必要がある。…

はじめに ガンマ分布や指数分布の期待値計算は，統計検定では最初の問題として出題されやすい。 最初の問題であるのでできるだけ取りこぼしをしたくない。緊張して公式を忘れてしまったとき，部分積分を使って解こうとすると，計算ミスの可能性が高くなる。 …

はじめに 一様分布の最尤推定～尤度方程式の罠～ #統計検定 - jiku logにおいて，定義関数を紹介した。定義関数は， \begin{equation} I_{[A]}= \begin{cases} 1 & \text{if $A$ is true,} \\ 0 & \text{otherwise} \end{cases} \end{equation}で定義される…