カテゴリ
評価・ベンチマークの記事一覧
5件の記事があります。
Temperature Scalingとは？分類AIの確信度を補正し、自動処理と人手確認の判断に活かす技術
Temperature Scaling（温度スケーリング）は、学習済み分類モデルのlogitを一つの温度で調整し、確信度と実際の正解率のずれを補正する技術です。NLLによる温度の学習、ECEの読み方、画像・文章分類の実験結果から、業務自動化への応用と限界を解説します。
参照論文：On Calibration of Modern Neural Networks
BERTScoreとは？文脈付きトークンの照合で、言い換えを含む生成文を評価する技術
BERTScoreは、生成文と参照文のトークンを文脈付き埋め込みで照合する評価指標です。適合率・再現率の計算、IDF重み付け、翻訳や画像説明の実験結果から、RAGの回帰評価やプロンプト圧縮の検証への応用と限界を解説します。
参照論文：BERTScore: Evaluating Text Generation with BERT
Lost in the Middleとは？長文LLMが中央の情報を見落とす問題とRAGの評価方法
長い入力を受け付けるLLMでも、その中の情報を均等に使えるとは限りません。Lost in the Middleの位置を変える評価方法、実験結果、RAGや社内文書QAの改善に活かす考え方を解説します。
参照論文：Lost in the Middle: How Language Models Use Long Contexts
RAGASとは？正解データなしでRAGの検索・根拠性・回答品質を評価する技術
RAGASは、正解ラベルが少ないRAGでも、検索コンテキストの適合性、回答の根拠性、質問への適合性をLLMで分解評価するフレームワークです。3つの指標の仕組み、実験、実装への活かし方を解説します。
参照論文：RAGAs: Automated Evaluation of Retrieval Augmented Generation
ARESとは？RAGの検索精度・忠実性・回答関連性を自動評価する仕組みと使い道
ARESは、RAGシステムの評価を人手だけに頼らず、自動生成した評価データと小型判定モデルで回せる評価フレームワークです。何をどう評価するのか、仕組み、実験結果、実務での使い道まで日本語で解説します。
参照論文：ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems