Model Report
評価方法と指標の読み方
計測日 2026-10-24・合成曲 3曲・5設定・各条件1回
この比較は、公開中・検証中の AI モデルに同じ依頼を出し、韻譜の処理を通した結果を並べたものです。 モデルそのものの一般的な性能ではなく、韻譜の作詞機能の中で使ったときの振る舞いを測っています。
この比較で分かること・分からないこと
合成3曲・各条件1回の小規模な測定です。音数一致は韻譜の音韻エンジンによる判定で、歌詞全体の品質や実際の歌いやすさを保証する値ではありません。
必要な候補には、表記を整える補助モデル（Claude Haiku 5.5）を併用しています。主モデルだけの能力比較ではありません。
匿名AI採点はAI評価者1つによる参考評価です。人によるブラインド試験・歌唱評価は行っていません。
評価条件と限界を詳しく読む →計測の概要
| 項目 | 内容 |
|---|---|
| 計測日 | 2026-10-24 |
| 比べた設定 | 5 設定 |
| 評価用の曲 | 合成曲 3 曲(フル尺) |
| 試行回数 | 各条件 1 回 |
| 匿名AI採点の評価者 | 1つ：Codex（GPT-6ベース、正確なサブモデル名は非公開） |
| 計測の版 | 評価版 2 |
評価用の曲
評価のために新しく作った合成の歌詞です。実在の楽曲や、利用者の歌詞は使っていません。
| 曲名 | ジャンル | テンポ | キー | 行数 |
|---|---|---|---|---|
| 終電のあとで | シティポップ | 98 BPM | F | 30 |
| Runaway Sunday | アップテンポJ-POP | 132 BPM | A | 28 |
| 冬の台所 | バラード | 72 BPM | D | 26 |
何を頼んだか
- 操作: セクション生成(テーマから数行を書く)・セクション言い換え・1行の言い換え・1行への指示(「もっと切なく」など)。
- 条件: 素(指定なし) / 自分らしさON(架空の作詞家「水城ハル(架空)」の作風を指定) / 曲の方針+AIへの指示あり。
- 目標の音数・前後の行・曲の雰囲気を渡し、韻譜の音数調整を通しています。Claudeのセクション操作は音数補正を常に通し、Geminiは速度優先の設定です。処理条件の違いを含む比較です。
比べた設定
| 設定 | モデル | 思考 | 音数の補正 |
|---|---|---|---|
| Gemini 3.1 Flash-Lite(既定: 速度優先+思考ON) | gemini-3.1-flash-lite | ON | 1行の操作のみ |
| Gemini 3.8 Flash(思考OFF) | gemini-3.8-flash | OFF | 1行の操作のみ |
| Gemini 3.8 Flash(思考ON) | gemini-3.8-flash | ON | 1行の操作のみ |
| Claude Haiku 5.5(思考ON) | claude-haiku-5-5 | ON | 常に実行 |
| Claude Sonnet 5.5(思考ON) | claude-sonnet-5-5 | ON | 常に実行 |
「思考」は、モデルが答える前の推論に使う設定です。時間やポイントへの影響はモデル・操作によって変わり、ONによる品質向上を保証するものではありません。
思考設定の違いを適用するのはセクション操作です。単行操作は共通の思考設定を使うため、ON/OFF間の単行の差を思考の効果とは解釈できません。Gemini 3.8 Flashの「思考OFF」は完全停止を意味せず、最小の思考設定です。
必要な候補にはClaude Haiku 5.5で表記を整える共通の補助処理を加えています。歌う音数・読みが一致した行だけを採用し、その消費ポイントも集計に含めます。
指標の読み方
| 指標 | 意味 | 見方 |
|---|---|---|
| 音数一致(補正後) | 最終的に提示される候補で、各行の「歌う音数」が目標と一致した行の割合。 | 音数の手直し量を考える参考値です。実際のメロディへの適合や歌唱の良さは別途確認が必要です。 |
| 初回 | 音数を整える2回目の処理(補正)をかける前の一致率。 | 初回出力を韻譜が判定した値です。補正後との差から音数調整の影響を見られます。 |
| ひらがなのみ | 漢字を1字も含まない行の割合。 | 高いと読みにくい歌詞になりがちです。短い呼びかけ(「ねえ」等)も含むので 0% にならないことがあります。 |
| 待ち時間 | 1回の操作で結果が出るまでの時間(中央値と最大)。 | 計測時の混み具合で変わります。掲載した最大値は、この測定で観測した範囲です。待ち時間の上限を保証しません。 |
| 消費pt/回 | 1回の操作で消費するポイント(1pt = 0.01円)。 | 計測日のモデル料金で計算しています。料金改定で変わります。 |
| 作家らしさ距離 | 架空の作詞家の過去作から作った「作風の指紋」と、出力との距離。 | 小さいほど機械指標上で近い値です。実在作家の再現度や作風の良さは測っていません。 |
| 匿名AI採点 | モデル名を伏せた先頭候補を、AIが歌いやすさ・意味・指示の反映・自然さ・作家らしさで1〜5点採点。 | 1系統のAIの主観評価です。人によるブラインド試験や、絶対的な品質評価ではありません。 |
「歌う音数」は、歌ったときの音の数です。たとえば「心は自由だ」はかなで数えると 8 音ですが、「じゆう」の「ゆう」が 1 音にまとまり、歌うと 7 音になります。韻譜の音韻エンジンで判定しています(音韻の考え方)。
モデルの選び方の目安
- メロディが決まっていて音数を外したくない → 音数一致(補正後)の高い設定。
- 何度も試しながら書きたい → 待ち時間が短く、消費ptが少ない設定。
- セクション(数行)と 1 行では、得意なモデルが変わることがあります。比較ページの「操作別」を見てください。
- 言葉の選び方や自然さは、匿名AI採点と出力例を参考に、ご自身の曲で確認してください。
注意点と限界
- 小規模な計測です(合成 3 曲・各条件 1 回)。小さな差の優劣は断定できません。
- AI の出力は毎回変わります。同じ条件でも、もう一度試すと結果が揺れます。
- モデルの提供元による更新や料金改定で、結果と消費ポイントは変わります。計測日を確認してください。
- 音数は音韻エンジンによる判定で、実際のメロディに当てて確かめたものではありません。
- 韻の型(ABAB など)の指定と「高精度」モードは、今回は計測していません。
- 匿名AI採点は1つの評価者による参考値です。人のブラインド試験・二重盲検・歌唱評価は行っていません。独立した複数系統の評価者による照合もしていません。
- 「検証中」のモデルは、計測時点で一般には選べないモデルです。提供状況は表示時点のものです。
候補と点数の集計方法
要求候補数はセクション2案・単行3案です。音数一致は返された全候補の行を機械判定し、匿名AI採点は各操作の先頭候補を対象にしています。比較ページの歌詞例も、指定なしのセクション生成で返された先頭候補です。
「形の崩れ」は候補不足とセクションの行数違いを数え、候補数の超過は含みません。現行の評価版2では、Haiku 5.5が単行指示で要求3案に4候補を返した例も全候補を音数集計に含めています。「形の崩れが0」でも要求どおりの候補数だったとは限りません。
匿名AI採点の総合点は、歌いやすさ・意味・指示の反映・自然さの4観点の平均です。作家らしさは作風条件で別に採点しています。評価者の好みや提供元に関する偏りは残ります。
ポイントと円換算は測定日 2026-10-24 の料金・処理条件による実測の平均です（1pt = 0.01円、補助処理を含む）。入力の長さ・出力・料金改定によって変わります。現在の利用条件は料金ページ、ポイントの仕組みはポイントの説明をご覧ください。
再現性
曲・依頼・設定と、匿名候補の並び順を決める条件は固定していますが、AIの生成乱数は固定していません。同条件でも出力・費用・時間は揺れます。曲セット・評価版・処理が違う測定から、モデルの改善だけを切り分けることはできません。今回の試行数では統計的な有意差は示せません。