Model Report
AIモデル比較
計測日 2026-10-24・合成曲 3曲・5設定・各条件1回
作詞で使うモデルを選ぶために、音数・待ち時間・ポイント・実際の歌詞を比べました。検証中のモデルも含む、測定時点の記録です。 小規模な計測で、AI の出力は毎回変わります。小さな差の優劣は断定できません。指標の意味は評価方法と指標の読み方にまとめています。
結論：何を重視するかで選ぶ
今回の範囲では、セクションの音数合わせはClaude Haiku 5.5、単行の音数合わせはGemini 3.8 Flashが高い一致を示しました。単一AIの匿名採点では、意味・自然さなどを含む総合平均はSonnet 5.5が高く出ました。
既定のFlash-Liteは単行の待ち時間が短い一方、音数の確認と手直しが必要です。意味や自然さは、音数の機械判定と分けて、AIによる匿名採点と出力例で確認してください。
検証中のモデルは計測時点では一般に選べませんでした。合成3曲・各条件1回の結果として、用途を比べる参考にしてください。
何度も候補を試したい
1行の操作の待ち時間と消費ポイントを確認。速さだけで音数が合うとは限りません。
数行をまとめて作りたい
セクション生成・言い換えの音数一致を確認。単行の成績とは分けて見てください。
言葉の自然さを確かめたい
歌詞の出力例と匿名AI採点を参考に、ご自身のメロディや表現に合うか確認。
「検証中」は現在一般には選べないモデルです。現在の提供状況は、下の設定名に併記しています。
今回の結果の要点を読む
- Claude Haiku 5.5の音数一致(補正後)は、セクション生成85%、セクション言い換え92%でした。単行では言い換え22%、指示11%と、操作によって差があります。
- Gemini 3.8 Flashの単行の音数一致(補正後)は、思考OFFの設定で言い換え89%・指示83%、思考ONの設定で93%・89%でした。単行には思考設定の差が適用されないため、この差を思考設定の効果とは解釈しません。
- 既定のFlash-Liteは、1行言い換えの時間中央値2.1秒、1行指示2.4秒でした。音数一致(補正後)はそれぞれ37%、44%です。
- 全操作の消費pt/回はHaiku 5.5が48pt、既定のFlash-Liteが225ptでした。待ち時間と合わせて操作別の表を確認してください。
- 各設定33操作をすべて完了し、途中停止はありません。候補数が要求を超えた応答の扱いは、方法ページに記載しています。
- 単一AIの匿名採点では、総合平均はSonnet 5.5が3.84、Gemini 3.8 Flashの思考ON設定が3.63でした。歌う音数の機械判定とは別の指標です。
実際の比較結果
音数一致は「目標の歌う音数に合った行の割合」です。全操作の集計なので、使いたい操作の結果も合わせてご確認ください。表は横にスクロールできます。
| 設定・現在の提供状況 | 計測できた問題 | 音数一致(補正後) | 待ち時間 中央値/最大 | 平均消費pt/回 |
|---|---|---|---|---|
| 33/33 | 39% | 16.7秒 / 42.5秒 | 225pt 約2.3円 | |
Gemini 3.8 Flash(思考OFF) 現在は選べません | 33/33 | 39% | 14.9秒 / 47.5秒 | 187pt 約1.9円 |
Gemini 3.8 Flash(思考ON) ゲストの既定モデル | 33/33 | 54% | 28.9秒 / 67.8秒 | 333pt 約3.3円 |
Claude Haiku 5.5(思考ON) 登録ユーザーの既定モデル | 33/33 | 71% | 21.0秒 / 42.5秒 | 48pt 約0.48円 |
Claude Sonnet 5.5(思考ON) 登録ユーザーが選べます | 33/33 | 60% | 5.2秒 / 28.4秒 | 336pt 約3.4円 |
ポイントと円換算は測定日 2026-10-24 の料金・処理条件による実測の平均です（1pt = 0.01円、補助処理を含む）。入力の長さ・出力・料金改定によって変わります。現在の利用条件は料金ページ、ポイントの仕組みはポイントの説明をご覧ください。
この比較で分かること・分からないこと
合成3曲・各条件1回の小規模な測定です。音数一致は韻譜の音韻エンジンによる判定で、歌詞全体の品質や実際の歌いやすさを保証する値ではありません。
必要な候補には、表記を整える補助モデル（Claude Haiku 5.5）を併用しています。主モデルだけの能力比較ではありません。
匿名AI採点はAI評価者1つによる参考評価です。人によるブラインド試験・歌唱評価は行っていません。
評価条件と限界を詳しく読む →ポイントと音数一致をグラフで見る
使いたい操作で比べる
セクション(数行)と 1 行では、得意なモデルが変わることがあります。
| 設定 | セクション生成 | セクション言い換え | 1行の言い換え | 1行への指示 |
|---|---|---|---|---|
| Gemini 3.1 Flash-Lite(既定: 速度優先+思考ON) | 31% 40.2秒・476pt | 47% 20.1秒・304pt | 37% 2.1秒・28pt | 44% 2.4秒・28pt |
| Gemini 3.8 Flash(思考OFF) | 25% 14.9秒・193pt | 24% 6.7秒・153pt | 89% 20.3秒・185pt | 83% 24.8秒・232pt |
| Gemini 3.8 Flash(思考ON) | 43% 43.5秒・421pt | 42% 44.8秒・493pt | 93% 19.2秒・192pt | 89% 19.5秒・172pt |
| Claude Haiku 5.5(思考ON) | 85% 34.0秒・72pt | 92% 23.1秒・59pt | 22% 2.9秒・27pt | 11% 2.8秒・28pt |
| Claude Sonnet 5.5(思考ON) | 56% 11.4秒・422pt | 72% 18.8秒・498pt | 48% 3.5秒・185pt | 44% 4.0秒・191pt |
詳しい指標：初回・表記・自分らしさの条件別
| 設定 | 音数一致（初回） | ひらがなのみ |
|---|---|---|
| Gemini 3.1 Flash-Lite(既定: 速度優先+思考ON) | 34% | 0% |
| Gemini 3.8 Flash(思考OFF) | 27% | 5% |
| Gemini 3.8 Flash(思考ON) | 41% | 1% |
| Claude Haiku 5.5(思考ON) | 35% | 1% |
| Claude Sonnet 5.5(思考ON) | 27% | 0% |
条件別（指定なし / 自分らしさ / 方針+指示）
| 設定 | 素の音数一致 | 自分らしさONの音数一致 | 方針+指示の音数一致 | 作家らしさ距離 素→自分らしさON |
|---|---|---|---|---|
| Gemini 3.1 Flash-Lite(既定: 速度優先+思考ON) | 39% | 32% | 46% | 0.313 → 0.271 |
| Gemini 3.8 Flash(思考OFF) | 53% | 23% | 39% | 0.340 → 0.307 |
| Gemini 3.8 Flash(思考ON) | 58% | 44% | 59% | 0.447 → 0.303 |
| Claude Haiku 5.5(思考ON) | 70% | 75% | 69% | 0.284 → 0.361 |
| Claude Sonnet 5.5(思考ON) | 67% | 51% | 61% | 0.351 → 0.298 |
作家らしさ距離は、架空の作詞家「水城ハル(架空)」の作風を数値化した指標との距離です（小さいほど近い）。実際の作家の再現度や表現の良さを保証しません。
匿名AI採点を見る（人による評価ではありません）
モデル名を伏せた候補を、AI評価者 1つが採点した参考値です。人によるブラインド試験や実際の歌唱評価ではありません。
| AI評価者 | 設定 | 総合 | 歌いやすさ | 意味 | 指示の反映 | 自然さ | 作家らしさ | 最良に選ばれた数 |
|---|---|---|---|---|---|---|---|---|
| Codex（GPT-6ベース、正確なサブモデル名は非公開） | Gemini 3.1 Flash-Lite(既定: 速度優先+思考ON) | 3.00 | 3.45 | 3.00 | 2.48 | 3.06 | 2.11 | 1/33 |
| Codex（GPT-6ベース、正確なサブモデル名は非公開） | Gemini 3.8 Flash(思考OFF) | 3.40 | 3.36 | 3.61 | 3.30 | 3.33 | 2.89 | 6/33 |
| Codex（GPT-6ベース、正確なサブモデル名は非公開） | Gemini 3.8 Flash(思考ON) | 3.63 | 3.76 | 3.73 | 3.48 | 3.55 | 3.00 | 11/33 |
| Codex（GPT-6ベース、正確なサブモデル名は非公開） | Claude Haiku 5.5(思考ON) | 3.44 | 3.85 | 3.39 | 3.00 | 3.52 | 2.78 | 5/33 |
| Codex（GPT-6ベース、正確なサブモデル名は非公開） | Claude Sonnet 5.5(思考ON) | 3.84 | 3.61 | 4.12 | 3.76 | 3.85 | 3.67 | 10/33 |
各観点 1〜5 点。総合は歌いやすさ・意味・指示の反映・自然さの4観点の平均で、作家らしさは別採点です。 音数一致とは別の指標で、絶対的な品質や、人の好みを保証しません。評価者の判断・提供元による偏りもあり得ます。
実際に出た歌詞を比べる
同じ合成曲・指定なしのセクション生成から、各設定が返した先頭候補を掲載しています。全体の平均的な出来を示す例ではありません。ほかの候補や、最も音数が合った例・外れた例は、各設定の詳細ページで確認できます。
「終電のあとで」のサビシティポップ・98 BPM
テーマ: 終電を逃した夜、言えない気持ちを抱えて二人で夜明けまで歩く
- 朝までずっと歩いてくと決めた16/15音・不一致
- 冷えた空気を吸い込み歩き出す15/14音・不一致
- 街の明かりが遠くで消えていく14/16音・不一致
- 夜明けの空を見つめて歩こう14/12音・不一致
- 静まり返る街をひとりでゆく16/15音・不一致
- 朝の光に巡り会うまで14/14音
- 夜の隙間を足音が埋める15/16音・不一致
- この道の先へ歩き出す13/12音・不一致
- 終電の後に残ったこの街で15/15音
- 朝が来るまで一人歩いてく14/14音
- 冷たい風を静かに受け止めて16/16音
- 光が射し込むあの場所まで14/12音・不一致
- 夜明けまで歩こうと二人で決めた15/15音
- 朝が来るまで瞬く星々14/14音
- 静かな路地裏に響く足音16/16音
- 空が白むまで歩こうよ12/12音・補正
- 終電を見送って靴紐結ぶ15/15音・補正
- 眠らない街の端っこまで14/14音・補正
- ポケットの中の鍵握りしめて16/16音・補正
- 東の空を探してる12/12音・補正
「Runaway Sunday」のサビアップテンポJ-POP・132 BPM
テーマ: 予定のない日曜日、思いつきで街へ飛び出す軽快な一日
- 今日は自由な日6/7音・不一致
- 好きな道を行く8/8音
- 誰の言葉も胸にしまって明日へ18/12音・不一致
- 新しい道今歩む9/11音・不一致
- 目覚まし止めずに8/7音・不一致
- 陽射しを浴びてる8/8音
- 予定表なんて今はゴミ箱捨てて14/12音・不一致
- 自分の足で歩いてく11/11音
- 時計を外して7/7音
- 宛てのない道へ8/8音
- 誰のためでもなくただ歩いてゆく16/12音・不一致
- 私だけの今日を描く11/11音
- 自分で決めようよ7/7音・補正
- 寄り道もいいさね8/8音・補正
- 朝寝坊してもいいんだ今日はね12/12音・補正
- 僕だけの明日描こう11/11音・補正
- 目覚まし止めて7/7音・補正
- 空を見上げたら8/8音
- どこ行こう誰にも決めさせない14/12音・不一致・補正
- 風の向くまま歩いてく11/11音・補正
「冬の台所」のサビバラード・72 BPM
テーマ: ひとり暮らしの冬、実家の台所の記憶と母の声を思い出す
- 風が吹く懐かしい場所へ12/13音・不一致
- 遠い空を見上げ想う10/11音・不一致
- 夕焼けの坂道が呼ぶ声13/14音・不一致
- あの場所へ帰ろう今すぐ12/12音
- 赤く染まる故郷の空11/13音・不一致
- 母の言葉を覚えてる11/11音
- 静かな風が頬を撫でてく13/14音・不一致
- 温もりあふれる我が家へと13/12音・不一致
- 夕焼けに染まる故郷へ10/13音・不一致
- 懐かしい風頬撫でる10/11音・不一致
- 小さな灯火消えないままで14/14音
- ただいまを言う場所へ帰る13/12音・不一致
- まぶたの奥に浮かぶ故郷よ12/13音・不一致・補正
- ただいまと言える場所がある12/11音・不一致
- 風に乗ってあの優しい声が14/14音・補正
- きっといつかまた帰るから13/12音・不一致
- 夕焼け空の坂道を歩けば15/13音・不一致
- 線路の音が遠くで響く11/11音
- ただいま言えるあの町の灯15/14音・不一致・補正
- 胸の奥でずっと揺れている12/12音
行末の数字は「歌う音数/目標」。赤字は目標と合わなかった行、「補正」は音数を整える2回目の処理で直した行です。
この結果を読むときの注意
この比較で分かること・分からないこと
合成3曲・各条件1回の小規模な測定です。音数一致は韻譜の音韻エンジンによる判定で、歌詞全体の品質や実際の歌いやすさを保証する値ではありません。
必要な候補には、表記を整える補助モデル（Claude Haiku 5.5）を併用しています。主モデルだけの能力比較ではありません。
匿名AI採点はAI評価者1つによる参考評価です。人によるブラインド試験・歌唱評価は行っていません。
評価条件と限界を詳しく読む →AIの出力と待ち時間は毎回変わります。小さな差から優劣や統計的な有意差は示せません。未測定のモデル・操作については、この結果から判断できません。
過去の測定との関係
現行の評価版2では初回の計測です。表記補正などの条件が異なる旧版の記録との直接比較はしていません。