--- title: Jevでサービス作ったった「そんな返事で大丈夫か？」 tags: #バイブコーディング #生成ai #システムエンジニア友の会 #jev #webサービス author: [Quatrex](https://image.docswell.com/user/Quatrex) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/VENYR9Z4J8.jpg?width=480 description: 2026年10月12日に開催した「みんなでバイブコーディング ネタ持ち寄り編#1」での発表資料です。文章を生成しない評価モデル Jev を使って、送る前の返事を「送る／直す／今は送るな」で判定するサービス「そんな返事で大丈夫か？」（https://sonhen.vercel.app/）を作った話です。Jev の特徴と使いどころ、自前のベンチマーク、バイブコーディングの進め方を紹介しています。 published: October 13, 26 canonical: https://image.docswell.com/s/Quatrex/ZJWY2M-2026-10-12 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/VENYR9Z4J8.jpg) ネタ発表 1 Jevでサービス作ったった Quatrex ／ みんなでバイブコーディング ネタ持ち寄り編#1 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/Y79PM2Z4E3.jpg) 今日の話 15分 ① サービス紹介「そんな返事で大丈夫か？」 ② デモ ③ Jevって何じぇぶ？ ④ Jevの使いどころ（ネットの実績） ⑤ Quatrexの所感 ⑥ バイブコーディングの進め方 2 / 15 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/G78DL51V7D.jpg) そんな返事で大丈夫か？（そんへん） 送る前に、その一通を点検する 書くのは人間、判定するのはAI 判定は3つ：送る／直す／今は送るな 対象は、女性への返事で迷う男性 彼女・妻・母・女性の上司など9種類 送信ボタンを押しても送られず、判定が出る 入力はサーバーに保存しない。無料、登 録なし 3 / 15 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/L7LMLYQRJR.jpg) 判定結果はこう出る ハンコと点数（0〜100点） ツッコミ：一番効いた指摘 赤ペン：理由と直し方 花丸、文面の温度、地雷チェック 直し方は「型」だけ。 代わりの文は書かない 文言は全部テンプレ 4 / 15 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/4EMYMN1PEW.jpg) デモ sonhen.vercel.app お題：怒ってる彼女に、言い訳つきで謝る 彼女 もういいよ。勝手にして。 昨日はごめん。でも仕事が立て込んでて連絡できなかった。 不快にさせたなら謝るよ。 待て 判定：今は送るな 35点「〜なら謝る」は、謝ってないのと同じ。 同じ「了解」でも、相手を変えると判定が変わります 5 / 15 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/PER9VDLYJ9.jpg) Jevって何じぇぶ？ 文章を生成しないAIモデル 質問の型は3つ choice：選択肢から1つ TypeSafe AI が 2026/9/15 に 公開 状態（state）と型付きの質問を渡すと、 確率つきの回答だけが返る 最初に使えたのは Vercel AI Gateway（9/16）。 score：段階で採点 boolean：はい／いいえの確率 応答 300〜400ms 入力 $0.042／100万トークン、出力は無料 めちゃくちゃ安い：1万回判定しても約1ドル いまは OpenRouter、Cloudflare Workers AI、Netlify、TypeSafe 直 でも呼べる 6 / 15 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/P7XQZ1W4EX.jpg) 呼び出し方と、できないこと できないこと const result = await evaluate({ model: 'typesafe-ai/jev', state: { message: draft, relationship }, questions: { excuse: { type: 'boolean', instructions: '謝罪のあとに言い訳が続くか' }, lengthFit: { type: 'score', 文章を書けない 計算できない 行間を読まない（皮肉、含意） 日本語はトークンを約5倍に数える criteria: ['短い', 'ちょうどいい', '長い'] }, }, }); AI SDK 7 の experimental_evaluate だから点数の計算はコード側、 文言はテンプレで持つ 7 / 15 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/37K982VP7D.jpg) そんへんでの使い方 1回の呼び出しに14問を束ねる 点数はコードで計算 40 ＋ 60 × 加点軸の達成度 加点軸 5問 − 地雷軸の減点 相手の話に応えているか、言葉づかい、 長さ、気持ちの一言、次につなぐ一言 地雷軸 8問 75点以上：送る 45〜74点：直す 44点以下：今は送るな そっけない、重い、上から目線、言い訳、 条件付きの謝罪 など 期待つきの文例24件で調整 総合 1問（送る／直す／今は送るな） npm run calibrate 8 / 15 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/LJ3W24M4J5.jpg) Jevの使いどころ（ネットの実績） 誰が 何に使ったか 結果 Every 37文書を21問で一括検査 777判定が0.7秒未満。欠陥7件中6件を検出 Near Here イベント掲載の可否判定 50件 48件正解（Gemini 3.5 Flash-Lite は43件） DevelopersIO LLMルーティングの4分類 40コール一致、中央値 約0.65秒 Aera 実タスク400件の絞り込み 適合率 79%→85%、遅延 463ms→147ms pi-warden ツール実行前の審査 約17,000回で42回保留、約88%が妥当 形はどれも同じ：閉じた質問を大量に投げ、結果はコードで合成する 各記事の報告値。小規模な検証が中心。出典：note（香川友志）、Firecrawl ブログ、各社の記事（2026/9〜10） 9 / 15 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/8JDKZQ65EG.jpg) ただし、割り引いて読む点もある 「ハルシネーションしない」は言い過ぎ。 「193.6倍速い、444.6倍安い」は、 型は守るが、型に合った間違いは返る 高価な推論モデルの構成との比較 公式の業務評価では 大企業の本番導入事例は見つからず Jev 67.8%、GPT-5.6 Terra 67.9% でほぼ同じ （9/18 時点の自分の調査） 向かないもの：生成、計算、 多段の推論、件数の少ない重い判断 10 / 15 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/VEPKDLYD78.jpg) Quatrexの所感① 自分でも測った モデル 正答率（90問） 応答の中央値 入力 $／100万 Jev 94.4% 336ms 0.042 GPT-5.6 Terra 95.6% 1,873ms 2.0 GPT-5.6 Luna 94.4% 1,448ms 0.2 Gemini 3.1 Flash-Lite 94.4% 1,248ms 0.25 DeepSeek V4 Flash 93.3% 1,382ms 0.076 GPT-4.1 nano 74.4% 1,123ms 0.1 精度は安いLLMと横並び。違いは速さと単価 正解つき90問（16カテゴリ）を自作して比較。2026/9/18 実施。Jevは日本語のトークンを約5倍に数えるので、単価の差はそのぶん縮む 11 / 15 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/27VV1QGG7Q.jpg) Quatrexの所感② あまり使いどころがない 精度が同じなら、Luna や Haiku、中華LLMの Flash 版でも事足りるのでは 個人サービスの規模だと、1判定の差額も1秒の差も誤差 文章を書けないので、ツッコミも直し方も全部テンプレを自分で用意することになる 向くのは、大量・即時・閉じた質問。入口のガード、振り分け、タグ付け そんへんでは「AIは書かない。書けない」をコンセプトにできたのが収穫 12 / 15 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/5JGL2NDD7L.jpg) バイブコーディングの進め方① 時系列 9/15 Jev 公開 9/18 Jev を調べる。90問のベンチと調査メモ（深夜0時〜5時） 9/20 Claude と企画を検討（23時台） 9/21 フォルダ構成、企画書、Next.js の雛形、トーク画面の土台 9/23 採点を作り直し（加点軸＋地雷軸）。見た目を本番化（ロゴ、ハンコ、赤ペン） 9/27 対象を「女性への返事で迷う男性」に絞る。文例24件で調整 9/28 LP、OGP画像、セキュリティ対策、リファクタ、デプロイ手順（〜深夜2時） 10/12 GitHub に初回コミット、Vercel で公開（今日の16時） ファイルの更新日時と、意思決定ログ（decisions.md）から復元。作業したのは6日ぶん 13 / 15 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/47QYPQ1XEP.jpg) バイブコーディングの進め方② モデルの切り替え はじめ AIに渡していたもの OpenCode ＋ DeepSeek AGENTS.md ：守る設計原則を7つ V4.1 Flash 安くて速い。動くものはすぐできた plan.md ：企画書を先に直す でも、デザインがあっさりしすぎ decisions.md ：決定と理由のログ npm run calibrate ：文例24件で判定を 確かめる 切り替え npm run verify ：push 前の点検 Claude Opus 5.5 に変更。 トーク画面・赤ペン・ハンコの見た目に 14 / 15 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/KE4WYNR2J1.jpg) まとめ Jev は「書かないAI」。速くて安い、閉じた質問の判定器 精度は安いLLMと同じくらい。個人開発では、選ぶ決め手になりにくい でも「書けない」という制約が、そのままサービスのコンセプトになった 安いモデルで骨組み、デザインは上位モデル。使い分けが効いた 今日公開しました → sonhen.vercel.app 15 / 15