Execution Atlas
SOFTWARE 10 min read

Harvey Lab — なぜ法務AIの覇者は、ベンチマークを無料で配ったのか

2026-10-13 ソフトウェア・IT

創業から4年。顧客は3,000組織。Am Law 100(アメリカのトップ100法律事務所)の80%が導入。70カ国20万人の弁護士が日々使う。ARRは2026年1月の190百万ドルから、9月で400百万ドル。同じ月、企業価値は155億ドルに届いた。

Harvey は 2022 年にサンフランシスコのアパートで始まった。ルームメイトの二人組。片方は Google Brain・DeepMind・Meta を渡ってきた AI 研究者。もう片方は、securities and antitrust 分野の1年目 litigation associate。「1年目の弁護士」というのは、徹夜で判例を漁り、パートナーに修正されまくる職種のことだ。

彼らが解いた問題は、法律AIをどう作るか、ではない。

法律の仕事の良し悪しを、どう測るか、だった。

その測り方を設計し、オープンソースで公開する社内チーム。それが Harvey Lab である。

Mission

2022 年のサンフランシスコ。GPT-3.5 の時代。ChatGPT はまだ存在しない。

Winston Weinberg は O’Melveny & Myers という大手事務所で、securities and antitrust の litigation を 1 年目として担当していた。徹夜で判例を調べ、依頼人への手紙の下書きを書き、パートナーに真っ赤に修正される。Gabriel Pereyra はロサンゼルス時代のルームメイトで、Google Brain と DeepMind、その後 Meta で AI の研究をしていた。

2022 年初頭、Pereyra が Weinberg に GPT-3 を見せる。Weinberg は “stunned” だった、と後に話している。これだけのものがあって、法律実務に誰も応用していない。試しに Reddit から拾ってきた法律質問に答えさせるプロトタイプを二人で作る。使えなくもない。だが、使えない。

使える部分と使えない部分の境目が、不思議だった。要約は得意。契約書のドラフトもそれっぽく書く。しかし、根拠として挙げてくる判例が存在しなかったり、クライアント特有の文脈を無視したり、「依頼人の立場で」書くべきところを「中立の解説者」として書いたりする。弁護士の仕事というのは、答えを出すことではなく、依頼人の利益のために、根拠を積み上げて、推敲を重ねる仕事だった。LLM の素のアウトプットには、そのプロセスがない。

彼らの最初の仮説はこうなった。

法律用途で LLM を売るには、モデルの性能より先に、法律の仕事における「よくできた」の定義を自前で持たなければならない。でなければ、何をどう改善すればいいかも分からない。顧客にも説明できない。モデルベンダーの進化にも追随できない。

プロトタイプを持った二人は、2022 年にOpenAI の法務部門にコールドメールを送る。7 月 4 日に OpenAI 経営陣とのミーティングが実現し、Harvey は OpenAI Startup Fund の最初の投資先になった。資金は 500 万ドル、2022 年 11 月に発表された。Jeff Dean(Google AI 責任者)、Elad Gil、Sarah Guo らが共同投資している。

Allen & Overy が最初の大型顧客になった。1950 年代から続くロンドンの名門ファームで、当時は 40 ヵ国以上に拠点を持っていた。彼らが Harvey の最初のパイロットに乗ったとき、GPT-3.5 ベースのプロダクトだった。パイロットの合格ラインを決める段階で、Harvey は自分たちで評価基準を作らざるを得なくなる。

その数ヵ月後、OpenAI から GPT-4 の早期アクセスが来る。何が起きたか。

計画が書き換わった。

それまで「このモデルでここまでできれば OK」と置いていた基準線が、全部ずれた。基準線自体を可変にしないと、プロダクトの進捗が計測できない。

「可変の物差しを持つ組織」として、Harvey Lab の原型が始まる。

Design

評価の物差しを作る、と言葉で書くと簡単に見える。実際は、設計判断が3つあった。

ひとつめ。測る対象を、単問 Q&A ではなく、長時間の作業にする。

LLM のベンチマークは、歴史的に単問型だった。MMLU も、HumanEval も、LegalBench も、「この問いにどう答えるか」を見る。だが現場の弁護士の仕事は違う。契約書を 300 ページ読んで、クライアントに不利な条項を 20 個列挙する。買収案件のデューデリジェンス資料を精査して、ボードコンセントを起案する。デポジションのサマリーを 15 ページで仕上げる。どれも「正しい答え」が一つではなく、何時間もかけて成果物を仕上げる仕事だ。

Harvey が選んだ評価単位は、弁護士業界では馴染みのある概念だった。

time entry。

弁護士はクライアントに時間単位で請求する。1 件の作業は “Reviewed amended credit agreement; drafted summary memo of key covenant changes (2.5 hours)” のような形で記録される。業務時間を記録するためのこの単位が、そのまま「請求可能な一つの仕事」になる。この粒度でタスクを設計すれば、顧客側の弁護士が「自分の 2.5 時間」と直接比較できる。導入時の説得も、「このタスクを AI がこの品質でやった」と time entry 単位で示せば済む。

ふたつめ。ルーブリックは社内弁護士が書く。

多くの LLM 評価は「LLM-as-a-judge」で済ませる。採点自体を別の LLM にやらせる。Harvey はそれを部分的にしか採用しなかった。採点のためのルーブリック、つまり「このタスクで何を満たせば合格か」の基準自体を、元 BigLaw 弁護士が書くことにする。

これのために作られた組織が Applied Legal Research team である。弁護士が、エンジニア・デザイナー・PM と同じ列に並んで、プロダクト設計の最上流にいる。ユースケースの発見、データセット収集、ルーブリック作成、UI の反復、エンドツーエンドのテスト。普通の SaaS では「後ろ」にいる業務専門家が、Harvey では「前」にいた。

書かれるルーブリックは4つのレイヤーに分かれる。構造(フォーマット要件)、スタイル(アクションに繋がる助言か)、実体(事実の正確さ)、ハルシネーション検出。それぞれにプラスとマイナスのスコアがつく。弁護士が納品物として受け取ったときに、何を見るかの構造そのものだった。

みっつめ。評価をプロダクト開発のループに毎日組み込む。

Harvey はこの仕組みを三層構成で持った。専門家による直接レビュー、自動評価パイプライン、評価データを管理するデータサービス。モデル更新のたびに、1,000 件以上のタスクを自動で走らせ、ルーブリック採点で合格率を見る。退行が出た領域だけ、人間の弁護士がピンポイントで入る。

この3つを組み合わせたプロトタイプが、2024 年 9 月に BigLaw Bench という名前で発表された。公開版は 100 件の triplet(タスク・サンプル解答・ルーブリックの三点セット)。「社内のモデル比較」が、業界メディアに取り上げられる外部資産に変わった最初の瞬間だった。

Execution

評価を作ると口で言うのと、作れているかは、別の話だ。

Harvey Lab がこの2年でやったことを、数字で並べる。

  • 2024 年 9 月、BigLaw Bench Core 公開。100 triplet。
  • 同時期、BigLaw Bench Workflows を内部で運用。複数ステップから成る合成タスク。
  • 2025 年、JudgmentBench を学術的な拡張として整備。30 タスク、50 人以上の現役弁護士、3,000 ペア以上の採点とプリファレンス判定を同一アイテムに対して取得した、初の公開データセット。
  • 2026 年 5 月 6 日、Legal Agent Benchmark(LAB) 発表。1,200 以上の long-horizon タスク、24 の実務領域、75,000 以上の専門家が書いたルーブリック基準。all-pass スコア方式(全基準を満たしたときだけ合格)。
  • 同日、Artificial Analysis の Stirrup エージェントハーネスに LAB が載る。Harvey の 120 件のプライベートタスクで、各モデルベンダーのエージェントが競う。

ここで気づくのは、1 人の弁護士が 75,000 個のルーブリックを書くことは不可能だということだ。50 人でも、1 人あたり 1,500 項目。1 項目に 10 分かければ 1 人 250 時間。これは誰かが腹をくくって頭数とスケジュールを引かないと作れない量だった。

Harvey はこのために外部連携を使う。

Mercor とは専門家データセットの構築で組んだ。Mercor は職種別の高度専門家のネットワークを持っていて、Harvey は「元 M&A 弁護士」「元訴訟弁護士」「元 IP 弁護士」のような粒度でアノテーター集団にアクセスできた。合成データで下書きを作り、人間の専門家が修正する2段階フローが、ここで回る。

Fireworks とはモデル側で組んだ。長時間タスクを走らせる環境(弁護士が実際にやるように、ドキュメントを読み、ツールを呼び、下書きを書き、戻って修正する)で、非同期の強化学習(RL)を回す。報酬は Harvey Lab のルーブリックそのもの。評価インフラが、そのまま訓練インフラになった。

Artificial Analysis とは可視化で組んだ。独立系の AI 評価サイトのリーダーボードに、Harvey LAB のスコアがそのまま載る。モデルベンダーが自社の最新モデルを売るときに、必ずそのリーダーボードを引用する。Harvey の物差しに、業界が合わせに来る構造が完成した。

工期の計画は、創業時点では存在しない。だが結果として、創業から LAB 公開までは4年。この4年の間に、BigLaw Bench→Workflows→JudgmentBench→LAB という形で評価の射程が広がっている。単問から複数ステップへ、100 triplet から 1,200 タスクへ、オンプレ評価からオープンソースへ。

同じ4年で、プロダクト側も伸びた。2026 年 1 月に 1,300 組織・ARR 190 百万ドルだったのが、同じ年の 9 月に 3,000 組織・ARR 400 百万ドルになる。ARR が 8 ヵ月で 2 倍。Am Law 100 の 80%、Fortune 10 の 5 社、70 カ国の 200,000 弁護士。

評価インフラの投資と、事業の伸びが、重なった4年だった。

People

Harvey Lab の主役は、組織構造としての Applied Legal Research team だが、人の輪郭を少し置いておく。

Winston Weinberg は、創業時 20 代半ば。Kenyon College で学士、USC Gould School of Law で JD を取り、O’Melveny & Myers で securities and antitrust の litigation を担当する 1 年目アソシエイトだった。契約書の読み込み、判例調査、クライアントへの説明、パートナーへの報告。1 年目の弁護士が時間を一番使う作業は、彼が Harvey の最初のユースケースに選んだものと一致している。「自分が辛かった仕事」を、彼は忘れないうちにプロダクトに置き換えた。

Gabriel Pereyra は、USC で計算機科学の学士、University of Oxford で神経科学の博士(DeepMind がフル資金提供)。2016 年に Google Brain のレジデント、2017 年から DeepMind のリサーチサイエンティスト、その後 Meta。Transformer の原論文「Attention Is All You Need」が 2017 年に Google から出た、その現場に居合わせた世代の AI 研究者である。

二人はもともとロサンゼルス時代のルームメイトで、数年後に Harvey の共同創業に至った。資金は OpenAI Startup Fund 主導の 500 万ドルシードが最初の線だった。

Harvey Lab の中心人物として名前が出てくるのは Niko Grupen、Gabe Pereyra、Julio Pereyra の3名で、LAB 発表はこの3人の名前で公開された。Grupen は Head of Applied Research で、Google Brain 出身。Julio Pereyra は Gabe の弟で、Harvey 入社前は O’Melveny & Myers のアソシエイトとメリーランド連邦地裁の司法補佐を経験。入社後は Applied Legal Research team を率いて、ルーブリック先行のデータセット合成という独自の方法論を社内に根づかせた。

社内の弁護士(Applied Legal Research)の採用方針は、はっきりしていた。「現役のパートナーは採らない。アソシエイトから若手カウンセル、それも M&A・訴訟・金融・税務の実務経験が5〜10年のレンジ」。理由は、ルーブリックを書く作業に必要なのは実務の手触りで、意思決定者の視点ではないからだ。パートナーは意思決定を売る仕事で、評価の網目を書く仕事ではない。

Harvey の取材資料ではこの体制がこう語られている。エンジニアが世界有数の法律事務所のパートナーと直接電話で話す。社内の弁護士は、評価基準の設計から退行検出まで、品質の番人として機能する。この二つが成り立たないと、Harvey は Harvey ではない。

Legacy

2026 年 10 月時点で、Harvey Lab が残しているものを並べる。

ひとつは、オープンソースの評価データセット。BigLaw Bench の公開版、JudgmentBench の 30 タスク × 50 人 × 3,000 ペア、LAB の 1,200 タスク相当のタスク設計とルーブリック構造。これらは誰でも監査でき、他社がベンチマークに乗せられる。モデルベンダーが「法律で強い」と主張するときの参照点として、業界のデファクトになりつつある。

ふたつめは、評価と訓練の統合の作法。評価ルーブリックを報酬関数として、ドメイン特化モデルを post-training する手続きが、Harvey と Fireworks の協業で具体化された。これは Harvey 固有の資産というより、業界が真似ていくやり方になっている。

みっつめは、ドメイン専門家をプロダクトの最上流に置く組織構造の具体例。弁護士、医師、会計士、建築士。「資格を持つ専門家の仕事」をソフトウェアに置き換えようとする企業にとって、Applied Legal Research team の設計は読める教科書になった。

事業側の数字は、冒頭に書いたとおり。ARR 400 百万ドル、155 億ドルの評価額、3,000 組織、Am Law 100 の 80%。ベンチャーキャピタルは Sequoia、Andreessen Horowitz、Kleiner Perkins、GIC、Coatue、Lightspeed などが連なる。2026 年の 2 回の調達で合計 7.5 億ドルを集めた。

ただし、評価インフラ自体を公開したことの最大の帰結は、数字の外にある。

モデルベンダーが新モデルをリリースするとき、法律カテゴリの性能を語る文脈で、Harvey の名前が自然に出てくる。「GPT-5 は Harvey LAB で X% を達成した」「Claude Opus 5 は Harvey LAB の M&A タスクで前モデルから Y% 改善した」。Harvey が広告を打たなくても、業界の進歩を語る語彙の中に Harvey が入っている。マーケティングのコストが、評価の資産に置き換わっている。

これが評価インフラをプロダクトとして出すということの、本当の帰結だった。

学び

Harvey Lab の学びは、ひとつに絞ったほうがいい。

モデルは借りて、評価は作る。

AI スタートアップの差別化は、長らく「モデルを自前で持つかどうか」の軸で語られてきた。基盤モデルを自作する会社、ファインチューニングで差別化する会社、プロンプトとワークフローだけで戦う会社。ここに Harvey は、「評価の物差しを自作する」という第四の軸を持ち込んだ。

評価を握るとどうなるか。三つのことが同時に起きる。

まず、プロダクトの進捗が内側に見える。モデルが変わっても、ユースケースが広がっても、「どこがどれだけ良くなったか」が数字で言える。開発チームは退行を即座に検知し、どのタスクに弁護士を投入すべきか特定できる。評価が開発速度のレバーになる。

次に、顧客への説得の仕方が変わる。「このタスクを、御社の弁護士の time entry と同じ粒度で、この品質で、この時間でやります」と言える。導入時の最大の障壁は「本当に自分の仕事に使えるのか」の疑念で、time entry ベースの評価は、この疑念を1階層消す。

最後に、業界内での位置取りが変わる。評価が普及すると、モデルベンダーも競合も、全員がその物差しに最適化する。物差しの作者は、物差しの中心に残り続ける。マーケティング予算で届かない層(研究者、技術評価者、モデルベンダー)に自然に名前が届く。評価がマーケティングチャネルになる。

このパターンは、Harvey だけに適用できる話ではない。

ImageNet は、公開前は深層学習の教材用データセットだったが、公開した瞬間に業界の物差しになった。GLUE / SuperGLUE は、NLP モデルの共通言語になった。MLPerf は、AI ハードウェアの比較の軸になった。HumanEval は、コード生成の標準評価になった。これらの作者は、評価軸を提供することで、業界の進歩を定義する側に立った。

評価は、プロダクトの付属物ではない。独立したプロダクトでありうる。むしろ、ドメインが曖昧で「正解」が一意に定まらない領域では、評価のほうがモデルより希少な資源になる。

このことを 2022 年のサンフランシスコのアパートで、二人の 20 代が察知した。そして4年後、彼らは法務 AI の評価軸そのものを握っている。

自分たちのプロダクトでは、何が成功か。それを決めるのは誰だろうか。自分か、競合か、業界メディアか、顧客か。

Harvey が示しているのは、その答えを自分で書き、無料で配ることで、業界に広める戦略が成立する時代が来た、ということだ。評価の物差しは、作って持っておくものではなく、作って手放すものかもしれない。

手放したあとに残るのは、その物差しをいちばん詳しく理解している会社の名前だけだ。

出典・参考資料

関連記事

ソフトウェア

ChatGPT・GPT開発 — 7年の地道なスケーリングが5日で世界を変えた
ソフトウェア・IT

UNIX — 独占禁止訴訟が、商品化できないOSに世界を取らせた話
ソフトウェア・IT

POSシステム — 打ち間違い防止として生まれた道具は、なぜ小売の脳になったのか
Project Timeline