GPT-3

生成的事前学習済みTransformer 3 (GPT-3)
原著者オープンAI [ 1 ]
初回リリース2020年5月29日（公開）；2020年6月11日（OA APIベータ版）
リポジトリ
前身機種GPT-2
後継機種GPT-3.5 GPT-4
タイプ
ライセンス独自
ウェブサイト openai.com /blog /openai-api

生成的事前学習済みTransformer 3（GPT-3）は、2020年に OpenAIによってリリースされた大規模言語モデルです

前身のGPT-2と同様に、これはデコーダーのみを備えた[ 2 ] ディープニューラルネットワークのトランスフォーマーモデルであり、再帰および畳み込みベースのアーキテクチャを「アテンション」と呼ばれる手法で置き換えています。[ 3 ]このアテンションメカニズムにより、モデルは入力テキストの中で最も関連性の高いと予測されるセグメントに選択的に焦点を合わせることができます。[ 4 ] GPT-3には1750億のパラメータがあり、[ 1 ]各パラメータは16ビット精度で、各パラメータが2バイトを占めるため、350GBのストレージが必要です。コンテキストウィンドウサイズは2048トークンで、多くのタスクで強力な「ゼロショット」および「少数ショット」学習能力を実証しています。[ 2 ]

2020年9月22日、マイクロソフトはGPT-3の独占ライセンスを取得したと発表しました。他の企業は引き続きGPT-3の公開APIからの出力を受け取ることができますが、基盤となるモデルにアクセスできるのはマイクロソフトのみです。[ 5 ]

背景

エコノミスト誌によると、アルゴリズムの改良、より高性能なコンピュータ、そして近年のデジタル化された資料の増加が機械学習の革命を促しています。2010年代の新しい技術は、言語操作を含む「タスクの急速な改善」をもたらしました。[ 6 ]

 ソフトウェアモデルは、「脳の神経構造に大まかに基づいた構造」で数千または数百万の例を用いて学習するように訓練されます。 [ 6 ]自然言語処理（NLP）で使用されるアーキテクチャの1つは、2017年に導入されたディープラーニングモデルに基づくニューラルネットワーク、すなわちトランスフォーマーアーキテクチャです。[ 7 ]テキスト入力を処理、マイニング、整理、接続、対比し、質問に正しく答えることができるNLPシステムは数多く存在します。[ 8 ]

2018年6月11日、OpenAIの研究者とエンジニアは、初の生成的事前学習済みトランスフォーマー（GPT）を紹介する論文を発表しました。GPTは、データセット内の膨大かつ多様なテキストコーパスを用いて事前学習し、その後、特定のタスクに焦点を絞るための識別的微調整を行う、生成 的大規模言語モデルの一種です。GPTモデルは、トランスフォーマーベースのディープラーニングニューラルネットワークアーキテクチャです。これまで、最も高性能なニューラルNLPモデルは、大量の手動でラベル付けされたデータを用いた教師あり学習を採用することが一般的でした。そのため、非常に大規模な言語モデルの学習には、法外なコストと時間がかかりました。[ 2 ]最初のGPTモデルは「GPT-1」として知られ、2019年2月に「GPT-2」が続きました。前身の直接的なスケールアップとして作成されたGPT-2は、パラメータ数とデータセットサイズの両方が10倍に増加しました。15億のパラメータを持ち、800万のウェブページのデータセットでトレーニングされました。[ 9 ]

2020年2月、マイクロソフトはチューリング自然言語生成（T-NLG）を発表しました。同社はこれを「170億のパラメータを持つ史上最大の言語モデル」と主張しました。[ 10 ]テキストの要約や質問への回答など、さまざまなタスクにおいて他のどの言語モデルよりも優れたパフォーマンスを発揮しました。

トレーニングと能力

GPT-3で書かれた教育学に関する学生のエッセイのサンプル

「学習スタイル」という概念は、学習スタイルが形成されるプロセスを考慮していないという点で問題があります。特定の経験を積んだことで、特定の学習スタイルを身につける生徒もいれば、学習ニーズに合わない学習環境に適応しようとすることで、特定の学習スタイルを身につける生徒もいます。最終的には、学習スタイルと環境要因および個人要因の相互作用、そしてこれらが学習方法や学習経験の種類をどのように形作るのかを理解する必要があります。

–マイク・シャープルズによるテキスト生成[ 11 ]

2020年5月28日、 OpenAIの31人のエンジニアと研究者のグループによるarXivプレプリントで、第3世代の「最先端言語モデル」であるGPT-3の成果と開発について説明されました。[ 1 ] [ 12 ]チームはGPT-3の容量を前身のGPT-2から2桁以上増加させ、[ 13 ] GPT-3を当時最大の非スパース言語モデルにしました。[ 1 ] : 14 [ 14 ] GPT-3は構造的に前身に類似しているため、[ 1 ]容量の増加とパラメータ数の増加により、精度が向上しました。[ 15 ] GPT-3の容量は、当時知られている2番目に大きいNLPモデルであったMicrosoftのTuring NLGの10倍です。[ 12 ]

Lambdalabsは、2020年に単一のGPUでGPT-3を訓練するのに約460万ドルと355年かかると仮定したが、[ 16 ]より多くのGPUを並列に使用することで実際の訓練時間は短縮される。

GPT-3の加重事前トレーニングデータセットの60%は、4100億バイトペアエンコードされたトークンで構成されるCommon Crawlのフィルタリングされたバージョンからのものである。あいまい重複排除にはApache SparkのMinHash LSHを使用した。[ 1 ]：9 その他のソースは、WebText2からの190億トークン（加重合計の22%を占める）、Books1からの120億トークン（8%を占める）、Books2からの550億トークン（8%を占める）、Wikipediaからの30億トークン（3%を占める）である。[ 1 ]： 9GPT-3は数千億語でトレーニングされており、CSS、JSX、Pythonなどでコーディングすることもできる。

GPT-3トレーニングデータ[ 1 ] : 9
データセット トークン数 トレーニング内の 割合
共通クロール4100億 60%
WebText2 190億 22%
書籍1 120億 8%
書籍2 550億 8%
ウィキペディア 30億 3%

GPT-3のトレーニングデータは包括的​​であるため、個別の言語タスクのために追加のトレーニングは必要ありません。トレーニングデータには時折有害な言語が含まれており、GPT-3はトレーニングデータを模倣した結果として有害な言語を生成することがあります。ワシントン大学の研究では、GPT-3が生成した有害な言語の毒性レベルは、同様の自然言語処理モデルであるGPT-2やCTRLに匹敵することがわかりました。OpenAIは、GPT-3によって生成される有害な言語の量を制限するために、いくつかの戦略を実装しています。その結果、GPT-3は、前身のモデルであるGPT-1と比較して有害な言語を少なく生成しましたが、Wikipediaデータのみでトレーニングされた言語モデルであるCTRL Wikiと比較すると、より多くの世代とより高い毒性の有害な言語を生成しました。[ 17 ]

2020年6月11日、OpenAIは、ユーザーがユーザーフレンドリーなGPT-3 API（「機械学習ツールセット」）へのアクセスをリクエストできると発表しました。これは、OpenAIがこの新技術の「強みと限界を探る」のを支援するためです。[ 18 ] [ 19 ]招待状には、このAPIが、通常の単一のユースケースではなく、ほぼ「あらゆる英語タスク」を完了できる汎用的な「テキスト入力、テキスト出力」インターフェースを備えていると説明されていました。[ 18 ] OpenAI GPT-3 APIの非公開初期リリースにアクセスしたあるユーザーによると、GPT-3は、いくつかの簡単なプロンプトだけで「驚くほどまとまりのあるテキスト」を書くのが「不気味なほど得意」でした。[ 20 ]最初の実験では、80人の米国人被験者に、約200語の短い記事が人間によって書かれたものか、GPT-3によって書かれたものかを判断するよう依頼されました。参加者は52%の確率で正しく判断し、ランダムな推測よりもわずかに優れた結果となりました。[ 1 ]

2021年11月18日、OpenAIは十分な安全対策が実装され、APIへのアクセスが制限されなくなると発表した。[ 21 ] OpenAIは開発者に、OpenAIのコンテンツポリシーを遵守するのに役立つコンテンツモデレーションツールを提供した。[ 22 ] 2022年1月27日、OpenAIは最新のGPT-3言語モデル（総称してInstructGPTと呼ばれる）がAPIで使用されるデフォルトの言語モデルになったと発表した。OpenAIによると、InstructGPTは、指示に従うこと、作り話の事実を生成すること、有害性の低いコンテンツを生成することで、ユーザーの意図により合ったコンテンツを生成したという。[ 23 ]

GPT-3は「人間の評価者が人間が書いた記事と区別するのが難しいニュース記事を生成できる」ため[ 12 ] 、 GPT-3は「言語モデルの有益な応用と有害な応用の両方を発展させる可能性を秘めている」[ 1 ]。 2020年5月28日の論文で、研究者らは「GPT-3の潜在的な「有害な影響」 [ 12 ]について詳細に説明しており、これには「誤情報、スパム、フィッシング、法的および政府プロセスの悪用、不正な学術論文執筆、ソーシャルエンジニアリングのプリテキスティング」が含まれる[ 1 ]。著者らはこれらの危険性に注意を喚起し、 リスク軽減に関する研究を呼びかけている[ 1 ]。

GPT-3はゼロショット学習と少数ショット学習（ワンショット学習を含む）が可能です。[ 1 ]

2022年6月、アルミラ・オスマノヴィッチ・トゥンストロームは、GPT-3が自身に関する論文の主著者であり、論文を出版のために提出したこと、[ 24 ]そして、その論文は査読の完了を待つ間に事前出版されていたことを記した。[ 25 ]

GPT-3モデル

GPT-3ファミリーには多くのモデルがあり、それぞれ異なる目的で使用されるものがあります。OpenAIが発表した最初の研究論文では、主要なGPT-3モデルの8つの異なるサイズについて言及されています（表2.1）。

GPT-3の特性
モデル名バッチサイズ学習率 API名
GPT-3 スモール125M1276812640.5M
GPT-3 中350M24102416640.5Mada
GPT-3 ラージ760M24153616960.5M
GPT-3 XL130億24204824128100万バベッジ
GPT-3 27億27億3225603280100万
GPT-3 67億67億32409632128200万キュリー
GPT-3 13B13.0B40514040128200万
GPT-3 175B175.0B961228896128320万ダヴィンチ

モデルの半分はAPI経由でアクセス可能で、それぞれGPT-3-medium、GPT-3-xl、GPT-3-6.7B、GPT-3-175bと呼ばれ、ada、babbage、curie、davinciと呼ばれます。APIモデルのサイズは当初OpenAIによって公開されていませんでしたが、EleutherAIは2021年5月にモデルサイズとAPI名のマッピングを発表しました。[ 26 ]これらのモデルサイズは後にOpenAIによって確認されましたが、[ 27 ]後続のモデルのサイズは公開されていません

モデル パラメータ 説明 シリーズ
ada 350M 非常に単純なタスクが可能で、通常、GPT-3 シリーズの中で最も高速で、コストが最も低いモデルです。 ベースGPT-3
バベッジ

バベッジ-002

1.3 B 単純なタスクを非常に高速かつ低コストで実行できます ベースGPT-3
キュリー 67億 非常に高性能ですが、Davinciよりも高速で低コストです。 ベースGPT-3
ダヴィンチ

davinci-002

175 B 最も高性能なGPT-3モデル。他のモデルが実行できるあらゆるタスクを、多くの場合より高い品質で実行できます ベースGPT-3
テキスト-ada-001 350M 非常に単純なタスクが可能で、通常、GPT-3 シリーズの中で最も高速で、コストが最も低いモデルです。 InstructGPT
テキスト-babbage-001 1.3B 単純なタスクを非常に高速かつ低コストで実行できます InstructGPT
text-curie-001 67億 Davinciよりも非常に高性能で、高速かつ低コストです InstructGPT
text-davinci-001 175B GPT-3シリーズの中で最も高性能なモデルの旧バージョン。他のGPT-3モデルが実行できるすべてのタスクを、多くの場合より少ないコンテキストで実行できます InstructGPT
テキスト-davinci-002

コード-davinci-002

非公開 と同様の機能ですtext-davinci-003が、強化学習ではなく教師あり微調整で訓練されています GPT-3.5
text-davinci-003 非公開 キュリー、バベッジ、ADAモデルよりも高品質、より長い出力、そして一貫した指示追従性で、あらゆる言語タスクを実行できます。また、テキスト内に補完を挿入することもサポートしています GPT-3.5
gpt-3.5-turbo

gpt-3.5-turbo-instruct gpt-3.5-turbo-16k

非公開 text-davinci-003最も高性能でコスト効率の高い（最速の）GPT-3.5モデル。10 分の1のコストでチャット向けに最適化されていますGPT-3.5

GPT-3.5

生成的事前学習済みTransformer 3.5 (GPT-3.5)
原著者オープンAI [ 1 ]
初回リリース2022年3月15日 ( 2022-03-15 )
プレビューリリース
gpt-3.5-turbo-0125 / 2024年1月25日 ( 2024-01-25 )
リポジトリ該当なし
前身機種GPT-3
後継機種GPT-4 GPT-4o ミニ
タイプ
ライセンス独自
ウェブサイト該当なし

生成型事前学習済みトランスフォーマー3.5（GPT-3.5 ）は、2022年に OpenAIによって作成されたGPT-3モデルのサブクラスです

2022年3月15日、OpenAIはGPT-3とCodexの新しいバージョンを「text-davinci-002」と「code-davinci-002」という名前でAPIで公開し、編集と挿入機能を追加しました。[ 28 ]これらのモデルは以前のバージョンよりも高性能であると説明されており、2021年6月までのデータでトレーニングされました。[ 29 ] 2022年11月28日、OpenAIはtext-davinci-003を発表しました。[ 30 ] 2022年11月30日、OpenAIはこれらのモデルを「GPT-3.5」シリーズに属するものとして呼び始め、[ 29 ] GPT-3.5シリーズのモデルを微調整したChatGPTをリリースしました。 [ 31 ] OpenAIはGPT-3にGPT-3.5を含めていません。[ 32 ]

モデル

モデルは3つあります: [ 33 ]

  • チャット
    • gpt-3.5-turbo
  • テキスト補完
    • text-davinci-003
    • text-davinci-002

GPT-3.5とブラウジング

2023年4月10日、OpenAIはGPT-3.5シリーズモデルの新たなバリエーションであるGPT-3.5 with Browsing (ALPHA)を発表しました。この最新モデルは、前身となる「text-davinci-002」および「code-davinci-002」の機能を基盤としていると説明されています。[ 34 ] GPT-3.5 with Browsing (ALPHA)モデルには、オンライン情報へのアクセスと閲覧機能が組み込まれています。これにより、ユーザーからの問い合わせに対するより正確で最新の応答が可能になりました。

GPT-3.5 with Browsing（ALPHA）モデルは、2021年9月までのデータでトレーニングされており、2021年6月までのデータでトレーニングされた以前のGPT-3.5モデルと比較して、より多くの情報を提供しています。このモデルは、オンライン情報を効果的に取得および統合できる高度な自然言語処理ツールを開発者とユーザーに提供しようとしました。

ブラウジング機能を有効にするために、OpenAIはGPT-3.5 with Browsing（ALPHA）モデルが動作中に選択されたオンラインリソースにアクセスできるようにする新しいAPIを実装しました。 [ 35 ]この機能により、ユーザーは質問したり情報を要求したりすることができ、モデルは利用可能な最新のオンラインソースに基づいて更新された正確で関連性のある回答を提供すると期待できます。

2023年4月27日、OpenAIはGPT-3.5 with Browsing（ALPHA）モデルをGPT Plusユーザーに公開しました。これにより、より多くの人々が新機能にアクセスできるようになりました。[ 35 ]

InstructGPT

InstructGPTは、人間が書いた指示書のデータセットで学習されたGPT-3.5の微調整版です。[ 36 ]

受付

応用

レビュー

  • 2020年7月のニューヨーク・タイムズ紙のレビューで、ファルハド・マンジューは、GPT-3のコンピューターコード、詩、散文を生成する能力は「驚くべき」、「不気味な」、「謙虚になる」だけでなく、「少し恐ろしい」とも述べている。[ 49 ]
  • Daily Nousは、 9人の哲学者によるGPT-3に関する一連の記事を掲載した。[ 50 ]オーストラリアの哲学者デイビッド・チャーマーズは、GPT-3を「これまでに作られた中で最も興味深く重要なAIシステムの1つ」と評した。[ 51 ]
  • Wired誌のレビューでは、GPT-3は「シリコンバレー全体に衝撃を与えている」と評された。[ 52 ]
  • ナショナル・ロー・レビューは、GPT-3は「より大きなプロセスにおける印象的な一歩」であり、OpenAIなどが「この力すべてを有効に活用できるアプリケーション」を見つけつつ、「より汎用的な知能の実現に向けて取り組み続けている」と述べた。[ 53 ]
  • MITテクノロジーレビューの記事（ディープラーニング評論家のゲイリー・マーカス氏と共同執筆）[ 54 ]では、 GPT-3の「世界の理解はしばしば大きく外れており、GPT-3の言うことを本当に信頼することはできない」と述べています。[ 55 ]著者によると、GPT-3は各単語の意味を理解せずに単語間の関係をモデル化します。
  • Facebook AIラボの責任者であるジェローム・ペセンティ氏は、GPT-3は「安全ではない」と述べ、ユダヤ人、女性、黒人、ホロコーストについて議論するように求められたときにシステムが生成した性差別的、人種差別的、その他の偏見のある否定的な言葉を指摘した。[ 56 ]
  • ヘルスケア技術を専門とするフランスのスタートアップ企業Nablaは、OpenAI自身がそのような使用に対して警告を発していたにもかかわらず、GPT-3を医療チャットボットとしてテストしました。予想通り、GPT-3にはいくつかの限界が示されました。例えば、精神衛生問題に関するGPT-3の応答をテストした際、AIは模擬患者に自殺を勧めました。[ 57 ]
  • ノーム・チョムスキーはGPT-3の科学的価値について懐疑的な見解を示し、「これは言語モデルではない。不可能言語にも現実の言語にも同様に機能する。したがって、もし言語モデルとして意図されていたとすれば、通常の科学的基準では反証される。[...] おそらく何らかの目的には役立つだろうが、言語や認知全般については何も教えてくれないようだ。」[ 58 ]
  • ルチアーノ・フロリディとマッシモ・キリアッティは、「良質で意味のある人工物を安価に生産すること」のリスクを強調した。[ 59 ]
  • OpenAIのサム・アルトマン自身も「GPT-3の誇大宣伝」を批判し、GPT-3には「深刻な弱点があり、時には非常にばかげた間違いを犯す...AIは世界を変えるだろうが、GPT-3はまだ非常に初期の兆候に過ぎない」と認めた。[ 60 ]

批判

GPT-3の開発元であるOpenAIは、 2015年に非営利団体として設立されました。[ 61 ] 2019年、OpenAIはGPT-3の前身モデルを公開しないことで、通常のオープンソース基準を破りました。これは、モデルがフェイクニュースの拡散を助長する可能性があるという懸念を理由としています。OpenAIは最終的に、元のモデルの8%のサイズのGPT-2のバージョンをリリースしました。 [ 62 ]同年、OpenAIは営利企業へと再編されました。[ 63 ] 2020年、MicrosoftはOpenAIへの数十億ドルの投資を受けて、Microsoftの製品とサービス向けにGPT-3の独占ライセンスを取得したと発表しました。この契約により、OpenAIはユーザーがGPT-3にテキストを送信してモデルの出力を受け取ることができるように、公開APIを提供することができますが、GPT-3のソースコードにアクセスできるのはMicrosoftのみです。[ 5 ]

GPT-3などの大規模言語モデルは、モデルのトレーニングと保存が環境に与える影響について、GoogleのAI倫理研究者の一部から批判を受けており、その詳細は2021年にティムニット・ゲブルとエミリー・M・ベンダーが共著した論文に記載されている。 [ 64 ]

GPT-3やその他の言語ジェネレータをベースにした自動ライティング技術の利用が増えていることで、学術的誠実性に関する懸念が高まっており[ 65 ]、大学や学校が盗作などの学術上の不正行為をどのように評価するかという問題も高まっています[ 66 ] 。

OpenAIのGPTシリーズは、 Common Crawlデータセット[ 67 ]のデータを使用して構築されました。これは、12年間で6000万のドメインから収集された著作権で保護された記事、インターネット投稿、ウェブページ、書籍の集合体です。TechCrunchによると、このトレーニングデータには、BBC、ニューヨークタイムズ、Redditなどの著作権で保護されたコンテンツ、オンライン書籍の全文などが含まれています。[ 68 ] OpenAIは、2019年に米国特許商標庁（USPTO）から人工知能イノベーションの知的財産保護に関する意見募集（RFP）を受けた際、「現行法では、AIシステム（GPTモデルなど）のトレーニングはフェアユースに該当する」と主張しましたが、「この点に関する判例がないため、OpenAIや私たちのような他のAI開発者は、大きな法的不確実性とコンプライアンスコストに直面しています」と主張しました。[ 69 ]

参照

参考文献

  1. ^ a b c d e f g h i j k l m nブラウン、トム・B.、マン、ベンジャミン、ライダー、ニック、スビア、メラニー、カプラン、ジャレッド、ダリワル、プラフラ、ニーラカンタン、アルビンド、シャム、プラナフ、サストリー、ギリッシュ、アマンダ・アスケル、アガルワル、サンディニ、ハーバート＝フォス、アリエル、クルーガー、グレッチェン、ヘニガン、トム、チャイルド、レウォン、ラメシュ、アディティア、ジーグラー、ダニエル・M.、ウー、ジェフリー、ウィンター、クレメンス、ヘッセ、クリストファー、チェン、マーク、シグラー、エリック、リトウィン、マテウシュ、グレイ、ベンジャミン、チェス、ジャック、バーナー、クリストファー、サム・マッキャンドリッシュ、ラドフォード、アレック、イリヤ・スツケヴァーアモデイ、ダリオ（2020年5月28日）「言語モデルは少数ショット学習者である」arXiv : 2005.14165 [ cs.CL ]。
  2. ^ a b c Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (2018年6月11日). 「生成的事前学習による言語理解の向上」(PDF) . p. 12. 2021年1月26日時点のオリジナルよりアーカイブ(PDF) . 2020年7月31日閲覧。
  3. ^ヴァスワニ、アシシュ;シャジーア、ノーム。パルマー、ニキ。ウシュコレイト、ヤコブ。ジョーンズ、リオン。エイダン・N・ゴメス;カイザー、ウカシュ。ポロスキン、イリア (2017)。「必要なのは注意だけです」(PDF)。神経情報処理システムの進歩。３０．カランアソシエイツ株式会社
  4. ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014年9月1日). 「アラインメントと翻訳の共同学習によるニューラル機械翻訳」. arXiv : 1409.0473 [ cs.CL ].
  5. ^ a b Hao, Karen (2020年9月23日). 「OpenAIはMicrosoftにGPT-3言語モデルへの独占アクセスを提供」 MIT Technology Review . 2021年2月5日時点のオリジナルよりアーカイブ。 2020年9月25日閲覧。両社によると、OpenAIは引き続き公開APIを提供し、選ばれたユーザーはGPT-3またはOpenAIの他のモデルにテキストを送信し、その出力を受け取ることができる。ただし、GPT-3の基盤となるコードにアクセスできるのはMicrosoftのみであり、Microsoftはモデルを自由に埋め込み、再利用、変更することができる。
  6. ^ a b「AIの限界に対する理解が深まりつつある」。エコノミスト。2020年6月11日。ISSN 0013-0613。 2020年7月31日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。 
  7. ^ポロスキン、イリア;カイザー、ルカシュ。ゴメス、エイダン N.ジョーンズ、リオン。ウシュコレイト、ヤコブ。パルマー、ニキ。シャジーア、ノーム。バスワニ、アシシ（2017 年 6 月 12 日）。 「必要なのは注意だけです」。arXiv : 1706.03762 [ cs.CL ]。
  8. ^ “自然言語処理” . 2020年8月22日時点のオリジナルよりアーカイブ。2020年7月31日閲覧。
  9. ^ “アーカイブコピー” (PDF) . 2021年2月6日時点のオリジナルよりアーカイブ(PDF) . 2023年4月28日閲覧。{{cite web}}: CS1 maint: アーカイブされたコピーをタイトルとして (リンク)
  10. ^ Sterling, Bruce (2020年2月13日). 「Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)」 . Wired . ISSN 1059-1028 . 2020年11月4日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。 
  11. ^ Marche, Stephen (2022年12月6日). 「The College Essay Is Dead」 . The Atlantic . 2023年1月24日時点のオリジナルよりアーカイブ。 2022年12月8日閲覧。
  12. ^ a b c d Sagar, Ram (2020年6月3日). 「OpenAIがこれまでで最大のモデルGPT-3をリリース」 . Analytics India Magazine . 2020年8月4日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。
  13. ^ 「言語モデルは教師なしマルチタスク学習器である」（PDF） openai.com 2019年12月12日時点のオリジナルからアーカイブ（PDF）。2019年12月4日閲覧。GPT -2は15億パラメータの変換アルゴリズムである。
  14. ^ Shead, Sam (2020年7月23日). 「なぜ誰もがイーロン・マスクが支援する研究所がリリースしたAIテキストジェネレーターについて話しているのか」 CNBC . 2020年7月30日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。2020年5月28日から7月22日の間に4つのプレプリントが公開されました。
  15. ^ Ray, Tiernan (2020年6月1日). 「OpenAIの巨大なGPT-3はAI向け言語モデルの限界を示唆している」 . ZDNet . 2020年6月1日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。
  16. ^ Li, Chuan (2020年6月3日)、「OpenAIのGPT-3言語モデル：技術概要」、2023年3月27日時点のオリジナルよりアーカイブ。 2023年3月27日閲覧。
  17. ^ゲーマン、サミュエル; グルランガン、スチン; サップ、マールテン; チェイ、イェジン; スミス、ノア・A. (2020年11月16日～20日) REALTOXICITYPROMPTS: 言語モデルにおける神経毒性変性の評価, 計算言語学協会, pp.  3356– 3369, arXiv : 2009.11462
  18. ^ a b “OpenAI API” . OpenAI . 2020年6月11日. 2020年6月11日時点のオリジナルよりアーカイブ。2020年7月31日閲覧。
  19. ^ Coldewey, Devin (2020年6月11日). 「OpenAI、テキストベースAI機能向けの汎用APIを開発」 . TechCrunch .オリジナル記事より2021年10月27日アーカイブ. 2020年7月31日閲覧. OpenAIの誇る機械学習ツールセットを試してみたかったなら、ずっと簡単になりました。同社は、開発者が「事実上あらゆる英語タスク」で同社のAIツールを呼び出せるAPIをリリースしました。
  20. ^ Arram (2020年7月9日). 「GPT-3：ほとんど何でも書ける不気味なほど優れたAI」 Arram Sabeti . 2020年7月20日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。
  21. ^ 「OpenAIのAPIが待機リストなしで利用可能に」 OpenAI 2021年11月18日。2022年11月5日時点のオリジナルよりアーカイブ。2022年11月5日閲覧。
  22. ^ “OpenAI API” . beta.openai.com . 2022年12月23日時点のオリジナルよりアーカイブ。2022年11月5日閲覧。
  23. ^ 「Aligning Language Models to Follow Instructions」OpenAI 2022年1月27日. 2022年11月5日時点のオリジナルよりアーカイブ。 2022年11月5日閲覧。
  24. ^ Thunström, Almira Osmanovic (2022年6月30日). 「GPT-3に自身に関する学術論文の執筆を依頼し、その後出版を試みた」 . Scientific American . 2022年6月30日時点のオリジナルよりアーカイブ。 2022年6月30日閲覧。
  25. ^ Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (2022年6月21日). 「GPT-3は最小限の人間による入力で、自身に関する学術論文を書くことができるか？」 . Archive ouverte HAL (フランス語). 2022年6月30日時点のオリジナルよりアーカイブ。 2022年6月30日閲覧。
  26. ^ Gao, Leo (2021年5月24日). 「OpenAI APIモデルのサイズについて」 . EleutherAIブログ. EleutherAI . 2023年11月23日閲覧。
  27. ^ 「研究者向けモデルインデックス」 OpenAI 2022年12月2日時点のオリジナルよりアーカイブ。 2023年11月23日閲覧。
  28. ^ 「新しいGPT-3機能：編集と挿入」OpenAI 2022年3月15日。2023年1月13日時点のオリジナルよりアーカイブ。2023年1月13日閲覧。
  29. ^ a b “OpenAI API” . platform.openai.com . 2023年3月20日時点のオリジナルよりアーカイブ。2023年3月15日閲覧。
  30. ^ 「OpenAIの新しいtext-davinci-003をチェックしてください！text-davinci-002と同じ基本モデルですが、より整合性が取れています。フィードバックをお待ちしています！」/Twitter。2023年3月15日時点のオリジナルよりアーカイブ。 2023年5月6日閲覧。
  31. ^ 「ChatGPT：対話のための言語モデルの最適化」OpenAI、2022年11月30日。2022年11月30日時点のオリジナルよりアーカイブ。2023年1月13日閲覧。
  32. ^ “OpenAI API” . 2023年3月17日時点のオリジナルよりアーカイブ。2023年5月6日閲覧。
  33. ^ “OpenAI API” . 2023年5月6日時点のオリジナルよりアーカイブ。2023年5月6日閲覧。
  34. ^ 「GPT-3.5シリーズの紹介：text-davinci-002およびcode-davinci-002モデル」。OPEN AI。2022年3月15日。2023年3月20日時点のオリジナルよりアーカイブ。 2023年4月27日閲覧。
  35. ^ a b「GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users」 . OPEN AI . 2023年4月27日. 2023年3月20日時点のオリジナルよりアーカイブ。2023年4月27日閲覧。
  36. ^ Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D (2023年2月). 「ChatGPTは米国医師免許試験（USMLE）でどのように機能するのか？大規模言語モデルが医学教育と知識評価に及ぼす影響」 . JMIR Med Educ . 9 e45312. doi : 10.2196/45312 . PMC 9947764. PMID 36753318 .  
  37. ^ “OpenAI Codex” . OpenAI . 2021年8月10日. 2023年2月3日時点のオリジナルよりアーカイブ。2022年12月23日閲覧。
  38. ^ Thompson, Clive (2022年3月15日). 「How an AI Became My Code-Writing Genie」 . Wired . 2022年12月23日時点のオリジナルよりアーカイブ。2022年12月23日閲覧。
  39. ^ 「Microsoft、GPT-3と@Azureを活用した初の顧客向け製品機能を発表」。AIブログ。2021年5月25日。2021年5月26日時点のオリジナルよりアーカイブ。 2021年5月26日閲覧。
  40. ^ Vincent, James (2021年5月25日). 「Microsoft、GPT-3を使ったコード向けのAI搭載オートコンプリートを構築」The Verge . 2022年12月23日時点のオリジナルよりアーカイブ。 2022年12月23日閲覧。
  41. ^ “CodexDB - GPT-3 を活用した SQL 処理” . CodexDB - GPT-3 を活用した SQL 処理. 2022年12月7日時点のオリジナルよりアーカイブ。 2022年12月7日閲覧。
  42. ^ Fagone, Jason (2021年7月23日). 「ジェシカ・シミュレーション：AI時代の愛と喪失」サンフランシスコ・クロニクル. 2021年7月28日時点のオリジナルよりアーカイブ。 2021年7月29日閲覧。
  43. ^ GPT-3 (2020年9月8日). 「この記事全体をロボットが書きました。人間、もう怖くなりましたか？ | GPT-3」 . The Guardian . ISSN 0261-3077 . 2020年9月8日時点のオリジナルよりアーカイブ。 2020年9月15日閲覧。 {{cite news}}: CS1 maint: 数値名: 著者リスト (リンク)
  44. ^ 「Update: Language Models and Dragon」 . Latitudeブログ. 2021年12月8日. 2022年4月25日時点のオリジナルよりアーカイブ。 2022年3月22日閲覧。
  45. ^ 「この神秘的な本は不気味なほどリアルなAIが共著した」 Vice.com 、 2022年。2022年12月23日時点のオリジナルよりアーカイブ。2022年12月23日閲覧。
  46. ^ GPT-3 (2023年2月24日). “38 Prompt Examples in 10 Different Categories | GPT-3” . GiPiTi Chat . 2023年4月8日時点のオリジナルよりアーカイブ。 2023年2月24日閲覧。{{cite news}}: CS1 maint: 数値名: 著者リスト (リンク)
  47. ^ 「ChatGPT AIチャットボットはアルツハイマー病の初期段階を検知できるか？ - 研究」エルサレム・ポスト、2022年。2023年2月10日時点のオリジナルよりアーカイブ。 2023年2月10日閲覧。
  48. ^ Agbavor, Felix; Liang, Hualou (2022年12月22日). 「大規模言語モデルを用いた自発的な発話からの認知症予測」 . PLOS Digital Health . 1 (12) e0000168. doi : 10.1371 / journal.pdig.0000168 . PMC 9931366. PMID 36812634. S2CID 255029590 .   
  49. ^ Manjoo, Farhad (2020年7月29日). 「人間がこれを書いたとどうやってわかるのか？」 . The New York Times . ISSN 0362-4331 . 2020年10月29日時点のオリジナルよりアーカイブ。 2020年8月4日閲覧。 
  50. ^ Weinberg, Justin編 (2020年7月30日). 「GPT-3に関する哲学者（GPT-3からの返信を加えて更新）」 Daily Nous . 2020年10月30日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。
  51. ^ Chalmers, David (2020年7月30日). Weinberg, Justin (編). "GPT-3 and General Intelligence" . Daily Nous . Philosophers On GPT-3 (GPT-3からの返信を追加). 2020年8月4日時点のオリジナルよりアーカイブ。 2020年8月4日閲覧。
  52. ^ Simonite, Tom (2020年7月22日). 「この見出しは人間が書いたのか、それとも機械が書いたのか？」 Wired . ISSN 1059-1028 . 2020年11月1日時点のオリジナルよりアーカイブ。 2020年7月31日閲覧。 
  53. ^ Claypoole, Theodore (2020年7月30日). 「新しいAIツールGPT-3は新たなピークに到達したが、我々にはまだまだ道のりが残されていることを証明している」 . The National Law Review . 2020年10月30日時点のオリジナルよりアーカイブ。 2020年8月4日閲覧。
  54. ^ Marcus, Gary (2018年12月1日). 「ディープラーニングの最も深刻な問題」 . Medium . 2019年8月1日時点のオリジナルよりアーカイブ。2020年9月29日閲覧。
  55. ^ Marcus, Gary; Davis, Ernest (2020年8月22日). 「GPT-3、Bloviator：OpenAIの言語ジェネレーターは何を話しているのか全く分かっていない」 . MIT Technology Review . 2020年8月23日時点のオリジナルよりアーカイブ。 2020年8月23日閲覧。
  56. ^ Metz, Cade (2020年11月24日). 「Meet GPT-3. It Has Learned to Code (and Blog and Argue)」 . The New York Times . ISSN 0362-4331 . 2020年12月6日時点のオリジナルよりアーカイブ。 2020年11月24日閲覧。 
  57. ^ 「OpenAIのGPT-3を使った医療チャットボットが偽の患者に自殺を指示」AIニュース。2020年10月28日。2021年1月10日時点のオリジナルよりアーカイブ。 2021年1月8日閲覧。
  58. ^ Chomsky on Terence McKenna, Sam Harris, GPT3, Cryptocurrencies, Kierkegaard, Neuralink, & Hofstadter . 2021年3月24日. イベント発生時刻は1:11:44。2021年4月29日時点のオリジナルよりアーカイブ。 2021年4月29日閲覧。
  59. ^ Floridi, Luciano; Chiriatti, Massimo (2020年11月1日). 「GPT-3：その性質、範囲、限界、そして結果」 . Minds and Machines . 30 (4): 681– 694. doi : 10.1007/s11023-020-09548-1 . S2CID 228954221 . 
  60. ^ Vincent, James (2020年7月30日). 「OpenAIの最新のブレークスルーは驚くほど強力だが、依然として欠陥との戦いが続いている」 . The Verge . 2020年7月30日時点のオリジナルよりアーカイブ。 2022年11月9日閲覧。
  61. ^ Olanoff, Drew (2015年12月11日). 「人工知能非営利団体OpenAI、イーロン・マスクとサム・アルトマンの支援を受けて発足」 . Tech Crunch. 2022年10月20日時点のオリジナルよりアーカイブ。 2021年5月31日閲覧。
  62. ^ Hao, Karen (2019年8月29日). 「OpenAI、フェイクニュースを吐き出すAIの史上最大規模バージョンをリリース」 . MIT Technology Review. 2021年5月9日時点のオリジナルよりアーカイブ。 2021年5月31日閲覧。
  63. ^ Coldewey, Devin (2019年3月11日). 「OpenAI、資本誘致のため非営利から『上限付き利益』へ移行」 . Tech Crunch. 2023年1月4日時点のオリジナルよりアーカイブ。 2021年5月31日閲覧。
  64. ^ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (2021年3月3日).確率的オウムの危険性について：言語モデルは大きすぎる可能性があるか？ FAccT '21: 2021 ACM Conference on Fairness, Accountability, and Transparencyの議事録. pp.  610– 623. doi : 10.1145/3442188.3445922 .
  65. ^マイケル・マインドザック、サラ・エレイン・イートン。「人工知能は文章作成能力を向上させており、大学は盗作を懸念すべきだ」。The Conversation。2021年11月7日時点のオリジナルよりアーカイブ。 2021年11月6日閲覧。
  66. ^ Rogerson, Ann M.; McCarthy, Grace (2017年12月). 「インターネットベースの言い換えツールの利用：オリジナル作品、パッチライティング、それとも剽窃の助長か？」 . International Journal for Educational Integrity . 13 (1) 2: 1– 15. doi : 10.1007/s40979-016-0013-y . ISSN 1833-2595 . S2CID 9473217 .  
  67. ^ Ver Meer, Dave. 「ChatGPT Statistics」 . NamePepper . 2023年6月5日時点のオリジナルよりアーカイブ。 2023年6月21日閲覧。
  68. ^ GPT-3が失敗する可能性のあるいくつかの例を以下に示します。TechCrunch 。2021年11月26日時点のオリジナルよりアーカイブ。2021年11月26日閲覧。
  69. ^人工知能イノベーションの知的財産保護に関する意見募集に対するコメント(PDF)。USPTO。2021年10月16日時点のオリジナルよりアーカイブ(PDF) 。 2021年11月30日閲覧。
「 https://en.wikipedia.org/w/index.php?title=GPT-3&oldid=1330285785」より取得