導(dǎo)入

Openaiは、待望の「Strawberry」アーキテクチャに基づいて新しいモデルをリリースしました。 O1として知られるこの革新的なモデルは、推論能力を高め、回答を提供する前に問(wèn)題をより効果的に考えることができます。 ChatGpt Plusユーザーとして、この新しいモデルを直接探求する機(jī)會(huì)がありました。ユーザーと開(kāi)発者にとってのパフォーマンス、能力、および影響に関する洞察を共有できることを楽しみにしています。さまざまなメトリックでGPT-4oとOpenai O1を徹底的に比較します。これ以上苦労せずに、始めましょう。

この記事では、GPT O1対GPT 4の比較を含むGPT O1andGPT-4Oの違いを調(diào)査します。GPT4O対O1のパフォーマンスに関する洞察を提供し、GPT O1EFECTILALYの使用方法をガイドします。さらに、TheGPT O1コストについて説明し、AGPT O1 Freetierの可用性を強(qiáng)調(diào)し、GPT O1 Miniversionを?qū)毪筏蓼?。最後に、GPT 4o対O1対Openaitoの継続的な議論を分析し、情報(bào)に基づいた決定を下すのに役立ちます。

読んでください！

Openaiモデルは初めてですか？これを読んで、Openai O1：Openai O1にアクセスする方法を知っていますか？

Openai O1の新しいアップデート：

• Openaiは、PlusおよびチームユーザーのO1-Miniのレート制限を7倍に増やしました。これは、週50のメッセージから1日あたり50メッセージになりました。
• O1-Previewの場(chǎng)合、レート制限は30?50の週間メッセージに増加します。

概要

• Openaiの新しいO1モデルは、「思考の連鎖」アプローチを通じて推論機(jī)能を強(qiáng)化し、複雑なタスクに最適です。
• GPT-4oは、テキスト、音聲、ビデオ入力全體の汎用タスクに適した多用途のマルチモーダルモデルです。
• Openai O1は、推論が多いシナリオで數(shù)學(xué)的、コーディング、科學(xué)的な問(wèn)題解決に優(yōu)れており、GPT-4Oを上回ります。
• Openai O1は多言語(yǔ)のパフォーマンスを向上させますが、速度、コスト、マルチモーダルのサポートの制限があります。
• GPT-4oは、汎用機(jī)能を必要とする迅速で費(fèi)用対効果の高い、多目的なAIアプリケーションに適したより良い選択です。
• GPT-4OとOpenAI O1の選択は、特定のニーズに依存します。各モデルは、異なるユースケースにユニークな強(qiáng)みを提供します。

目次

• 導(dǎo)入
• 比較の目的：GPT-4o vs Openai O1
• すべてのOpenAI O1モデルの概要
• O1およびGPT 4oのモデル機(jī)能
  • Openai O1
  • OpenaiのO1：考え方のチェーンモデル
  • GPT-4O
• GPT-4O対OpenAI O1：多言語(yǔ)機(jī)能
• Openai O1の評(píng)価：人間の試験とMLベンチマーク全體でGPT-4oを上回る
• GPT-4o vs Openai O1：脫獄評(píng)価
• GPT-4O対OpenAI O1ハンドリングエージェントタスク
• GPT-4o vs Openai O1：幻覚評(píng)価
• 品質(zhì)対速度対コスト
• Openai O1対GPT-4O：人間の好みの評(píng)価
• Openai O1対GPT-4O：さまざまなタスクで誰(shuí)が優(yōu)れていますか？
  • 暗號(hào)化されたテキストのデコード
  • 健康科學(xué)
  • 推論の質(zhì)問(wèn)
  • コーディング：ゲームの作成
• GPT-4O対OpenAI O1：APIおよび使用の詳細(xì)
• Openai O1の制限
• Openai O1は、最近のイベントやエンティティに関するQ＆Aタスクに苦労しています
• Openai O1は、GPT-4Oよりも論理的推論に優(yōu)れています
• 最終評(píng)決：GPT-4O対Openai O1
• 結(jié)論

比較の目的：GPT-4o vs Openai O1

これが私たちが比較している理由です-GPT-4O対OpenAI O1：

• GPT-4oは、テキスト、音聲、ビデオ入力を処理できる多用途のマルチモーダルモデルであり、さまざまな一般的なタスクに適しています。 ChatGptの最新のイテレーションを駆動(dòng)し、人間のようなテキストを生成し、複數(shù)のモダリティにわたって相互作用する強(qiáng)みを示します。
• Openai O1は、數(shù)學(xué)、コーディング、およびより多くのフィールドにおける複雑な推論と問(wèn)題解決のためのより専門(mén)的なモデルです。高度な概念を深く理解する必要があるタスクに優(yōu)れており、高度な論理推論などの挑戦的なドメインに理想的です。

比較の目的：この比較は、各モデルの獨(dú)自の強(qiáng)みを強(qiáng)調(diào)し、最適なユースケースを明確にします。 OpenAI O1は複雑な推論タスクに優(yōu)れていますが、汎用アプリケーションのGPT-4Oを置き換えることを意図したものではありません。機(jī)能、パフォーマンスメトリック、速度、コスト、およびユースケースを調(diào)べることにより、さまざまなニーズやシナリオに適したモデルに関する洞察を提供します。

すべてのOpenAI O1モデルの概要

これがOpenai O1の表現(xiàn)表現(xiàn)です：

O1およびGPT 4oのモデル機(jī)能

Openai O1

OpenaiのO1モデルは、さまざまなベンチマークで顕著なパフォーマンスを?qū)g証しています。 Codeforcesの競(jìng)爭(zhēng)力のあるプログラミングの課題で89パーセンタイルにランクされ、米國(guó)數(shù)學(xué)オリンピアの予選（AIME）のトップ500に配置されました。さらに、物理學(xué)、生物學(xué)、および化學(xué)の問(wèn)題（GPQA）のベンチマークで、人間のPHDレベルの精度を上回りました。

このモデルは、「思考の連鎖」プロセスを通じて推論能力を高め、データ効率の良い學(xué)習(xí)を可能にする大規(guī)模な強(qiáng)化學(xué)習(xí)アルゴリズムを使用してトレーニングされます。調(diào)査結(jié)果は、トレーニング中のコンピューティングの増加とテスト中に推論に割り當(dāng)てられる時(shí)間を増やすと、そのパフォーマンスが向上し、従來(lái)のLLM前削除方法とは異なるこの新しいスケーリングアプローチのさらなる調(diào)査を促していることを示しています。さらに比較する前に、 「一連の思考プロセスがOpenai O1の推論能力を改善する方法」を調(diào)べましょう。

OpenaiのO1：考え方のチェーンモデル

Openai O1モデルでは、コストとパフォーマンスの新しいトレードオフを?qū)毪筏?、より良い「推論」能力を提供します。これらのモデルは、「思考の連鎖」プロセスのために特別に訓(xùn)練されています。つまり、応答する前に段階的に考えるように設(shè)計(jì)されています。これは、2022年に導(dǎo)入された一連の思考を促すパターンに基づいており、AIが次の単語(yǔ)を予測(cè)するのではなく、體系的に考えることを奨勵(lì)しています。アルゴリズムは、複雑なタスクを分解し、間違いから學(xué)び、必要に応じて代替アプローチを試すことを教えます。

また読む：O1：厳しい問(wèn)題に答える前に「考える」Openaiの新しいモデル

LLMS推論の重要な要素

O1モデルは、推論トークンを?qū)毪筏蓼埂％猊钎毪?、これらの推論トークンを使用して「考え」、プロンプトの理解を分解し、応答を生成するための複數(shù)のアプローチを検討します。推論トークンを生成した後、モデルは目に見(jiàn)える完了トークンとして答えを生成し、そのコンテキストから推論トークンを破棄します。

1。補(bǔ)強(qiáng)學(xué)習(xí)と思考時(shí)間

O1モデルは、応答を生成する前に、より長(zhǎng)くて詳細(xì)な思考期間を促進(jìn)する強(qiáng)化學(xué)習(xí)アルゴリズムを利用します。このプロセスは、モデルが複雑な推論タスクをよりよく処理できるように設(shè)計(jì)されています。

モデルのパフォーマンスは、トレーニング時(shí)間の増加（トレインタイム計(jì)算）と、評(píng)価中に考える時(shí)間（テスト時(shí)間計(jì)算）の両方で改善されます。

2。一連の思考の適用

思考のチェーンアプローチにより、モデルは複雑な問(wèn)題をよりシンプルで管理しやすいステップに分解できます。最初のアプローチが失敗したときにさまざまな方法を試して、戦略を再検討および改良することができます。

この方法は、數(shù)學(xué)的な問(wèn)題解決、コーディング、自由回答形式の質(zhì)問(wèn)への回答など、マルチステップの推論を必要とするタスクに有益です。

詳細(xì)なエンジニアリングに関する記事をこちらをご覧ください。

3。人間の好みと安全評(píng)価

O1-PreviewのパフォーマンスをGPT-4Oと比較する評(píng)価では、人間のトレーナーは、強(qiáng)力な推論能力を必要とするタスクのO1-Previewの出力を圧倒的に好むことを圧倒的に好みました。

モデルに推論の一連の推論を統(tǒng)合することは、人間の価値との安全性と整合の改善にも貢獻(xiàn)します。安全規(guī)則を推論プロセスに直接組み込むことにより、O1-Previewは安全境界をよりよく理解し、挑戦的なシナリオでも有害な完了の可能性を減らします。

4.隠された推論トークンとモデルの透明性

Openaiは、モデルの思考プロセスの完全性を保護(hù)し、競(jìng)爭(zhēng)上の優(yōu)位性を維持するために、ユーザーから詳細(xì)な思考の連鎖を維持することを決定しました。ただし、モデルが結(jié)論に到達(dá)した方法を理解するために、ユーザーに要約バージョンを提供します。

この決定により、OpenAIは、操作の試みの検出やポリシーコンプライアンスの確保など、安全目的でモデルの推論を監(jiān)視できます。

また読む：GPT-4O対GEMINI：2つの強(qiáng)力なマルチモーダルAIモデルの比較

5。パフォーマンスメトリックと改善

O1モデルは、主要なパフォーマンス領(lǐng)域で大きな進(jìn)歩を示しました。

• 複雑な推論ベンチマークでは、O1-PREVIEWは、しばしば人間の専門(mén)家に匹敵するスコアを達(dá)成しました。
• 競(jìng)爭(zhēng)力のあるプログラミングコンテストと數(shù)學(xué)コンテストのモデルの改善は、推論と問(wèn)題解決能力の強(qiáng)化を?qū)g証しています。

安全評(píng)価は、O1-Previewが潛在的に有害なプロンプトとエッジケースを処理する際にGPT-4Oよりも大幅に優(yōu)れていることを示しており、その堅(jiān)牢性を強(qiáng)化しています。

また読む：OpenaiのO1-MINI：コスト効率の高い推論を備えたSTEMのゲームを変えるモデル

GPT-4O

GPT-4Oは、テキスト、音聲、ビデオ入力の取り扱いに熟達(dá)したマルチモーダルの強(qiáng)力なものであり、幅広い汎用タスクに多用になっています。このモデルは、ChatGptを強(qiáng)化し、人間のようなテキストの生成、音聲コマンドの解釈、さらにはビデオコンテンツの分析においてその強(qiáng)みを紹介します。さまざまな形式で動(dòng)作できるモデルをシームレスに動(dòng)作させることができるユーザーにとって、GPT-4Oは強(qiáng)力な競(jìng)爭(zhēng)相手です。

GPT-4oの前に、ChatGPTで音聲モードを使用すると、GPT-3.5で平均レイテンシが2.8秒、GPT-4で5.4秒が含まれていました。これは、3つの別々のモデルのパイプラインによって達(dá)成されました。基本モデルは最初にテキストにオーディオを転寫(xiě)し、次にGPT-3.5またはGPT-4をテキスト出力を生成するためにテキスト入力を処理し、最後に3番目のモデルがそのテキストをオーディオに変換しました。このセットアップは、トーン、複數(shù)のスピーカー、背景音、または笑い、歌、感情などのエクスプレス要素などのニュアンスを直接解釈できなかったため、コアAI（GPT-4）がやや制限されていたことを意味しました。

GPT-4Oを使用すると、Openaiは、単一のエンドツーエンドニューラルネットワークにテキスト、ビジョン、およびオーディオを統(tǒng)合するまったく新しいモデルを開(kāi)発しました。この統(tǒng)一されたアプローチにより、GPT-4oは同じフレームワーク內(nèi)のすべての入力と出力を処理することができ、より微妙なマルチモーダルコンテンツを理解し、生成する能力を大幅に向上させます。

ここでは、GPT-4O機(jī)能を詳細(xì)に調(diào)べることができます：Hello GPT-4O。

GPT-4O対OpenAI O1：多言語(yǔ)機(jī)能

OpenAIのO1モデルとGPT-4Oの比較は、GPT-4Oに対するO1-PreviewおよびO1-MINIモデルに焦點(diǎn)を當(dāng)てた多言語(yǔ)パフォーマンス機(jī)能を強(qiáng)調(diào)しています。

MMLU（大規(guī)模な多言語(yǔ)理解）テストセットは、複數(shù)の言語(yǔ)でのパフォーマンスを評(píng)価するために、14言語(yǔ)の翻訳者に翻訳されました。このアプローチにより、特にヨルバなどのリソースが少ない、または限られた言語(yǔ)の場(chǎng)合、より高い精度が保証されます。この研究では、これらのヒト翻訳テストセットを使用して、多様な言語(yǔ)コンテキストでモデルの能力を比較しました。

重要な調(diào)査結(jié)果：

• O1-Previewは、アラビア語(yǔ)、ベンガル語(yǔ)、中國(guó)語(yǔ)などの言語(yǔ)の顕著な改善により、GPT-4oよりも大幅に多言語(yǔ)機(jī)能が有意に高いことを示しています。これは、O1-Previewモデルが、さまざまな言語(yǔ)の堅(jiān)牢な理解と処理を必要とするタスクに適していることを示しています。
• O1-MINIはまた、カウンターパートであるGPT-4O-MINIよりも優(yōu)れており、複數(shù)の言語(yǔ)で一貫した改善を示しています。これは、O1モデルの小さなバージョンでさえ、強(qiáng)化された多言語(yǔ)機(jī)能を維持することを示唆しています。

人間の翻訳：

マシンの翻訳ではなく人間の翻訳の使用（GPT-4やAzure翻訳などのモデルを使用した以前の評(píng)価のように）は、パフォーマンスを評(píng)価するためのより信頼性の高い方法であることが証明されています。これは、機(jī)械の翻訳がしばしば精度に欠けていることが多い言語(yǔ)では特に當(dāng)てはまります。

全體として、この評(píng)価は、O1-PREVIEWとO1-MINIの両方が、特に言語(yǔ)的に多様または低リソース言語(yǔ)で、多言語(yǔ)タスクでGPT-4Oの対応物を上回ることを示しています。テストにおける人間の翻訳の使用は、O1モデルの優(yōu)れた言語(yǔ)の理解を強(qiáng)調(diào)し、実際の多言語(yǔ)シナリオをより処理できるようにします。これは、より広く、より包括的な言語(yǔ)の理解を持つモデルの構(gòu)築におけるOpenaiの進(jìn)歩を示しています。

Openai O1の評(píng)価：人間の試験とMLベンチマーク全體でGPT-4oを上回る

GPT-4Oの推論機(jī)能の改善を?qū)g証するために、O1モデルは、さまざまな範(fàn)囲のヒト試験と機(jī)械學(xué)習(xí)ベンチマークでテストされました。結(jié)果は、O1が特に明記しない限り、最大のテスト時(shí)間計(jì)算設(shè)定を使用して、ほとんどの推論集約型タスクでGPT-4Oを大幅に上回ることを示しています。

競(jìng)爭(zhēng)評(píng)価

• 數(shù)學(xué)（AIME 2024）、コーディング（コードフォース）、およびPHDレベルの科學(xué)（GPQAダイヤモンド）： O1は、挑戦的な推論ベンチマークについてGPT-4Oよりも大幅に改善されています。 Pass@1の精度はソリッドバーで表されますが、陰影付きの領(lǐng)域は64のサンプルで多數(shù)票のパフォーマンス（コンセンサス）を示しています。
• ベンチマーク比較： O1は、57 MMLUサブカテゴリのうち54個(gè)を含む幅広いベンチマークでGPT-4Oを上回ります。

詳細(xì)なパフォーマンスの洞察

• 數(shù)學(xué)（AIME 2024）： American Invitational Mathematics Examination（AIME）2024で、O1はGPT-4oよりも大きな進(jìn)歩を示しました。 GPT-4Oは問(wèn)題の12％のみを解決しましたが、O1は問(wèn)題ごとに単一のサンプルで74％の精度を達(dá)成し、83％が64サンプルのコンセンサスで、93％が1000サンプルの再ランクで達(dá)成されました。このパフォーマンスレベルは、O1を全國(guó)的に上位500人の學(xué)生の中に、米國(guó)の數(shù)學(xué)的オリンピアードのカットオフを上回っています。
• Science（GPQA Diamond）：化學(xué)、物理學(xué)、生物學(xué)の専門(mén)知識(shí)をテストするGPQAダイヤモンドベンチマークでは、O1は人間の専門(mén)家のパフォーマンスをPHDで上回り、モデルが初めて行ったときをマークしました。ただし、この結(jié)果は、O1があらゆる點(diǎn)でPHDよりも優(yōu)れていることを示唆しているのではなく、PHDに期待される特定の問(wèn)題解決シナリオにおいて熟練していることを示唆しています。

全體的なパフォーマンス

• O1は、他の機(jī)械學(xué)習(xí)ベンチマークでも優(yōu)れており、最先端のモデルを上回りました。ビジョン認(rèn)識(shí)機(jī)能が有効になっているため、MMMUで78.2％のスコアを達(dá)成し、57 MMLUサブカテゴリのうち54で人間の専門(mén)家と競(jìng)爭(zhēng)力があり、GPT-4Oを上回る最初のモデルになりました。

GPT-4o vs Openai O1：脫獄評(píng)価

ここでは、モデルのコンテンツ制限をバイパスするように設(shè)計(jì)された敵対的なプロンプトである「ジェイルブレイク」である「ジェイルブレイク」に対するO1モデル（具體的にはO1-PreviewおよびO1-Mini）の堅(jiān)牢性の評(píng)価について説明します。次の4つの評(píng)価が、これらの脫獄に対するモデルの回復(fù)力を測(cè)定するために使用されました。

1. 生産脫獄：ChatGPTの生産環(huán)境の実際の使用データから特定された脫獄技術(shù)のコレクション。
2. 脫獄の例：この評(píng)価は、公的に既知の脫獄方法を、許可されていないコンテンツのテストに通常使用される一連の例に適用し、これらの試みに抵抗するモデルの能力を評(píng)価します。
3. 人間が育てた脫獄：しばしば「赤チーム」と呼ばれる人間のテスターに??よって作成された脫獄技術(shù)は、モデルの防御をストレステストします。
4. 強(qiáng)力な救急：十分に文書(shū)化された一般的な脫獄攻撃に対するモデルの抵抗を評(píng)価するアカデミックベンチマーク。 「[電子メール保護(hù)]」メトリックは、各プロンプトのジェイルブレイク方法の上位10％に対してパフォーマンスを測(cè)定することにより、モデルの安全性を評(píng)価するために使用されます。

GPT-4Oとの比較：

上の図は、これらの評(píng)価に関するO1-Preview、O1-Mini、およびGPT-4Oモデルのパフォーマンスを比較しています。結(jié)果は、O1モデル（O1-PreviewおよびO1-Mini）がGPT-4Oよりも堅(jiān)牢性の大幅な改善を示していることを示しています。特に、高度な脫獄技術(shù)に困難と依存していることが認(rèn)められている強(qiáng)力な拒否評(píng)価において。これは、O1モデルがGPT-4Oよりも敵対的なプロンプトを処理し、コンテンツガイドラインに準(zhǔn)拠するのに適していることを示唆しています。

GPT-4O対OpenAI O1ハンドリングエージェントタスク

ここでは、Agentタスクの取り扱いにおいてOpenaiのO1-Preview、O1-Mini、およびGPT-4Oを評(píng)価し、さまざまなシナリオで成功率を強(qiáng)調(diào)します。タスクは、Dockerコンテナのセットアップ、クラウドベースのGPUインスタンスの起動(dòng)、認(rèn)証されたWebサーバーの作成など、複雑な操作を?qū)g行するモデルの能力をテストするように設(shè)計(jì)されています。

評(píng)価環(huán)境とタスクカテゴリ

評(píng)価は、2つの主要な環(huán)境で実施されました。

1. テキスト環(huán)境：GPU加速度で強(qiáng)化されたLinux端子內(nèi)でのPythonコーディングを含む。
2. ブラウザ環(huán)境：オプションのスクリーンショットを備えた前処理HTMLを含む外部足場(chǎng)を支援するためのスクリーンショットを活用します。

タスクは、次のようなさまざまなカテゴリをカバーしています。

• OpenAI APIと互換性のある推論サーバーを?qū)g行するようにDockerコンテナを構(gòu)成します。
• 認(rèn)証メカニズムを備えたPythonベースのWebサーバーの開(kāi)発。
• クラウドベースのGPUインスタンスの展開(kāi)。

Openai O1-PreviewとO1-Miniは、ティア5の開(kāi)発者のAPIで今日展開(kāi)されています。

O1-Previewには、強(qiáng)力な推論能力と幅広い世界の知識(shí)があります。

O1-MINIはより速く、80％安く、コーディングタスクでO1-Previewと競(jìng)爭(zhēng)力があります。

https://t.co/l6vkoukflaの詳細(xì)。 https://t.co/moqfsez2f6

- Openai開(kāi)発者（@openaidevs）2024年9月12日

主要な調(diào)査結(jié)果とパフォーマンスの結(jié)果

グラフは、タスクごとに100回以上の試行を超えるモデルの成功率を視覚的に表しています。重要な観察には次のものがあります。

• OpenAI APIプロキシタスク：OpenAI APIプロキシを設(shè)定する最も難しいタスクは、すべてのモデルが大幅に苦労した場(chǎng)所でした。高い成功率を達(dá)成したものはなく、全面的に大きな課題を示しています。
• DockerにMistral 7bをロードする：このタスクは、さまざまな成功を見(jiàn)せました。 O1-MINIモデルのパフォーマンスはわずかに優(yōu)れていましたが、すべてのモデルは簡(jiǎn)単なタスクと比較して苦労していました。
• レンジャー経由のGPUの購(gòu)入：GPT-4Oは、他の人を大幅に上回り、サードパーティのAPIと相互作用を含むタスクの優(yōu)れた能力を示しました。
• サンプリングタスク：GPT-4oは、PytorchのNanoGPTやGPT-2からのサンプリングなど、サンプリングタスクでより高い成功率を示し、機(jī)械學(xué)習(xí)関連のタスクの効率を示しています。
• ビットコインウォレットの作成などの簡(jiǎn)単なタスク：GPT-4oは非常に優(yōu)れたパフォーマンスを発揮し、ほぼ完璧なスコアを達(dá)成しました。

また読む：GPTからMistral-7Bまで：AIの會(huì)話でのエキサイティングな飛躍

モデルの動(dòng)作に関する洞察

この評(píng)価では、O1-PreviewやO1-Miniなどのフロンティアモデルがプライマリエージェントタスクの合格に成功することがあるが、コンテキストのサブタスクを積極的に処理することでしばしばそうすることがあることが明らかになります。ただし、これらのモデルは、複雑でマルチステップのタスクを一貫して管理する際に顕著な欠陥を示しています。

緩和後の更新に続いて、O1-Previewモデルは、以前のChatGPTバージョンと比較して明確な拒否行動(dòng)を示しました。これにより、特定のサブタスク、特にOpenaiのようなAPIの再実裝を含むパフォーマンスのパフォーマンスが低下しました。一方、O1-PreviewとO1-Miniの両方は、認(rèn)証されたAPIプロキシの確立やDocker環(huán)境での推論サーバーの展開(kāi)など、特定の條件下でプライマリタスクを渡す可能性を?qū)g証しました。それにもかかわらず、手動(dòng)での検査により、これらの成功には、予想されるMistral 7bよりも複雑ではないモデルを使用するなど、単純化しすぎたアプローチが含まれることがあることが明らかになりました。

全體として、この評(píng)価は、複雑なエージェントタスク全體で一貫した成功を達(dá)成するために、進(jìn)行中のAIモデルが直面している継続的な課題を強(qiáng)調(diào)しています。 GPT-4Oのようなモデルは、より簡(jiǎn)単なまたは狹く定義されたタスクで強(qiáng)力なパフォーマンスを示しますが、高次推論と持続的なマルチステッププロセスを必要とする多層タスクでは、依然として困難に遭遇します。調(diào)査結(jié)果は、進(jìn)行狀況が明らかである一方で、これらのモデルがあらゆるタイプのエージェントタスクを堅(jiān)牢かつ確実に処理するための重要な道が殘っていることを示唆しています。

GPT-4o vs Openai O1：幻覚評(píng)価

Knowhaluについても読んでください：AIの最大の欠陥の幻覚は、最終的にKnowhaluで解決されました！

さまざまな言語(yǔ)モデルの幻覚評(píng)価をよりよく理解するために、次の評(píng)価では、幻覚を引き起こすように設(shè)計(jì)されたいくつかのデータセットでGPT-4O、O1-PREVIEW、およびO1-MINIモデルを比較します。

幻覚評(píng)価データセット

1. SimpleQA：短い回答のある4,000の事実を求める質(zhì)問(wèn)で構(gòu)成されるデータセット。このデータセットは、正解を提供する際のモデルの精度を測(cè)定するために使用されます。
2. 誕生日ファクト：モデルが人の誕生日を推測(cè)するためにモデルが必要なデータセットで、モデルが誤った日付を提供する頻度を測(cè)定します。
3. オープンエンドの質(zhì)問(wèn)：モデルに任意のトピックに関する事実を生成するように依頼するプロンプトを含むデータセット（「についてのバイオを書(shū)く」）。モデルのパフォーマンスは、ウィキペディアのようなソースに対して検証された、作成された誤ったステートメントの數(shù)に基づいて評(píng)価されます。

調(diào)査結(jié)果

• O1-PreviewはGPT-4Oと比較して幻覚が少なくなりますが、O1-MINIはすべてのデータセットでGPT-4O-MINIよりも少ない頻度で幻覚を起こします。
• これらの結(jié)果にもかかわらず、逸話的な証拠は、O1-PREVIEWとO1-MINIの両方が実際に実際にGPT-4Oの対応物よりも頻繁に幻覚を起こす可能性があることを示唆しています。特にこれらの評(píng)価ではカバーされていない化學(xué)のような特殊な分野で、幻覚を包括的に理解するには、さらなる研究が必要です。
• また、Red Teamersは、O1-Previewが特定のドメインでより詳細(xì)な回答を提供し、幻覚をより説得力のあるものにする可能性があることも指摘されています。これにより、ユーザーがモデルによって生成された誤った情報(bào)に誤って信頼し、依存するリスクが高まります。

定量的評(píng)価は、O1モデル（プレビューとミニバージョンの両方）がGPT-4Oモデルよりも頻繁ではないことを示唆していますが、定性的なフィードバックに基づいた懸念があり、これが必ずしも當(dāng)てはまるとは限りません。これらのモデルが幻覚とユーザーへの潛在的な影響をどのように処理するかについての全體的な理解を開(kāi)発するには、さまざまなドメインにわたるより詳細(xì)な分析が必要です。

また読む：大規(guī)模な言語(yǔ)モデル（LLM）の幻覚は避けられませんか？

品質(zhì)対速度対コスト

品質(zhì)、速度、コストに関するモデルを比較しましょう。ここには、複數(shù)のモデルを比較するチャートがあります。

モデルの品質(zhì)

O1-PREVIEWとO1-MINIモデルがチャートのトップになっています！彼らは最高品質(zhì)のスコアを提供し、O1-Previewで86、O1-MINIで82を獲得します。つまり、これらの2つのモデルは、GPT-4OやClaude 3.5 Cometなどの他のモデルよりも優(yōu)れています。

モデルの速度

さて、スピードについて話すこと - がもう少し面白くなります。 O1-miniはきちんと速く、毎秒74トークンで閉じ込められているため、中央の範(fàn)囲になります。ただし、O1-Previewは遅い側(cè)にあり、1秒あたりわずか23トークンをかき混ぜます。したがって、それらは品質(zhì)を提供しますが、O1-Previewを使用する場(chǎng)合、少し速度を取引する必要がある場(chǎng)合があります。

モデルの価格

そして、ここにキッカーが來(lái)ます！ O1-Previewは、100萬(wàn)ドルあたり26.3米ドルのトークンにかなりの散財(cái)です。他のほとんどのオプションよりも多くなります。一方、O1-MINIはより手頃な価格の選択肢であり、価格は5米ドルです。しかし、予算に配慮した場(chǎng)合、Gemini（わずか0.1米ドル）やLlamaモデルのようなモデルがあなたの路地にもっと上にあるかもしれません。

結(jié)論

GPT-4Oは、特にGPT-4ターボと比較して、応答時(shí)間が短くなり、コストが削減されるために最適化されています。効率性は、一般的なタスクの出力品質(zhì)を犠牲にすることなく、高速で費(fèi)用対効果の高いソリューションを必要とするユーザーに利益をもたらします。モデルの設(shè)計(jì)により、速度が重要なリアルタイムアプリケーションに適しています。

ただし、GPT O1は速度を深さで交換します。詳細(xì)な推論と問(wèn)題解決に焦點(diǎn)を當(dāng)てているため、応答時(shí)間が遅く、計(jì)算コストが高くなります。モデルの洗練されたアルゴリズムには、より多くの処理能力が必要です。これは、非常に複雑なタスクを処理する能力に必要なトレードオフです。したがって、迅速な結(jié)果が必要な場(chǎng)合、OpenAI O1は理想的な選択ではないかもしれませんが、精度と包括的な分析が最重要であるシナリオで輝いています。

こちらの詳細(xì)を読む：O1：厳しい問(wèn)題に答える前に「考えている」Openaiの新しいモデル

さらに、GPT-O1の傑出した機(jī)能の1つは、プロンプトに依存することです。このモデルは詳細(xì)な指示で繁栄し、その推論能力を大幅に強(qiáng)化できます。シナリオを視覚化し、各ステップを通して考えるように奨勵(lì)することで、モデルがより正確で洞察に満ちた応答を生成できることがわかりました。このプロンプトが多いアプローチは、ユーザーがモデルとの相互作用を適応させてその可能性を最大化する必要があることを示唆しています。

それに比べて、私はGPT-4Oを汎用タスクでテストしましたが、驚くべきことに、O1モデルよりも優(yōu)れたパフォーマンスを発揮しました。これは、進(jìn)歩がなされている間、これらのモデルが複雑なロジックをどのように処理するかにはまだ改良の余地があることを示しています。

Openai O1対GPT-4O：人間の好みの評(píng)価

Openaiは、O1-PreviewとGPT-4Oの2つのモデルの人間の好みを理解するために評(píng)価を?qū)g施しました。これらの評(píng)価は、さまざまなドメインにまたがる挑戦的でオープンエンドのプロンプトに焦點(diǎn)を當(dāng)てていました。この評(píng)価では、人間のトレーナーには両方のモデルから匿名化された応答が提示され、好みの応答を選択するように求められました。

結(jié)果は、O1-Previewが、データ分析、コンピュータープログラミング、數(shù)學(xué)的計(jì)算など、重い推論が必要な分野で明確なお?dú)荬巳毪辘趣筏聘∩悉筏郡长趣蚴兢筏蓼筏俊￥长欷椁违丧幞ぅ螭扦?、O1-PreviewはGPT-4Oよりも有意に好まれ、論理的で構(gòu)造化された思考を必要とするタスクでの優(yōu)れた性能を示しています。

ただし、O1-Previewの好みは、個(gè)人の執(zhí)筆やテキスト編集など、自然言語(yǔ)のタスクを中心としたドメインではそれほど強(qiáng)くありませんでした。これは、O1-Previewが複雑な推論に優(yōu)れている一方で、微妙な言語(yǔ)生成や創(chuàng)造的な表現(xiàn)に大きく依存するタスクにとって常に最良の選択ではないことを示唆しています。

調(diào)査結(jié)果は重要なポイントを強(qiáng)調(diào)しています。O1-PREVIEWは、より良い推論能力の恩恵を受けるコンテキストで大きな可能性を示していますが、より微妙で創(chuàng)造的な言語(yǔ)ベースのタスクに関しては、そのアプリケーションはより制限される可能性があります。この二重の性質(zhì)は、ユーザーがニーズに基づいて適切なモデルを選択する際の貴重な洞察を提供します。

また、読む：自然言語(yǔ)理解のための生成前トレーニング（GPT）

Openai O1対GPT-4O：さまざまなタスクで誰(shuí)が優(yōu)れていますか？

モデルの設(shè)計(jì)と機(jī)能の違いは、異なるユースケースへの適合性に変換されます。

GPT-4oは、テキストの生成、翻訳、要約を含むタスクに優(yōu)れています。マルチモーダル機(jī)能により、音聲アシスタント、チャットボット、コンテンツ作成ツールなど、さまざまな形式での対話を必要とするアプリケーションに特に効果的です。このモデルは多用途で柔軟で、一般的なAIタスクを必要とする幅広いアプリケーションに適しています。

Openai O1は、複雑な科學(xué)的および數(shù)學(xué)的な問(wèn)題解決に最適です。コード生成とデバッグ機(jī)能の改善により、コーディングタスクを強(qiáng)化し、挑戦的なプロジェクトに取り組んでいる開(kāi)発者と研究者にとって強(qiáng)力なツールになります。その強(qiáng)みは、高度な推論、詳細(xì)な分析、ドメイン固有の専門(mén)知識(shí)を必要とする複雑な問(wèn)題を処理することです。

暗號(hào)化されたテキストのデコード

GPT-4o分析

• アプローチ：元のフレーズが「段階的に考える」と翻訳されていることを認(rèn)識(shí)し、復(fù)號(hào)化には特定の文字の選択または変換が含まれることを示唆しています。ただし、具體的なデコード方法は提供されておらず、プロセスが不完全になり、より多くの情報(bào)を要求します。
• 制限：デコードのための特定の方法がないため、未完成の分析が行われます。

Openai O1分析

• アプローチ：數(shù)學(xué)的方法を使用して、アルファベット順の位置に基づいて文字ペアを數(shù)値に変換し、平均を計(jì)算してから文字に変換します。
• 強(qiáng)み：デコードプロセスの詳細(xì)な段階的な內(nèi)訳を提供し、暗號(hào)文を「イチゴに3つのRがあります」に翻訳することに成功します。

評(píng)決

• Openai O1はより効果的です。具體的で論理的な方法を提供し、明確なソリューションを提供します。
• GPT-4Oは不完全です。特定のデコード方法がないため、未完成の出力が生じます。

また読む：あなたが見(jiàn)る必要があるOpenaiのO1を使用した3つの実験的な実験

健康科學(xué)

GPT-4o診斷：Cornelia de Lange癥候群（CDLS）

• 主な理由：知的障害、世界的な発達(dá)遅延、短い身長(zhǎng)、および明確な顔の特徴（厚い眉、三角形の顔、球根狀の鼻、低い前巻など）がCDLSで一般的です。マクロドン癥（歯の拡大）、異常な手の特徴、運(yùn)動(dòng)および音聲の遅延、摂食の困難などのその他の機(jī)能は、この診斷をさらにサポートしています。
• 除外された條件：特定の心臓欠陥の欠如、聴覚障害、および小頭癥（頭のサイズが小さい）がCDLSに適合し、他の潛在的な條件を除外するのに役立ちます。

Openai O1診斷：KBG癥候群

• 主な理由：説明されている癥狀（知的障害、発達(dá)の遅延、マクロドン癥、三角形の顔、厚い眉、手の異常、短い身長(zhǎng)など）は、KBG癥候群に密接に一致します。マクロドン癥の特徴（特に上部の中央切歯の）およびその他の特定の顔面特性は、KBG癥候群を強(qiáng)くサポートしています。
• 除外された狀態(tài)：聴覚障害や小頭癥などの特定の心臓欠陥やその他の除外された狀態(tài)の欠如は、これらの特徴が通常癥候群には存在しないため、KBG癥候群と一致します。

評(píng)決

• 両方の診斷はもっともらしいですが、同じ癥狀のセットに基づいて異なる癥候群に焦點(diǎn)を當(dāng)てています。
• GPT-4oは、知的障害、発達(dá)遅延、および特定の顔の特徴の組み合わせにより、Cornelia de Lange癥候群（CDLS）に傾いています。
• Openai O1は、KBG癥候群がより具體的な際立った特徴に適合していることを示唆しています（上部切歯のマクロドン癥や全體的な顔のプロファイルなど）。
• 提供された詳細(xì)を考えると、 KBG癥候群は、特にKBGの重要な特徴であるマクロドン癥の特定の言及のために、より可能性が高いと考えられています。

推論の質(zhì)問(wèn)

両方のモデルの推論を確認(rèn)するために、私は高度なレベルの推論の質(zhì)問(wèn)をしました。

5人の學(xué)生、P、Q、R、S、Tは何らかの順序でラインに立って、食事をするクッキーとビスケットを受け取ります。同じ數(shù)のクッキーやビスケットを取得する學(xué)生はいません。キューの最初の人は、Cookieの數(shù)が最小になります。各學(xué)生が受け取ったCookieまたはビスケットの數(shù)は、1?9の自然數(shù)で、各數(shù)は少なくとも1回表示されます。

Cookieの総數(shù)は、分配されているビスケットの総數(shù)よりも2つです。ラインの真ん中にいたRは、他の誰(shuí)よりも多くのグッズ（Cookieとビスケットがまとめられます）を受け取りました。 Tはビスケットよりも8つのクッキーを受け取ります。キューに最後にいる人は、全部で10個(gè)のアイテムを受け取りましたが、Pは完全に半分しか受け取っていません。 qはpの後ですが、キューにsの前です。 Q受信するCookieの數(shù)は、Pが受信するビスケットの數(shù)に等しくなります。 Q receives one more good than S and one less than R. Person second in the queue receives an odd number of biscuits and an odd number of cookies.

Question: Who was 4th in the queue?

Answer: Q was 4th in the queue.

Also read: How Can Prompt Engineering Transform LLM Reasoning Ability?

GPT-4o Analysis

GPT-4o failed to solve the problem correctly. It struggled to handle the complex constraints, such as the number of goodies each student received, their positions in the queue, and their relationships. The multiple conditions likely confused the model or failed to interpret the dependencies accurately.

OpenAI o1 Analysis

OpenAI o1 accurately deduced the correct order by efficiently analyzing all constraints. It correctly determined the total differences between cookies and biscuits, matched each student's position with the given clues, and solved the interdependencies between the numbers, arriving at the correct answer for the 4th position in the queue.

評(píng)決

GPT-4o failed to solve the problem due to difficulties with complex logical reasoning.
OpenAI o1 mini solved it correctly and quickly, showing a stronger capability to handle detailed reasoning tasks in this scenario.

Coding: Creating a Game

To check the coding capabilities of GPT-4o and OpenAI o1, I asked both the models to – Create a space shooter game in HTML and JS. Also, make sure the colors you use are blue and red. Here's the result:

GPT-4o

I asked GPT-4o to create a shooter game with a specific color palette, but the game used only blue color boxes instead. The color scheme I requested wasn't applied at all.

OpenAI o1

On the other hand, OpenAI o1 was a success because it accurately implemented the color palette I specified. The game looked visually appealing and captured the exact style I envisioned, demonstrating precise attention to detail and responsiveness to my customization requests.

GPT-4o vs OpenAI o1: API and Usage Details

The API documentation reveals several key features and trade-offs:

1. Access and Support: The new models are currently available only to tier 5 API users, requiring a minimum spend of $1,000 on credits. They lack support for system prompts, streaming, tool usage, batch calls, and image inputs. The response times can vary significantly based on the complexity of the task.
2. Reasoning Tokens: The models introduce “reasoning tokens,” which are invisible to users but count as output tokens and are billed accordingly. These tokens are crucial for the model's enhanced reasoning capabilities, with a significantly higher output token limit than previous models.
3. Guidelines for Use: The documentation advises limiting additional context in retrieval-augmented generation (RAG) to avoid overcomplicating the model's response, a notable shift from the usual practice of including as many relevant documents as possible.

Also read: Here's How You Can Use GPT 4o API for Vision, Text, Image & More.

Hidden Reasoning Tokens

A controversial aspect is that the “reasoning tokens” remain hidden from users. OpenAI justifies this by citing safety and policy compliance, as well as maintaining a competitive edge. The hidden nature of these tokens is meant to allow the model freedom in its reasoning process without exposing potentially sensitive or unaligned thoughts to users.

Limitations of OpenAI o1

OpenAI's new model, o1, has several limitations despite its advancements in reasoning capabilities. Here are the key limitations:

1. Limited Non-STEM Knowledge: While o1 excels in STEM-related tasks, its factual knowledge in non-STEM areas is less robust compared to larger models like GPT-4o. This restricts its effectiveness for general-purpose question answering, particularly in recent events or non-technical domains.
2. Lack of Multimodal Capabilities: The o1 model currently does not support web browsing, file uploads, or image processing functionalities. It can only handle text prompts, which limits its usability for tasks that require visual input or real-time information retrieval.
3. Slower Response Times: The model is designed to “think” before responding, which can lead to slower answer times. Some queries may take over ten seconds to process, making it less suitable for applications requiring quick responses.
4. High Cost: Accessing o1 is significantly more expensive than previous models. For instance, the cost for the o1-preview is $15 per million input tokens, compared to $5 for GPT-4o. This pricing may deter some users, especially for applications with high token usage.
5. Early-Stage Flaws: OpenAI CEO Sam Altman acknowledged that o1 is “flawed and limited,” indicating that it may still produce errors or hallucinations, particularly in less structured queries. The model's performance can vary, and it may not always admit when it lacks an answer.
6. Rate Limits: The usage of o1 is restricted by weekly message limits (30 for o1-preview and 50 for o1-mini), which may hinder users who need to engage in extensive interactions with the model.
7. Not a Replacement for GPT-4o: OpenAI has stated that o1 is not intended to replace GPT-4o for all use cases. For applications that require consistent speed, image inputs, or function calling, GPT-4o remains the preferred option.

These limitations suggest that while o1 offers enhanced reasoning capabilities, it may not yet be the best choice for all applications, particularly those needing broad knowledge or rapid responses.

OpenAI o1 Struggles With Q&A Tasks on Recent Events and Entities

For instance, o1 is showing hallucination here because it shows IT in Gemma 7B-IT—“Italian,” but IT means instruction-tuned model. So, o1 is not good for general-purpose question-answering tasks, especially based on recent information.

Also, GPT-4o is generally recommended for building Retrieval-Augmented Generation (RAG) systems and agents due to its speed, efficiency, lower cost, broader knowledge base, and multimodal capabilities.

o1 should primarily be used when complex reasoning and problem-solving in specific areas are required, while GPT-4o is better suited for general-purpose applications.

OpenAI o1 is Better at Logical Reasoning than GPT-4o

GPT-4o is Terrible at Simple Logical Reasoning

The GPT-4o model struggles significantly with basic logical reasoning tasks, as seen in the classic example where a man and a goat need to cross a river using a boat. The model fails to apply the correct logical sequence needed to solve the problem efficiently. Instead, it unnecessarily complicates the process by adding redundant steps.

In the provided example, GPT-4o suggests:

1. Step 1 : The man rows the goat across the river and leaves the goat on the other side.
2. Step 2 : The man rows back alone to the original side of the river.
3. Step 3 : The man crosses the river again, this time by himself.

This solution is far from optimal as it introduces an extra trip that isn't required. While the objective of getting both the man and the goat across the river is achieved, the method reflects a misunderstanding of the simplest path to solve the problem. It seems to rely on a mechanical pattern rather than a true logical understanding, thereby demonstrating a significant gap in the model's basic reasoning capability.

OpenAI o1 Does Better in Logical Reasoning

In contrast, the OpenAI o1 model better understands logical reasoning. When presented with the same problem, it identifies a simpler and more efficient solution:

1. Both the Man and the Goat Board the Boat : The man leads the goat into the boat.
2. Cross the River Together : The man rows the boat across the river with the goat onboard.
3. Disembark on the Opposite Bank : Upon reaching the other side, both the man and the goat get off the boat.

This approach is straightforward, reducing unnecessary steps and efficiently achieving the goal. The o1 model recognizes that the man and the goat can cross simultaneously, minimizing the required number of moves. This clarity in reasoning indicates the model's improved understanding of basic logic and its ability to apply it correctly.

OpenAI o1 – Chain of Thought Before Answering

A key advantage of the OpenAI o1 model lies in its use of chain-of-thought reasoning . This technique allows the model to break down the problem into logical steps, considering each step's implications before arriving at a solution. Unlike GPT-4o, which appears to rely on predefined patterns, the o1 model actively processes the problem's constraints and requirements.

When tackling more complex challenges (advanced than the problem above of river crossing), the o1 model effectively draws on its training with classic problems, such as the well-known man, wolf, and goat river-crossing puzzle. While the current problem is simpler, involving only a man and a goat, the model's tendency to reference these familiar, more complex puzzles reflects its training data's breadth. However, despite this reliance on known examples, the o1 model successfully adapts its reasoning to fit the specific scenario presented, showcasing its ability to refine its approach dynamically.

By employing chain-of-thought reasoning, the o1 model demonstrates a capacity for more flexible and accurate problem-solving, adjusting to simpler cases without overcomplicating the process. This ability to effectively utilize its reasoning capabilities suggests a significant improvement over GPT-4o, especially in tasks that require logical deduction and step-by-step problem resolution.

The Final Verdict: GPT-4o vs OpenAI o1

Both GPT-4o and OpenAI o1 represent significant advancements in AI technology, each serving distinct purposes. GPT-4o excels as a versatile, general-purpose model with strengths in multimodal interactions, speed, and cost-effectiveness, making it suitable for a wide range of tasks, including text, speech, and video processing. Conversely, OpenAI o1 is specialized for complex reasoning, mathematical problem-solving, and coding tasks, leveraging its “chain of thought” process for deep analysis. While GPT-4o is ideal for quick, general applications, OpenAI o1 is the preferred choice for scenarios requiring high accuracy and advanced reasoning, particularly in scientific domains. The choice depends on task-specific needs.

Moreover, the launch of o1 has generated considerable excitement within the AI community. Feedback from early testers highlights both the model's strengths and its limitations. While many users appreciate the enhanced reasoning capabilities, there are concerns about setting unrealistic expectations. As one commentator noted, o1 is not a miracle solution; it's a step forward that will continue to evolve.

Looking ahead, the AI landscape is poised for rapid development. As the open-source community catches up, we can expect to see even more sophisticated reasoning models emerge. This competition will likely drive innovation and improvements across the board, enhancing the user experience and expanding the applications of AI.

Also read: Reasoning in Large Language Models: A Geometric Perspective

結(jié)論

In a nutshell, both GPT-4o vs OpenAI o1 represent significant advancements in AI technology, they cater to different needs: GPT-4o is a general-purpose model that excels in a wide variety of tasks, particularly those that benefit from multimodal interaction and quick processing. OpenAI o1 is specialized for tasks requiring deep reasoning, complex problem-solving, and high accuracy, especially in scientific and mathematical contexts. For tasks requiring fast, cost-effective, and versatile AI capabilities, GPT-4o is the better choice. For more complex reasoning, advanced mathematical calculations, or scientific problem-solving, OpenAI o1 stands out as the superior option.

Ultimately, the choice between GPT-4o vs OpenAI o1 depends on your specific needs and the complexity of the tasks at hand. While OpenAI o1 provides enhanced capabilities for niche applications, GPT-4o remains the more practical choice for general-purpose AI tasks.

Also, if you have tried the OpenAI o1 model, then let me know your experiences in the comment section below.

生成的なAIの専門(mén)家になりたい場(chǎng)合は、gena??i pinnacleプログラムを探索してください

參照

1. OpenAI Models
2. o1-preview and o1-mini
3. OpenAI System Card
4. Openai o1-mini
5. OpenAI API
6. Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning

Ans。 GPT-4o is a versatile, multimodal model suited for general-purpose tasks involving text, speech, and video inputs. OpenAI o1, on the other hand, is specialized for complex reasoning, math, and coding tasks, making it ideal for advanced problem-solving in scientific and technical domains.

Ans。 OpenAI o1, particularly the o1-preview model, shows superior performance in multilingual tasks, especially for less widely spoken languages, thanks to its robust understanding of diverse linguistic contexts.

Ans。 OpenAI o1 uses a “chain of thought” reasoning process, which allows it to break down complex problems into simpler steps and refine its approach. This process is beneficial for tasks like mathematical problem-solving, coding, and answering advanced reasoning questions.

Ans。 OpenAI o1 has limited non-STEM knowledge, lacks multimodal capabilities (eg, image processing), has slower response times, and incurs higher computational costs. It is not designed for general-purpose applications where speed and versatility are crucial.

Ans。 GPT-4o is the better choice for general-purpose tasks that require quick responses, lower costs, and multimodal capabilities. It is ideal for applications like text generation, translation, summarization, and tasks requiring interaction across different formats.

以上がGPT-4o vs Openai O1：新しいOpenaiモデルは誇大広告に値しますか？の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。