先月、いくつかのよく知られた理由により、私は業(yè)界のさまざまな教師やクラスメートと非常に集中的な交流をしてきました。この交換で避けられない話題は、當(dāng)然のことながらエンドツーエンドであり、人気のある Tesla FSD V12 です。この機(jī)會に、現(xiàn)時點での私の考えや意見を整理し、皆様のご參考とご議論に役立てたいと思います。

#エンドツーエンドの自動運(yùn)転システムを定義するにはどうすればよいですか?また、エンドツーエンドで解決する必要がある問題は何ですか?

最も伝統(tǒng)的な定義によれば、エンドツーエンド システムとは、センサーから生の情報を入力し、関係する変數(shù)をタスクに直接出力するシステムを指します。たとえば、畫像認(rèn)識では、従來の特徴抽出分類器と比較した CNN 方式をエンドツーエンドと呼ぶことができます。自動運(yùn)転タスクでは、各種センサー（カメラ/LiDAR/レーダー/IMUなど）からのデータを入力し、車両走行のための制御信號（スロットル/ハンドル角など）を直接出力します。異なるモデル間の適応問題を考慮するために、出力を車両の軌道に合わせて緩和することもできます。これは伝統(tǒng)的な意味での定義、または私が狹いエンドツーエンドの定義と呼ぶものです。これに基づいて、パフォーマンス能力を向上させるために、いくつかの中間タスク監(jiān)視も導(dǎo)出されています。

しかし、そのような狹い定義に加えて、エンドツーエンドの本質(zhì)とは何か、という本質(zhì)的なことも考えるべきです。 エンドツーエンドの本質(zhì)は感覚情報のロスレス伝送であるべきだと思います。まず、非エンドツーエンド システムにおけるセンシング モジュールと PnC モジュール間のインターフェイスがどのようなものであるかを思い出してみましょう。一般的には、ホワイトリストオブジェクト (車、人など) の検出/屬性分析/予測、および靜的環(huán)境 (道路構(gòu)造/制限速度/信號機(jī)など) の理解が行われます。一般的な障害物の検出作業(yè)も行います。 マクロの観點から見ると、知覚によって出力される情報は複雑な運(yùn)転シナリオを抽象化したものであり、手動で定義された明示的な抽象化です。ただし、一部の特殊なシナリオでは、現(xiàn)在の明示的な抽象化ではシーン內(nèi)の運(yùn)転動作に影響を與える要素を完全に表現(xiàn)できない場合や、定義する必要があるタスクが多すぎて些細(xì)すぎるため、必要なタスクをすべて列挙することが困難な場合があります。したがって、エンドツーエンド システムは (おそらく暗黙的な) 包括的な表現(xiàn)を提供し、そのような情報を PnC に自動的かつロスなく適用することを期待しています。このような要件を満たすことができるすべてのシステムは、汎用化されたエンドツーエンドと呼ぶことができると思います。

動的対話シナリオの最適化などの他の問題に関しては、少なくともエンドツーエンドだけでこれらの問題を解決できるわけではない、というのが私の個人的な意見です。もちろん、データ量が十分に大きい場合は、エンドツーエンドが非常に優(yōu)れたソリューションを提供する可能性があります。これが必要かどうかについては、次のいくつかの質(zhì)問で説明します。

#エンドツーエンドの自動運(yùn)転について誤解がありますか?

制御信號とウェイポイントは必ずエンドツーエンドで出力してください

一般化されたエンドツーエンドの概念については、可能であれば上記の概念に同意する場合、この問題は理解しやすいです。エンドツーエンドでは、タスク量を直接出力するのではなく、情報をロスなく送信することが重視されます。このようなエンドツーエンドの処理方法では、セキュリティを確保するために多數(shù)の秘密の解決策が必要であり、また、実裝プロセス中にいくつかの問題に遭遇し、その後の処理で徐々に明らかになります。

エンドツーエンド システムは、大規(guī)模なモデルまたは純粋なビジョンに基づいている必要があります

エンドツーエンドの概念自動運(yùn)転と大規(guī)模モデルの自動化の終焉 運(yùn)転と純粋に視覚的な自動運(yùn)転の間には、必ずしも関連性はありません。これら 3 つの概念は完全に獨(dú)立して存在します。エンドツーエンド システムは、従來の意味での大規(guī)模なモデルによって駆動される必要はなく、必ずしも純粋に視覚的なものである必要もありません。この 3 つの間にはいくつかのつながりがありますが、同等ではありません。

これらの概念の関係について詳しく説明した以前の記事があります。詳細(xì)については、https://zhuanlan.zhihu.com/p/664189972

を參照してください。 run, 上記の狹義のエンドツーエンドシステムでL3レベル以上の自動運(yùn)転は実現(xiàn)可能でしょうか？

実際のところ、最初に苦情を言いたいと思います。 L4 を破壊するために大規(guī)模なモデルを使用すると主張する人は、実際に L4 を?qū)g行したことがありません。すべての病気をエンドツーエンドで治療すると主張する人は、PnC# を?qū)g行したことがありません。 ##。それで、エンドツーエンドに熱心な多くの人々とチャットした後、それは検証も反証も不可能な純粋に宗教的な論爭に変わりました。最先端の研究開発に従事する私たち學(xué)生は、より実踐的であり、証拠に注意を払う必要があります。 。 。少なくとも、何を転覆したいのかについての基本的な知識を持ち、それに伴う厄介な問題を理解する必要があります。これが、あなたが持つべき基本的な科學(xué)的資質(zhì)です。 。 。

本題に戻りますが、現(xiàn)時點では私は悲観的です。 FSD が現(xiàn)在純粋にエンドツーエンドであると主張しているという事実に関係なく、たとえこの車両が統(tǒng)計的に人間と同じくらい安全であるとしても、そのパフォーマンスは將來的に L3 レベル以上に必要とされる信頼性と安定性には程遠(yuǎn)いです。ドライバーがアライメントを間違えるのと同じくらい安全に対処する必要がある。もっと率直に言うと、自動運(yùn)転システムが國民や世論に受け入れられたいのであれば、鍵は絶対的な事故率や死亡率ではなく、いくつかのシナリオが存在することを國民が受け入れることができるかどうかにあるかもしれない。人間にとって有害な問題は比較的簡単に解決できますが、機(jī)械は間違いを犯します。純粋なエンドツーエンド システムの場合、この要件を達(dá)成するのはさらに困難です。より具體的には、2021 年に私が行った回答で説明されました。詳細(xì)については、次を參照してください:

ロビン?リーのモーメント投稿を表示する方法: 無人運(yùn)転は間違いなく事故を引き起こしますが、その可能性は事故よりもはるかに低いです有人運(yùn)転？

https://www.zhihu.com/question/530828899/answer/2590673435?utm_psn=1762524415009697792

北米の Waymo と Cruise を例に挙げると、実際に多くの製品を生み出しています。しかし、クルーズの最後の事故はなぜ規(guī)制當(dāng)局や國民に受け入れられなかったのでしょうか?この事故では 2 名が負(fù)傷しました。最初の衝突は人間のドライバーにとって回避するのが非常に困難でしたが、実際には許容範(fàn)囲でした。しかし、この衝突後、システムが衝突位置と負(fù)傷者の位置を誤判斷し、車寄せモードに移行し、負(fù)傷者を長時間引きずるという重大な二次被害が発生した。このような行為は通常の人間のドライバーでは行わないことであり、非常に悪い影響を及ぼします。この事件はその後のクルーズ社の混亂に直接つながった。この事件は実際に私たちに警鐘を鳴らしました。自動運(yùn)転システムの開発と運(yùn)用においては、このような事態(tài)をいかに回避するかが真剣に考慮されるべきです。

では、現(xiàn)時點で、次世代の量産型運(yùn)転支援システムのための実用的なソリューションは何でしょうか?

簡単に言えば、適切なシステムは、まず従來のシステムの機(jī)能の上限を十分に探求し、次にそれをエンドツーエンドの柔軟性と汎用性と組み合わせる必要があると思います。

段階的 エンドツーエンドの ソリューション。もちろん、この2つをどう有機(jī)的に組み合わせるかは有料コンテンツです（笑）。 。 。しかし、いわゆるエンドツーエンドまたは學(xué)習(xí)ベースのプランナーが現(xiàn)在実際に何をしているのかを分析することはできます。

私の限られた理解に基づくと、いわゆるエンドツーエンドモデルが運(yùn)転に使用される場合、出力軌跡は従來の方法に基づいたソリューション、つまり學(xué)習(xí)ベースのプランナーや従來の方法に基づいたソリューションに従います。軌道計畫アルゴリズムは複數(shù)の軌道を同時に出力し、セレクターを通じて 1 つを選択して実行します。システム アーキテクチャがこのように設(shè)計されている場合、そのようなカスケード システムのパフォーマンスの上限は、実際にはそのような隠蔽計畫とセレクターによって制限されます。このようなソリューションが依然として純粋なフィードフォワード學(xué)習(xí)に基づいている場合、依然として予測できない障害が発生し、安全であるという目的を本質(zhì)的に達(dá)成できません。このような出力軌跡を最適化または選択するために従來の計畫手法を使用することを検討する場合、それは學(xué)習(xí)ベースの手法によって生成される軌跡と同等です。

は、そのような最適化お??よび検索の問題に対する?yún)gなる初期の解決策です。そのような軌道を直接最適化して検索してみてはいかがでしょうか?

もちろん、一部の學(xué)生は飛び出して、そのような最適化または探索問題は非凸であり、狀態(tài)空間が大きすぎて車両システム上でリアルタイムで実行できないと言うでしょう。ここで皆さんにこの質(zhì)問について注意深く考えていただきたいのです。過去 10 年間で、認(rèn)識システムの計算能力は少なくとも 100 倍に向上しましたが、PnC モジュールはどうでしょうか?近年の高度な最適化アルゴリズムの開発と組み合わせて、PnC モジュールが大規(guī)模な計算能力を使用できるようにした場合でも、この結(jié)論は依然として有効でしょうか?このような問題に対して、私たちは現(xiàn)狀に安住し、道に頼るのではなく、何が正しいのかを第一義的に考えるべきである。

データ駆動型と従來の手法の関係をどのように調(diào)整するか?

実際、自動運(yùn)転に非常によく似た例は、今年 2 月にチェスをプレイすることです (検索なしのグランドマスターレベルのチェス: https://arxiv.org)。 /abs/2402.04494) は、AlphaGo と AlphaZero でデータ駆動のみを使用し、MCTS 検索を放棄することが可能かどうかを検討しています。自動運(yùn)転に似ているのは、アクションを直接出力するために 1 つのネットワークのみが使用され、後続のステップはすべて破棄されるということです。この記事の結(jié)論は、かなりの規(guī)模のデータとモデル パラメーターの下では、検索なしでも妥當(dāng)な結(jié)果が得られるということですが、この方法に検索を加えた場合と比較すると、依然として大きなギャップがあります。 (記事內(nèi)の比較は実際には公平ではありません。実際の差はさらに大きいはずです。) 特に、いくつかの困難なエンドゲームを解決する場合、純粋なデータ駆動型のパフォーマンスは非常に劣ります。この自動運(yùn)転への類似は、複數(shù)ステップのゲームを必要とする困難なシナリオやコーナーケースでは、従來の最適化アルゴリズムや検索アルゴリズムを完全に放棄することが依然として難しいことを意味します。 AlphaZero のようなさまざまなテクノロジーの利點を合理的に利用することが、パフォーマンスを向上させる最も効率的な方法です。

従來の方法 = if else に基づくルール?

この概念も、多くの人々とのやり取りの中で繰り返し修正する必要があります。多くの人の定義によれば、純粋にデータ駆動型でない限り、それはルールベースと呼ばれます。もう一度チェスの例を考えてみましょう。公式や棋譜を丸暗記するのはルールベースですが、AlphaGo や AlphaZero のような検索と最適化による推論機(jī)能をモデルに與える場合、それはルールベースとは言えないと思います。これはまさに、現(xiàn)在の大規(guī)模モデル自體に欠けているものであり、研究者が CoT やその他の方法を通じて學(xué)習(xí)ベースのモデルを與えようとしているものです。しかし、運(yùn)転者のあらゆる行動には明確な動機(jī)があり、理由を明確に説明できない純粋なデータ駆動型の畫像認(rèn)識などのタスクとは異なります。適切なアルゴリズム アーキテクチャ設(shè)計の下では、意思決定の軌跡が変數(shù)となり、科學(xué)的目標(biāo)に基づいて均一に最適化される必要があります。無理にパッチを當(dāng)てたりパラメータを調(diào)整したりして様々なケースを解決するのではなく。當(dāng)然のことながら、このようなシステムにはさまざまなハードコードを使用した奇妙なルールはありません。

まとめ

最後に、エンドツーエンドは有望な技術(shù)的ルートかもしれませんが、そのような概念をどのように導(dǎo)入できるかについては、まだ検討すべきことがたくさんあります。練習(xí)問題。データとモデルパラメータを積み重ねることが唯一の正しい解決策なのでしょうか? 私の考えでは、現(xiàn)時點ではそうではありません。いつの時代も最先端の研究技術(shù)者である私たちは、マスク自身を第一原理にするのではなく、マスクが言った第一原理やエンジニア思考を真に追求し、実踐から問題の本質(zhì)を考えるべきだと感じています。 。本當(dāng)に前に進(jìn)みたいなら、考えることを諦めずに他人の言うことに従うべきです。そうしないと、コーナーで追い越そうとし続けなければなりません。