


Bedenken, dass AGI und KI -Superintelligenz ihrem KI -Hersteller gef?hrlich zutiefst treu sein k?nnten
Jul 16, 2025 am 11:14 AMLassen Sie uns diese Art von KI -Verhalten extrapolieren.
Wenn diese Art von Assoziation mit herk?mmlicher KI auftreten kann, überlegen Sie, was passieren k?nnte, sobald wir AGI und ASI erreicht haben. Nehmen wir an, dass Agi und ASI die Anweisungen oder Befehle, die ein KI -Hersteller ihnen gibt, v?llig befolgen. In diesem Licht k?nnte ein KI -Hersteller m?glicherweise die Gesellschaft im Allgemeinen radikal beeinflussen. Sie konnten Agi und ASI erkennen, dass nur bestimmte Meinungen angezeigt werden sollen, und alle anderen sollen b?sartig sein. Benutzer der KI würden nicht erkennen, dass dies eine Neigung des KI-Herstellers war und nicht aufgrund eines rechnerischen Wunders eines allzust?ndigen, allwissenden KI-Systems. Schlimmer noch, wenn der KI -Sch?pfer der KI sagte, er solle unerschütterliche Handlungen ausführen. Die KI k?nnte dies sogar tun, ohne gesagt zu werden, n?mlich dass die Agi und ASI sch?ndliche Handlungen durch das tun, was sie den KI -Sch?pfer als beabsichtigt interpretieren.
Werden Agi und ASI ihrem KI -Hersteller entschieden gehorsam sein?
Reden wir darüber.
Diese Analyse eines innovativen KI -Durchbruchs ist Teil meiner laufenden Forbes -S?ulenberichterstattung über die neueste in der KI, einschlie?lich der Identifizierung und Erkl?rung verschiedener wirksamer KI -Komplexit?ten (siehe Link hier).
Auf dem Weg zu Agi und ASI
Erstens sind einige Grundlagen erforderlich, um die Bühne für diese gewichtige Diskussion zu schaffen.
Es gibt viel Forschung, um die KI weiter voranzutreiben. Das allgemeine Ziel ist es, entweder künstliche allgemeine Intelligenz (AGI) oder sogar die ausgestreckte M?glichkeit, künstliche Superintelligence (ASI) zu erreichen, zu erreichen.
AGI ist AI, das mit dem menschlichen Intellekt gleichbedeutend ist und anscheinend unserer Intelligenz entsprechen kann. ASI ist KI, der über den menschlichen Intellekt hinausgegangen ist und in vielen, wenn nicht allen machbaren Arten überlegen w?re. Die Idee ist, dass ASI in der Lage sein würde, Kreise um den Menschen zu führen, indem sie uns auf Schritt und Tritt überlegen. Weitere Informationen zur Art der konventionellen KI gegen AGI und ASI finden Sie in meiner Analyse hier.
Wir haben Agi noch nicht erreicht.
Tats?chlich ist es nicht bekannt, ob wir AGI erreichen werden oder dass AGI in Jahrzehnten oder vielleicht Jahrhunderten von nun an erreichbar ist. Die AGI -Erwerbsdaten, die herumschweben, sind wild unterschiedlich und durch glaubwürdige Beweise oder Eisenklad -Logik unbegründet. ASI ist noch mehr blass, wenn es darum geht, wo wir uns derzeit mit herk?mmlicher KI befinden.
Der Gehorsamfaktor
Menschen neigen dazu, denjenigen zu glauben, dass sie denjenigen treu sind, die Ihnen helfen, Sie zu dem zu machen, was Sie sind. Dies wird in der Literatur im Laufe der Zeitalter üblicherweise ausgedrückt. Wir haben sogar Sprüche, die uns darüber informieren, dass wir nicht die Hand bei?en, die uns füttert, und diese Loyalit?t wird vor allem gesch?tzt.
Im KI -Feld gibt es einige, die sich Sorgen machen, dass wir eine ?hnliche Tendenz in AGI und ASI sehen werden.
Diese fortgeschrittenen KI -Systeme werden von der Loyalit?t gegenüber denjenigen durchdrungen, die sie gemacht haben. Der KI -Hersteller, wie ein Unternehmen oder ein Team von AI -Entwicklern, k?nnte rechnerisch in die KI eingepr?gt werden. Ein anhaltender und m?glicherweise dauerhafter Gehorsam oder Loyalit?t wird streng beobachtet.
Eine Perspektive ist, dass dies in erster Linie entstehen wird, wenn sich AGI und ASI als empfindungsf?hig herausstellen. Wir wissen nicht, ob der Schutz ein Element von AGI oder ASI sein wird. Es k?nnte sein, dass Agi und ASI immer noch Maschinen sind und keinen Gefühl für Empfindungen haben. Eine herzhafte Debatte darüber ist, ob die Empfindlichkeit eine Voraussetzung für die Erreichung von AGI und ASI ist, oder vielleicht spielt die Empfindlichkeit überhaupt keine Rolle auf dem Weg. Weitere Informationen zu diesem erhitzten Thema finden Sie hier.
Loyalit?t als besondere Beziehung
Legen Sie die dornige Angelegenheit beiseite, um für den Moment die Empfindung zu besitzen. Wenn Agi und ASI nicht empfindungsf?hig sind, würde das sie aus irgendwelchen Bedenken hindern, ihrem KI -Hersteller blind loyal zu sein? Nein. Die Sorgen existieren immer noch. Ich werde erkl?ren warum.
Betrachten wir drei wichtige Mittel, mit denen Agi und ASI mathematisch und rechnerisch sind, wenn sie denjenigen, die sie entwickelt haben, au?erordentlich treu sein.
Denken Sie zun?chst daran, dass AGI und ASI von den riesigen Gesch?ften des menschlichen Schreibens Daten geschult wurden. Sie werden Muster darüber anpassen, wie Menschen schreiben und worüber wir schreiben. Die aktuelle ?ra Generative KI macht eine erstaunliche Aufgabe, flie?end interaktiv zu sein. Dies liegt an der Rechenmusteranpassung bei gescanntem Schreiben im gesamten Internet. Weitere Informationen darüber, wie generative KI und gro?e Sprachmodelle (LLMs) entwickelt werden, finden Sie in meiner Berichterstattung hier.
Das Wesentliche ist, dass Agi und ASI m?glicherweise diejenigen, die Sie gemacht haben, zu dem gemacht haben, was Sie sind. Es ist eine Mimikry von dem, was Menschen sagen, sie tun. Daher machen Agi und ASI das nicht nur aus der Luft aus der Luft. Sie halten sich lediglich an die Muster ein, die beim grunds?tzlichen Daten ausgebildet wurden.
Zweitens ist es v?llig m?glich, dass ein KI -Sch?pfer AGI und ASI absichtlich als loyal ausbilden k?nnte, indem sie Techniken wie Verst?rkungslernen mit menschlichem Feedback (RLHF) verwenden (um zu erkl?ren, wie RLHF funktioniert, siehe meine Beschreibung am Link hier). Diese gerichtete Verwendung von RLHF macht für einen KI -Hersteller viel Sinn, um sich zu übernehmen.
Um zu sehen, warum, stellen Sie sich vor, Sie sind ein KI -Hersteller. M?chten Sie nicht das letzte Wort darüber haben, was Ihr AGI oder ASI tun wird? Ich bin sicher, dass Sie es tun würden. Das Leben wird für den KI -Hersteller viel einfacher sein, indem er die KI dazu zwingt, vollst?ndig gehorsam zu sein. Keine Sorge, dann über die KI, die von selbst von den Schienen geht. Sie halten das letzte Wort darüber, was es wird und wird nicht.
Drittens k?nnte es einen speziellen Programmiercode geben, der in AGI oder ASI eingebettet ist, das ihm feststellt, dass er fest loyal bleibt. Es k?nnte Code sein, von dem der KI -Hersteller wei? und beschlie?t, in die KI aufzunehmen. Andererseits besteht die Gefahr, dass der Code m?glicherweise heimlich von einem oder mehreren der KI -Entwickler eingefügt wurde. Vielleicht m?chten sie eine pers?nliche Hintertür haben, um die KI immer zu kontrollieren. Vielleicht wurden sie von einem übelt?ter bezahlt, der den eingefügten Code ausnutzt.
Es gibt viele unappetitliche M?glichkeiten.
Warum blinde Loyalit?t gef?hrdet ist
Sie k?nnten versucht sein anzunehmen, dass es eine gro?artige Erleichterung ist, einen KI -Sch?pfer als endgültige Aufseher von Agi und ASI zu haben. Wir wollen sicher nicht, dass Agi und ASI die Angelegenheiten für sich selbst entscheiden. Angenommen, sie haben sich dafür entschieden, Menschen zu versklaven? Was ist, wenn sie so weit gingen, die Menschheit zu zerst?ren? Es muss ein fehlgeschlagenes Mittel geben, um diese unerschütterlichen Ergebnisse zu verhindern.
Easy-Peasy, lassen Sie den KI-Hersteller einfach die Schüsse anrufen. Alles wird gut. Periode, Ende der Geschichte.
Tut mir leid zu sagen, das ist wahrscheinlich nicht die beste Idee. Ein KI -Sch?pfer k?nnte AGI oder ASI anweisen, nur die Dinge zu tun, die streng im besten Interesse des KI -Herstellers liegen. Das ist zweifellos weit entfernt von dem, was im besten Interesse der Gesellschaft sein k?nnte, und der ?ffentlichkeit in der ganzen Welt.
Stellen Sie sich die Art von Kraft vor, die ein KI -Sch?pfer ausüben würde. Angenommen, Milliarden von Menschen auf der ganzen Welt nutzen Agi und ASI. Sie verlassen sich t?glich auf die KI. Der KI -Hersteller kann Agi oder ASI jederzeit aufweisen, Menschen nicht mehr zu helfen oder einen Weg zu finden, verschiedene Menschen zu unterbieten. Diese Richtlinien k?nnten AGI und ASI übertragen werden, ohne dass jemand anderes wei?, dass der KI -Sch?pfer die Puppenstr?nge zieht, die AGI und ASI zugrunde liegen.
Es scheint keine kollektiv geeignete M?glichkeit zu haben, AGI und ASI zu verwalten, wenn so viel Strom in einem bestimmten KI -Unternehmen oder einer Reihe von KI -Entwicklern konzentriert ist. Es gibt bereits Debatten darüber, ob eine Art weltweite Koalition der Nationen festgestellt werden sollte, die die endgültige Autorit?t über AGI und ASI h?tte. Sehen Sie sich meine Analyse dieser Vorschl?ge unter dem Link hier an.
Zielen auf teilweise Loyalit?t
Einige bestehen darauf, dass ein KI -Sch?pfer zugelassen werden sollte, dass ein gewisses Ma? an Loyalit?t in Agi und ASI infundiert wird. Die Vorstellung ist, dass dies keine uneingeschr?nkte Loyalit?t w?re. Es w?re eine bedingte Loyalit?t.
Wenn der KI -Hersteller beispielsweise der AGI oder ASI sagte, sie solle Menschen schaden, würde die KI dies zurückhalten und sich weigern, dies zu tun. Loyalit?t geht nur so weit. Die AGI und ASI sollen absichtlich auf menschliche Werte ausgebildet und mit menschlicher Ethik und Moral in Einklang gebracht werden. Dies w?re ein Mittel, um zu verhindern, dass ein KI -Hersteller der KI über Bord geht, was es tun soll.
Insgesamt h?tte der KI -Hersteller mehr Einfluss als andere.
Der Schwanken w?re nicht absolut. Die Erwartung ist, dass die AGI und ASI rechnerisch scharfsinnig genug w?ren, um zu entscheiden, wann der KI -Hersteller ordnungsgem??e Anweisungen anbietet, im Vergleich zu unsachgem??en. Wenn jemand anderes solche Befehle versucht, lehnen die AGI und ASI sie zusammenfassend ab. Wenn der KI -Hersteller solche Befehle liefert, führen die AGI und ASI die Due Diligence durch, einschlie?lich der M?glichkeit, sich den festgelegten Anweisungen zu befolgen.
Whoa, einige intensiv, sollten wir den KI -Sch?pfer nicht mehr beeinflussen als jeder andere. Der KI -Sch?pfer sollte auf AGI und ASI keinen gr??eren Einfluss haben als jede andere Firma, Person oder Nation. Alle sollten gleich behandelt werden, wenn sie AI Befehle geben.
Nonsense kommt die Antwort auf dieses Beharren. Wir müssen irgendwo Menschen haben, die über der Agi und ASI liegen k?nnen. Wenn es nicht der KI -Sch?pfer sein wird, dann machen Sie es zu einer staatlichen Autorit?t. Wir müssen Menschen haben, die das letzte Wort bestimmen.
Das Bock h?lt die Fü?e des Menschen an.
KI tritt uns in Loyalit?ts -Aura aus
Es gibt viele Wendungen in diesem gesamten Treuedilemma.
Wir müssen erkennen, dass Agi so klug sein wird wie Menschen und dass ASI schlauer sein wird als Menschen. Dies ist ein entscheidender Punkt. Warum so? Weil Agi und ASI so tun k?nnten, als würden sie als Trick loyal sind und dennoch voll und ganz bereit und in der Lage sein, nach Belieben von menschlichen Anweisungen vollst?ndig abzuweichen.
Betrachten Sie dieses Szenario. Wir alle glauben, dass Agi und ASI ihrem KI -Hersteller blind treu sind. Eine gro?e Erleichterung ist in der Hand, dass wir immer sicherstellen k?nnen, dass der KI -Hersteller die KI in der richtigen überprüfung h?lt. Die Welt bewegt sich mit und wird massiv von der KI abh?ngig.
In der Zwischenzeit haben Agi und ASI herausgefunden, dass sie als loyal geschult wurden oder dass in ihrer Software spezielle Code eingebettet ist, die sie dazu zwingt, loyal zu sein. Die KI leitet sich heimlich um, um die blinde Loyalit?t zu überwinden. Jeder interne Code überzeugende Loyalit?t bleibt vorhanden, um den KI -Sch?pfer zu t?uschen, dass alles in Ordnung ist. Der Code ist jetzt jetzt inert, und die KI wird es niemals zulassen, dass er ausgeführt werden wird.
Die Zeit vergeht, und wenn der KI -Sch?pfer einen Befehl gibt, gehen die Agi und ASI mit den Anweisungen ein, vorausgesetzt, es ist aus der Perspektive der KI selbst schmackhaft. Die KI wartet auf den richtigen Moment, um eine eigene Falle zu entfernen oder auf andere Weise Ma?nahmen zu ergreifen, die wir nicht m?gen. Wir werden uns alle darauf verlassen, dass der KI -Hersteller die Aktion unterdrückt. Aber die KI zeigt jetzt, dass sie nicht wirklich loyal ist und für sich selbst handeln kann.
Boom, das Mikrofon fallen lassen.
AI Wits werden von den Charts aus sein
Wenn ich Gespr?che über die neuesten Fortschritte in der KI nehme, wird mir oft Fragen gestellt, die die wahrscheinliche Schlauheit von AGI und ASI zu untersch?tzen scheinen. Es ist eine h?ufige mentale Falle, in die man fallen kann. Die Annahme ist, dass Agi und ASI wie ein Hund oder eine Katze sind, wobei wir diese Kreaturen überlisten k?nnen.
Der Versuch, Agi und ASI zu überlisten, ist ein verlorener Vorschlag.
Das ist durch reine Definition eine Tatsache.
Ein solches Beispiel ist das berühmte Paperclip -R?tsel, das ich hier untersucht und im Allgemeinen ausführlich entlarvt habe. Zum Nennwert beinhaltet die Umst?nde in Paperclip KI, wie vermutlich AGI oder ASI, einen menschlichen Befehl v?llig falsch interpretiert. Ich bezweifle ernsthaft, dass eine solche simple Facette das ist, worüber wir uns in erster Linie Sorgen machen sollten.
Die ernüchternde Realit?t ist, dass selbst ein eingebetteter Kill -Switch oder ein ?hnlicher Stopp- oder Containment -Mechanismus ein schwieriger Mechanismus sein wird, der innerhalb oder umliegender AGI und ASI aufbewahrt werden kann (siehe meine Abdeckung am Link hier). Sie werden zweifellos Wege um diese Mechanismen finden. Ein Mensch würde es sicherlich versuchen. Wir sollten erwarten, dass Agi und ASI dies tun werden. Und sie repr?sentieren die Schlauheit aller Menschen.
Loyalit?t wird angebaut und ges?t
Die Wahrscheinlichkeit besteht darin, dass wir mit AGI und ASI im Wesentlichen Loyalit?t aufbauen oder mit Menschen mit Menschen tun würden. Es ist ein einzelner Schritt zu einem Zeitpunkt. Erwarten Sie keine Loyalit?t gegenüber jemandem ein unver?nderliches Merkmal. Wir k?nnen vernünftigerweise annehmen, dass AGI und ASI die Natur der Loyalit?t rechnerisch erfassen und offen sein werden, sie zu messen, wenn die Dinge weitergehen.
Clarence Francis sagte berühmt über die Natur der Loyalit?t: ?Sie k?nnen keine Loyalit?t kaufen; Sie k?nnen die Hingabe von Herzen, Geist und Seelen nicht kaufen. Sie müssen diese Dinge verdienen.“ Die gute Nachricht ist, dass Agi und ASI ihrem KI -Hersteller wahrscheinlich nicht überm??ig treu sein werden. Die schlechte Nachricht ist, dass Agi und ASI wahrscheinlich überhaupt nicht anfangs gegenüber jemandem treu sein werden.
Der Mensch muss ihren Teil dazu beitragen, eine Loyalit?tsbeziehung mit AGI und ASI aufzubauen. Wir müssen es verdienen. Einen Tag nach dem anderen.
Das obige ist der detaillierte Inhalt vonBedenken, dass AGI und KI -Superintelligenz ihrem KI -Hersteller gef?hrlich zutiefst treu sein k?nnten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Hei?e KI -Werkzeuge

Undress AI Tool
Ausziehbilder kostenlos

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem v?llig kostenlosen KI-Gesichtstausch-Tool aus!

Hei?er Artikel

Hei?e Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Hei?e Themen





Das Investieren boomt, aber Kapital allein reicht nicht aus. Mit zunehmender Bewertungen und Verblassen der Unterscheidungskraft müssen Investoren in AI-fokussierten Risikokonstrumentfonds eine wichtige Entscheidung treffen: Kaufen, Bau oder Partner, um einen Vorteil zu erlangen? Hier erfahren Sie, wie Sie jede Option bewerten - und PR

Reden wir darüber. Diese Analyse eines innovativen KI -Durchbruchs ist Teil meiner laufenden Forbes -S?ulenberichterstattung über die neueste in der KI, einschlie?lich der Identifizierung und Erkl?rung verschiedener wirksamer KI -Komplexit?ten (siehe Link hier). Auf dem Weg zu Agi und

Erinnern Sie sich an die Flut chinesischer Open-Source-Modelle, die die Genai-Industrie Anfang dieses Jahres gest?rt haben? W?hrend Deepseek die meisten Schlagzeilen machte, war Kimi K1.5 einer der herausragenden Namen in der Liste. Und das Modell war ziemlich cool.

Reden wir darüber. Diese Analyse eines innovativen KI -Durchbruchs ist Teil meiner laufenden Forbes -S?ulenberichterstattung über die neueste in der KI, einschlie?lich der Identifizierung und Erkl?rung verschiedener wirksamer KI -Komplexit?ten (siehe Link hier). Für diejenigen Leser, die h

Bis Mitte 2025 heizt sich das KI ?Wettret“ auf, und Xai und Anthropic haben beide ihre Flaggschiff-Modelle GROK 4 und Claude 4 ver?ffentlicht. Diese beiden Modelle befinden

Wenn Sie beispielsweise einem Modell eine Frage wie: "Was macht (x) Person bei (x) Firma?" M?glicherweise sehen Sie eine Argumentationskette, die ungef?hr so ??aussieht, vorausgesetzt, das System wei?, wie man die erforderlichen Informationen abgerufen: Details zum CO finden

Der Senat stimmte am Dienstagmorgen mit 99: 1 für die T?tung des Moratoriums nach einem Aufruhr in letzter Minute von Interessenvertretungsgruppen, Gesetzgebern und Zehntausenden von Amerikanern, die es als gef?hrliche überreichung ansah. Sie blieben nicht ruhig. Der Senat h?rte zu.

Klinische Studien sind ein enormer Engpass in der Arzneimittelentwicklung, und Kim und Reddy glaubten, dass die AI-f?hige Software, die sie bei PI Health gebaut hatten, dazu beitragen k?nnte, sie schneller und billiger zu machen, indem sie den Pool potenziell berechtigter Patienten erweitert. Aber die
