{"id":2415,"date":"2026-06-30T14:37:04","date_gmt":"2026-06-30T12:37:04","guid":{"rendered":"https:\/\/cogita.ai\/?p=2415"},"modified":"2026-06-30T15:24:54","modified_gmt":"2026-06-30T13:24:54","slug":"how-deep-neural-networks-see-the-world","status":"publish","type":"post","link":"https:\/\/cogita.ai\/de\/how-deep-neural-networks-see-the-world\/","title":{"rendered":"Wie tiefe neuronale Netze die&nbsp;Welt sehen"},"content":{"rendered":"<p><\/p>\n\n\n\n<p>Wir bei&nbsp;Cogita sind der&nbsp;\u00dcberzeugung, dass die&nbsp;n\u00e4chste Generation der&nbsp;KI modularer, spezialisierter, effizienter, besser \u00fcberpr\u00fcfbar und&nbsp;einfacher zu debuggen sein sollte \u2013 und&nbsp;nicht einfach nur umfangreicher und&nbsp;undurchsichtiger. Um dieses Ziel zu erreichen, m\u00fcssen praktische Anwendungen mit&nbsp;Grundlagenforschung dar\u00fcber kombiniert werden, wie neuronale Netze Informationen darstellen und&nbsp;nutzen.<\/p>\n\n\n\n<p>Im&nbsp;folgenden Artikel stellt unser AI&#8209;Leiter, Maciej Satkiewicz, \u201eSemantic Pullbacks\u201c vor: einen&nbsp;neuen Ansatz zum&nbsp;Verst\u00e4ndnis tiefer neuronaler Netze, der&nbsp;im&nbsp;Rahmen seiner Forschung bei&nbsp;der&nbsp;314 Foundation entwickelt wurde. Diese Arbeit ist ein&nbsp;fr\u00fches Beispiel f\u00fcr&nbsp;die&nbsp;Br\u00fccke, die&nbsp;wir zwischen Grundlagenforschung und&nbsp;KI&#8209;Systemen schlagen wollen, die&nbsp;\u00fcberpr\u00fcft, verbessert und&nbsp;in der&nbsp;Praxis eingesetzt werden k\u00f6nnen.<\/p>\n\n\n\n<p>Wir sind der&nbsp;Ansicht, dass diese Art der&nbsp;technischen Differenzierung f\u00fcr&nbsp;Europa besonders wichtig ist, da Europa m\u00f6glicherweise neue Wege beschreiten muss, anstatt ausschlie\u00dflich durch die&nbsp;Skalierung der&nbsp;in den&nbsp;Vereinigten Staaten und&nbsp;China entwickelten Ans\u00e4tze zu konkurrieren. Der&nbsp;Artikel ist zwar technisch gepr\u00e4gt, doch die&nbsp;\u00fcbergeordnete Frage ist einfach: K\u00f6nnen wir eine&nbsp;KI entwickeln, die&nbsp;nicht nur leistungsstark, sondern auch verst\u00e4ndlicher und&nbsp;besser kontrollierbar ist?<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong><strong>Wie tiefe neuronale Netze die&nbsp;Welt sehen<\/strong><\/strong><\/h2>\n\n\n\n<p>Tiefe neuronale Netze sind leistungsstark, aber nach wie vor schwer zu verstehen. Wir k\u00f6nnen sie trainieren, einsetzen, feinabstimmen und&nbsp;ihre Leistung messen. Doch wenn wir eine&nbsp;einfache Frage stellen \u2013 <em>Was genau hat die&nbsp;Modellentscheidung beeinflusst?<\/em> - Die&nbsp;Antwort ist oft \u00fcberraschend zerbrechlich. <\/p>\n\n\n\n<p>In einem&nbsp;linearen Modell liegt die&nbsp;Erkl\u00e4rung auf der&nbsp;Hand. Ein&nbsp;Gewichtsvektor zeigt in die&nbsp;vom Modell bevorzugte Eingaberichtung. Wenn wir diesen Vektor visualisieren, erkennen wir, wonach das&nbsp;Modell sucht. Das&nbsp;Modell berechnet das&nbsp;Skalarprodukt zwischen der&nbsp;Eingabe und&nbsp;dem&nbsp;Gewichtsvektor, sodass der&nbsp;Gewichtsvektor uns direkt verr\u00e4t, welches Muster die&nbsp;Punktzahl erh\u00f6ht.<\/p>\n\n\n\n<p>Die&nbsp;Frage ist: Wie l\u00e4sst sich diese Art der&nbsp;Erkl\u00e4rungen auf komplexere Modelle \u00fcbertragen?<\/p>\n\n\n\n<p>Der&nbsp;\u00fcbliche Ansatz besteht darin, den&nbsp;Gradienten zu verwenden, da dieser bei&nbsp;linearen Modellen mit&nbsp;dem&nbsp;Gewichtsvektor \u00fcbereinstimmt. Es gibt jedoch einen&nbsp;nat\u00fcrlicheren Kandidaten \u2013 einen&nbsp;Pullback.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Das&nbsp;Problem mit&nbsp;Farbverl\u00e4ufen<\/strong><\/h2>\n\n\n\n<p>Ein&nbsp;Gradient gibt Auskunft dar\u00fcber, wie sich die&nbsp;Ausgabe bei&nbsp;einer&nbsp;infinitesimalen \u00c4nderung der&nbsp;Eingabe ver\u00e4ndert. Das&nbsp;ist ein&nbsp;Ma\u00df f\u00fcr&nbsp;die&nbsp;Sensitivit\u00e4t. Es ist jedoch nicht unbedingt die&nbsp;beste Beschreibung dessen, was das&nbsp;Neuron erwartet. Eine&nbsp;solche Beschreibung sollte uns im&nbsp;Idealfall Aufschluss dar\u00fcber geben, welches Muster im&nbsp;Eingaberaum das&nbsp;Neuron lokal als seine bevorzugte Richtung nutzt \u2013 \u00e4hnlich wie der&nbsp;Gewichtsvektor des&nbsp;linearen Modells.<\/p>\n\n\n\n<p>Beachten Sie, dass sich bei&nbsp;einer&nbsp;bestimmten Eingabe viele Schichten so verhalten wie <strong>eingabebedingte affine Operatoren<\/strong>. ReLU&#8209;Gates werden ein- und&nbsp;ausgeschaltet. Pooling-Schichten w\u00e4hlen Routen aus. Attention-Schichten entscheiden, welche Tokens miteinander interagieren. Normalisierungsschichten ver\u00e4ndern die&nbsp;lokale Geometrie der&nbsp;Berechnung. Bei&nbsp;einer&nbsp;gegebenen Eingabe sind all diese Schalter jedoch fest vorgegeben.<\/p>\n\n\n\n<p>Daher kann das&nbsp;Netzwerk als eine&nbsp;eingangsabh\u00e4ngige lineare (oder&nbsp;\u2013 bei&nbsp;Vorhandensein von&nbsp;Vorspannungen \u2013 affine) Berechnung betrachtet werden. Die&nbsp;naheliegende Interpretation eines&nbsp;Zielneurons ist dann nicht der&nbsp;Gradient, sondern die&nbsp;punktweise Transposition dieses effektiven Operators, d.\u202fh. seine adjungierte Wirkung. Das&nbsp;bezeichne ich als ein&nbsp;<strong>R\u00fcckgang<\/strong>, inspiriert von&nbsp;der&nbsp;Differentialgeometrie.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Pullback: das&nbsp;richtige Analogon zum&nbsp;linearen Gewichtsvektor<\/strong><\/h2>\n\n\n\n<p>In einem&nbsp;linearen Modell gilt:<\/p>\n\n\n\n<p><mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\">score =<\/mark><\/p>\n\n\n\n<p>Der&nbsp;Gewichtsvektor ist die&nbsp;Erkl\u00e4rung, da er die&nbsp;vom Modell bevorzugte Eingaberichtung darstellt.<\/p>\n\n\n\n<p>Bei&nbsp;einem&nbsp;tiefen Netzwerk l\u00e4sst sich die&nbsp;Berechnung f\u00fcr&nbsp;eine&nbsp;feste Eingabe oft lokal wie folgt darstellen:<\/p>\n\n\n\n<p><mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\">Ausgabe = W(x) x<\/mark><\/p>\n\n\n\n<p>wobei <mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\">W(x)<\/mark> ist der&nbsp;effektive dynamische affine Operator des&nbsp;Netzwerks am&nbsp;Eingang<mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\"> x<\/mark>.<\/p>\n\n\n\n<p>W\u00e4hlen wir ein&nbsp;Zielneuron oder&nbsp;eine&nbsp;Klassenrichtung u, so l\u00e4sst sich dessen Wert als Skalarprodukt im&nbsp;Eingaberaum darstellen:<\/p>\n\n\n\n<p><mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\">score =<\/mark><\/p>\n\n\n\n<p>Der&nbsp;R\u00fccklauf wird erzielt, indem die&nbsp;Zielrichtung durch die&nbsp;Transponierte des&nbsp;effektiven Operators r\u00fcckw\u00e4rts transportiert wird:<\/p>\n\n\n\n<p><mark style=\"background-color:rgba(0, 0, 0, 0)\" class=\"has-inline-color has-light-green-cyan-color\">pullback = W(x)^T u<\/mark><\/p>\n\n\n\n<p>Dies ist die&nbsp;direkte Verallgemeinerung der&nbsp;Erkl\u00e4rung des&nbsp;linearen Modells.<\/p>\n\n\n\n<p>Der&nbsp;entscheidende Punkt ist subtil, aber wichtig: Der&nbsp;R\u00fcckzug entspricht im&nbsp;Allgemeinen nicht dem&nbsp;Gradienten.<\/p>\n\n\n\n<p>Der&nbsp;Gradient h\u00e4ngt davon ab, wie sich der&nbsp;effektive Operator in Abh\u00e4ngigkeit von&nbsp;der&nbsp;Eingabe ver\u00e4ndert. Er umfasst zus\u00e4tzliche Terme, die&nbsp;aus Gatterfunktionen, Routing-Entscheidungen, Schichtstatistiken, Attention-Maps und&nbsp;anderen eingabebedingten Mechanismen stammen.<\/p>\n\n\n\n<p>Der&nbsp;Pullback funktioniert anders. Er fragt: Angesichts der&nbsp;Berechnung, die&nbsp;das&nbsp;Netzwerk bei&nbsp;dieser Eingabe tats\u00e4chlich durchgef\u00fchrt hat, welcher Vektor im&nbsp;Eingaberaum repr\u00e4sentiert die&nbsp;Aktivit\u00e4t dieses Zielneurons?<\/p>\n\n\n\n<p>Das&nbsp;entspricht eher der&nbsp;urspr\u00fcnglichen Idee hinter der&nbsp;Visualisierung eines&nbsp;linearen Filters.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Sanfter R\u00fcckzug: Neuronen repr\u00e4sentieren Merkmale lokal und&nbsp;teilweise<\/strong><\/h2>\n\n\n\n<p>Ein&nbsp;Standard-Pullback entspricht bereits eher der&nbsp;dynamisch-affinen Sichtweise auf neuronale Berechnungen. Doch es gibt noch ein&nbsp;weiteres Problem.<\/p>\n\n\n\n<p>Neuronale Merkmale kommen an einem&nbsp;einzelnen Eingangspunkt oft nicht vollst\u00e4ndig zum&nbsp;Ausdruck. Sie k\u00f6nnen teilweise aktiv sein, durch ein&nbsp;hartes Gate unterdr\u00fcckt werden oder&nbsp;auf mehrere schwach beitragende Komponenten verteilt sein. Eine&nbsp;ReLU&#8209;Einheit kann knapp unterhalb des&nbsp;Schwellenwerts liegen. Eine&nbsp;Pooling-Schicht kann den&nbsp;Gro\u00dfteil des&nbsp;Signals \u00fcber einen&nbsp;Punkt leiten, w\u00e4hrend benachbarte Alternativen weiterhin semantisch relevante Informationen enthalten.<\/p>\n\n\n\n<p>Dies deutet darauf hin, dass die&nbsp;aussagekr\u00e4ftige Erkl\u00e4rung nicht immer der&nbsp;reine punktweise Pullback ist, sondern der&nbsp;<strong>vor Ort erwartete Korrektur<\/strong>: der&nbsp;R\u00fcckzug, den&nbsp;wir erhalten w\u00fcrden, wenn wir eine&nbsp;kleine Umgebung um den&nbsp;Eingabewert betrachten w\u00fcrden.<\/p>\n\n\n\n<p>Stichprobenbasierte Methoden wie beispielsweise <a href=\"https:\/\/arxiv.org\/abs\/1706.03825\" rel=\"nofollow noopener\" target=\"_blank\">SmoothGrad<\/a> deuten bereits auf diese Intuition hin. Sie f\u00fcgen dem&nbsp;Eingabesignal Rauschen hinzu, berechnen zahlreiche Gradienten und&nbsp;mitteln diese. Dies f\u00fchrt oft zu Erkl\u00e4rungen, die&nbsp;besser mit&nbsp;der&nbsp;Wahrnehmung \u00fcbereinstimmen, ist jedoch rechenintensiv und&nbsp;heuristisch.<\/p>\n\n\n\n<p>Semantische Pullbacks verfolgen denselben Ansatz auf direktere Weise.<\/p>\n\n\n\n<p>Anstatt viele gest\u00f6rte Eingaben zu untersuchen, \u00e4ndern wir lediglich die&nbsp;R\u00fcckw\u00e4rtsberechnung. Harte oder&nbsp;steile R\u00fcckw\u00e4rtsgates werden abgeschw\u00e4cht. So kann beispielsweise eine&nbsp;harte ReLU&#8209;Maske im&nbsp;R\u00fcckw\u00e4rtsdurchlauf durch ein&nbsp;glattes Gate ersetzt werden. Die&nbsp;Vorw\u00e4rtsberechnung bleibt dabei unver\u00e4ndert. Die&nbsp;Vorhersage des&nbsp;Modells \u00e4ndert sich nicht. Lediglich die&nbsp;Erkl\u00e4rungsregel \u00e4ndert sich.<\/p>\n\n\n\n<p>Damit erhalten wir ein&nbsp;<strong>Leichter R\u00fcckgang<\/strong>: eine&nbsp;handhabbare N\u00e4herung des&nbsp;lokal erwarteten Pullbacks.<\/p>\n\n\n\n<p>Es gewinnt schwache, aber best\u00e4ndig beitragende Komponenten wieder, die&nbsp;beim standardm\u00e4\u00dfigen Backward-Pass m\u00f6glicherweise unterdr\u00fcckt werden. In der&nbsp;Praxis verwandelt dies oft verrauschte, fragmentierte Erkl\u00e4rungen in koh\u00e4rentere Strukturen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Pullback-Ascent: St\u00e4rkung der&nbsp;lokal bevorzugten Richtung<\/strong><\/h2>\n\n\n\n<p>Sobald wir ein&nbsp;Pullback-Vektorfeld haben, k\u00f6nnen wir die&nbsp;Eingabe leicht in die&nbsp;Richtung verschieben, die&nbsp;von&nbsp;einem&nbsp;Zielneuron lokal bevorzugt wird, und&nbsp;das&nbsp;Pullback neu berechnen. Wiederholt man dies f\u00fcr&nbsp;einige Schritte, erh\u00e4lt man <strong>R\u00fcckzug und&nbsp;Anstieg<\/strong>.<\/p>\n\n\n\n<p>Dies entspricht dem&nbsp;Gradientenanstieg, allerdings mit&nbsp;einer&nbsp;entscheidenden \u00c4nderung: Wir bewegen uns entlang der&nbsp;R\u00fcckzugsrichtung und&nbsp;nicht entlang der&nbsp;Gradientenrichtung.<\/p>\n\n\n\n<p>Der&nbsp;Unterschied ist deutlich zu erkennen. Der&nbsp;Gradientenanstieg in modernen Netzwerken erzeugt oft verrauschte, adversarial anmutende Muster. Der&nbsp;Pullback-Anstieg neigt dazu, koh\u00e4rentere, klassenabh\u00e4ngige Strukturen aufzudecken. Er verst\u00e4rkt die&nbsp;lokal bevorzugte Richtung des&nbsp;Zielneurons, anstatt lediglich die&nbsp;rohe Empfindlichkeit zu verst\u00e4rken.<\/p>\n\n\n\n<p>Dadurch eignet es sich nicht nur f\u00fcr&nbsp;die&nbsp;Attribution, sondern auch f\u00fcr&nbsp;lokale Kontrafaktika. Wir k\u00f6nnen fragen: Was m\u00fcsste in diesem Bild deutlicher hervortreten, damit das&nbsp;Modell zu einer&nbsp;anderen Klasse tendiert? Pullback Ascent liefert eine&nbsp;strukturierte Antwort darauf.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Empirische Best\u00e4tigung<\/strong><\/h2>\n\n\n\n<p>In Experimenten mit&nbsp;vortrainierten Standard-Bildverarbeitungsmodellen, darunter konvolutionelle Architekturen und&nbsp;Transformer-basierte Modelle, lieferten \u201eSemantic Pullbacks\u201c Erkl\u00e4rungen, die&nbsp;genauer, stabiler, zielgerichteter und&nbsp;in wahrnehmungsbezogener Hinsicht deutlich besser abgestimmt waren als herk\u00f6mmliche, auf Gradienten basierende Referenzmodelle.<\/p>\n\n\n\n<p>Die&nbsp;wichtigste Erkenntnis ist konzeptioneller Natur: Gradienten sind nicht das&nbsp;einzige nat\u00fcrliche R\u00fcckw\u00e4rtssignal im&nbsp;Deep Learning. Wenn wir verstehen wollen, was ein&nbsp;neuronales Netzwerk \u201esieht\u201c, sollten wir nicht nur fragen, wie sich die&nbsp;Ausgabe \u00e4ndert, wenn sich die&nbsp;Eingabe \u00e4ndert. Wir sollten vielmehr fragen, welche Richtung im&nbsp;Eingaberaum die&nbsp;aktuelle Berechnung des&nbsp;Netzwerks f\u00fcr&nbsp;das&nbsp;Zielneuron darstellt.<\/p>\n\n\n\n<p>Diese Richtung scheint der&nbsp;\u201eSemantic Pullback\u201c zu sein.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Eine&nbsp;einheitliche Sichtweise auf die&nbsp;Erkl\u00e4rbarkeit<\/strong><\/h2>\n\n\n\n<p>Eines&nbsp;der&nbsp;interessantesten Ergebnisse dieser Arbeit ist, dass semantische Pullbacks mehrere Konzepte miteinander verbinden, die&nbsp;zuvor unabh\u00e4ngig voneinander zu sein schienen; dieser Zusammenhang ist jedoch spezifischer, als einfach nur zu sagen, dass sie alle \u201cGradienten verbessern\u201d.<\/p>\n\n\n\n<p><a href=\"http:\/\/semanticscholar.org\/paper\/cb7738a3b0a7df34d4febee9295b08d835f98e10\" rel=\"nofollow noopener\" target=\"_blank\">Modelle im&nbsp;B&#8209;Cos-Stil<\/a> entsprechen unserer Sichtweise besonders stark. Sie nutzen bereits den&nbsp;Standard-Pullback als Erkl\u00e4rung: Sie \u00fcbertragen die&nbsp;Ausgabedirektion r\u00fcckw\u00e4rts durch den&nbsp;effektiven linearen Operator des&nbsp;Netzwerks. Ihr zus\u00e4tzlicher Schritt ist architektonischer Natur und&nbsp;basiert auf dem&nbsp;Training: Sie modifizieren das&nbsp;Modell und&nbsp;f\u00fcgen Ausrichtungsziele hinzu, sodass der&nbsp;Standard-Pullback besser auf die&nbsp;Eingabe abgestimmt wird.<\/p>\n\n\n\n<p>Semantische Pullbacks verfolgen einen&nbsp;anderen Ansatz. Wir \u00e4ndern das&nbsp;Vorw\u00e4rtsmodell nicht und&nbsp;nehmen auch keine&nbsp;Feinabstimmung daran vor. Stattdessen pr\u00fcfen wir, ob sich eine&nbsp;bessere Erkl\u00e4rung erzielen l\u00e4sst, indem wir einen&nbsp;lokal erwarteten Pullback direkt auf einem&nbsp;vortrainierten Standardnetzwerk berechnen.<\/p>\n\n\n\n<p>Dadurch wird auch der&nbsp;Zusammenhang zu Methoden der&nbsp;Gradientengl\u00e4ttung wie beispielsweise SmoothGrad verdeutlicht. Diese Methoden lassen sich so interpretieren, dass sie versuchen, einen&nbsp;lokalen Erwartungswert zu rekonstruieren, indem sie verrauschte St\u00f6rungen abtasten und&nbsp;die&nbsp;daraus resultierenden Erkl\u00e4rungen mitteln. Semantische Pullbacks verfolgen ein&nbsp;\u00e4hnliches Ziel, approximieren den&nbsp;lokal erwarteten Pullback jedoch nicht durch stochastische Stichproben, sondern durch geschlossene, schichtweise R\u00fcckw\u00e4rtsregeln.<\/p>\n\n\n\n<p>\u201ePullback Ascent\u201c verkn\u00fcpft die&nbsp;Methode mit&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/2402.10039\" rel=\"nofollow noopener\" target=\"_blank\">Hervorhebung von&nbsp;Merkmalen<\/a>. Die&nbsp;Hervorhebung von&nbsp;Standardmerkmalen folgt Gradienten und&nbsp;erfordert daher in der&nbsp;Regel eine&nbsp;starke Regularisierung, um rauschbehaftete oder&nbsp;adversarial anmutende Muster zu vermeiden. Durch das&nbsp;Ersetzen der&nbsp;Gradientenrichtung durch die&nbsp;(weiche) Pullback-Richtung ergibt sich ein&nbsp;koh\u00e4renteres lokales Aufstiegsverfahren: Es verst\u00e4rkt die&nbsp;bevorzugte Richtung des&nbsp;Zielneurons, ohne auf aufwendige Nachbearbeitung angewiesen zu sein.<\/p>\n\n\n\n<p>Es gibt auch einen&nbsp;Zusammenhang mit&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1706.06083\" rel=\"nofollow noopener\" target=\"_blank\">robuste Optimierung<\/a>. Robuste Modelle weisen oft Gradienten auf, die&nbsp;st\u00e4rker an der&nbsp;Wahrnehmung ausgerichtet sind, da ihre Entscheidungsfunktionen im&nbsp;Umfeld der&nbsp;Datenmannigfaltigkeit lokal stabiler werden. Aus der&nbsp;Perspektive des&nbsp;Pullbacks deckt sich dies mit&nbsp;der&nbsp;Vorstellung, dass Modelle an den&nbsp;Eingaben ausgerichtete Merkmale nicht unbedingt an einem&nbsp;einzelnen Punkt, sondern im&nbsp;lokalen Erwartungswert erlernen. Semantische Pullbacks legen diese Struktur direkt offen, ohne dass ein&nbsp;adversariales Training erforderlich ist.<\/p>\n\n\n\n<p>Die&nbsp;\u00fcbergeordnete Botschaft lautet, dass viele erfolgreiche Erkl\u00e4rungsmethoden als unterschiedliche Versuche verstanden werden k\u00f6nnen, eine&nbsp;stabile Richtung im&nbsp;Eingaberaum wiederherzustellen, die&nbsp;mit&nbsp;einem&nbsp;Zielneuron, einer&nbsp;Klasse oder&nbsp;einem&nbsp;Merkmal assoziiert ist. Semantische Pullbacks machen dieses Objekt explizit: nicht als Gradienten, sondern als lokal erwarteten R\u00fcckzug der&nbsp;effektiven Berechnung des&nbsp;Netzwerks.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Sollten Pullbacks Gradienten ersetzen?<\/strong><\/h2>\n\n\n\n<p>Heutzutage behandeln Deep-Learning-Bibliotheken Gradienten als Primitive erster Klasse. Sind tiefe Netzwerke jedoch dynamische affine Systeme, dann sollte neben der&nbsp;Ableitung auch der&nbsp;adjungierte Transport der&nbsp;Neuronenaktion verf\u00fcgbar sein. Mit&nbsp;anderen Worten: Der&nbsp;Pullback sollte neben dem&nbsp;Gradienten zu einem&nbsp;festen Bestandteil von&nbsp;Deep-Learning-Bibliotheken werden.<\/p>\n\n\n\n<p>Dazu w\u00e4re keine&nbsp;Neugestaltung der&nbsp;neuronalen Netze erforderlich. In vielen Schichten stimmen Pullback und&nbsp;Gradient bereits \u00fcberein. F\u00fcr&nbsp;lineare Schichten, Faltungen und&nbsp;Residualverbindungen reicht der&nbsp;standardm\u00e4\u00dfige R\u00fcckw\u00e4rtsdurchlauf aus. Die&nbsp;geringen Unterschiede ergeben sich aus einem&nbsp;relativ kleinen Katalog von&nbsp;Mechanismen: Gates, Routing-Operationen, Normalisierungsschichten und&nbsp;Attention.<\/p>\n\n\n\n<p>Das&nbsp;macht die&nbsp;Idee praktikabel. Semantische Pullbacks lassen sich als benutzerdefinierte R\u00fcckw\u00e4rtsregeln implementieren, w\u00e4hrend der&nbsp;Vorw\u00e4rtsdurchlauf unver\u00e4ndert bleibt. Wenn sich Pullbacks als besser f\u00fcr&nbsp;die&nbsp;Optimierung erweisen (siehe unten), k\u00f6nnten sie wohl sogar Gradienten g\u00e4nzlich ersetzen, da sie sich bereits als besser f\u00fcr&nbsp;die&nbsp;Erstellung von&nbsp;Erkl\u00e4rungen erwiesen haben!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Wie geht es weiter?<\/strong><\/h2>\n\n\n\n<p>Semantische Pullbacks bieten einen&nbsp;neuen Ansatz zur&nbsp;Erforschung und&nbsp;Gestaltung des&nbsp;Repr\u00e4sentationsraums. \u00dcber die&nbsp;Attribution hinaus l\u00e4sst sich \u201ePullback Ascent\u201c dazu nutzen, zu untersuchen, welche Strukturen ein&nbsp;Modell mit&nbsp;einem&nbsp;Neuron, einer&nbsp;Klasse oder&nbsp;einem&nbsp;internen Merkmal assoziiert. Dies k\u00f6nnte die&nbsp;Wissensgewinnung in wissenschaftlichen Bereichen, aussagekr\u00e4ftigere kontrafaktische Szenarien und&nbsp;Interpolationen sowie eine&nbsp;bessere Diagnose von&nbsp;Fehlermodi unterst\u00fctzen.<\/p>\n\n\n\n<p>Diese Sichtweise l\u00e4sst sich nahtlos auf Text \u00fcbertragen. Semantische Pullbacks k\u00f6nnten dabei helfen, die&nbsp;einer&nbsp;Vorhersage zugrunde liegenden Belege zu extrahieren, argumentative Strukturen zu identifizieren und&nbsp;kontrafaktische Varianten zu generieren, die&nbsp;aufzeigen, was sich \u00e4ndern m\u00fcsste, damit ein&nbsp;Modell eine&nbsp;andere Behauptung, Einstufung oder&nbsp;Antwort st\u00fctzen k\u00f6nnte.<\/p>\n\n\n\n<p>Sie k\u00f6nnten auch f\u00fcr&nbsp;Sprach- und&nbsp;multimodale Modellierung n\u00fctzlich sein. Bei&nbsp;Sprachmodellen k\u00f6nnte eine&nbsp;auf Pullback basierende Attribution die&nbsp;Frage stellen, welche Token, Passagen oder&nbsp;internen Merkmale die&nbsp;Vorhersage des&nbsp;n\u00e4chsten Tokens am&nbsp;st\u00e4rksten beeinflusst haben. Bei&nbsp;Videos und&nbsp;anderen sequenziellen Modalit\u00e4ten k\u00f6nnte derselbe Ansatz dabei helfen, nachzuvollziehen, welche Frames, Objekte oder&nbsp;zeitliche Hinweise die&nbsp;Fortsetzung oder&nbsp;Entscheidung eines&nbsp;Modells beeinflussen.<\/p>\n\n\n\n<p>Die&nbsp;gleiche Perspektive kann auch bei&nbsp;der&nbsp;Modellbearbeitung, der&nbsp;Modellbereinigung und&nbsp;dem&nbsp;kontinuierlichen Lernen eine&nbsp;Rolle spielen. Wenn R\u00fcckverfolgungen aufzeigen, welche Komponenten koh\u00e4rente semantische Belege liefern, k\u00f6nnen sie dabei helfen, festzustellen, welche Teile eines&nbsp;Modells n\u00fctzlich, redundant, instabil oder&nbsp;f\u00fcr&nbsp;ein&nbsp;neues Verhalten verantwortlich sind.<\/p>\n\n\n\n<p>Ein&nbsp;weiterer offener Ansatz ist die&nbsp;Ausbildung selbst. <a href=\"https:\/\/arxiv.org\/abs\/2505.22074\" rel=\"nofollow noopener\" target=\"_blank\">Aktuelle Arbeiten<\/a> legt nahe, dass eine&nbsp;\u00c4nderung des&nbsp;R\u00fcckw\u00e4rtsdurchlaufs das&nbsp;Lernen verbessern kann. Semantische Pullbacks bieten eine&nbsp;umfassendere Erkl\u00e4rung daf\u00fcr: Adjunkte R\u00fcckw\u00e4rtssignale k\u00f6nnten eine&nbsp;klarere Darstellung der&nbsp;Richtung liefern, die&nbsp;ein&nbsp;Neuron lokal nutzt, anstatt diese mit&nbsp;Effekten von&nbsp;Gates, Routing, Normalisierung oder&nbsp;Attention zu vermischen. Dies hat das&nbsp;Potenzial, nicht nur die&nbsp;Erkl\u00e4rungen, sondern auch die&nbsp;Generalisierung selbst zu verbessern!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Lass uns reden!<\/strong><\/h2>\n\n\n\n<p>Wenn Sie sich f\u00fcr&nbsp;semantische Pullbacks, alternative R\u00fcckw\u00e4rtsdurchl\u00e4ufe, die&nbsp;Interpretierbarkeit von&nbsp;Sprachmodellen oder&nbsp;pullback-basiertes Training und&nbsp;Anpassung interessieren, w\u00fcrden wir uns \u00fcber einen&nbsp;Austausch mit&nbsp;Ihnen freuen!<\/p>\n\n\n\n<p><strong>Anmerkung<\/strong>: Die&nbsp;in diesem Artikel beschriebene Forschungsarbeit wurde bei&nbsp;der&nbsp;314 Foundation in Zusammenarbeit mit&nbsp;der&nbsp;American University und&nbsp;der&nbsp;AGH&#8209;Universit\u00e4t Krakau durchgef\u00fchrt. Cogita ver\u00f6ffentlicht diesen Artikel als freundlicher Gastgeber und&nbsp;Partner innerhalb der&nbsp;breiteren KI&#8209;Community. Der&nbsp;Vorabdruck des&nbsp;Artikels ist hier zu finden: <a href=\"https:\/\/arxiv.org\/abs\/2507.22832\" rel=\"nofollow noopener\" target=\"_blank\">https:\/\/arxiv.org\/abs\/2507.22832<\/a> mit&nbsp;der&nbsp;interaktiven Demo hier: <a href=\"https:\/\/huggingface.co\/spaces\/msat\/SemanticPullbacks\" rel=\"nofollow noopener\" target=\"_blank\">https:\/\/huggingface.co\/spaces\/msat\/SemanticPullbacks<\/a>.<\/p>\n\n\n\n<p><\/p>","protected":false},"excerpt":{"rendered":"<p>Intro<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[48],"tags":[],"class_list":["post-2415","post","type-post","status-publish","format-standard","hentry","category-research"],"acf":[],"_links":{"self":[{"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/posts\/2415","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/comments?post=2415"}],"version-history":[{"count":18,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/posts\/2415\/revisions"}],"predecessor-version":[{"id":2438,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/posts\/2415\/revisions\/2438"}],"wp:attachment":[{"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/media?parent=2415"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/categories?post=2415"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cogita.ai\/de\/wp-json\/wp\/v2\/tags?post=2415"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}