Die Ausgabe August 2022 von IEEE Spectrum ist da!IEEE-Websites platzieren Cookies auf Ihrem Gerät, um Ihnen die beste Benutzererfahrung zu bieten.Durch die Nutzung unserer Websites stimmen Sie der Platzierung dieser Cookies zu.Um mehr zu erfahren, lesen Sie unsere Datenschutzrichtlinie.Mit Millionen auf dem Spiel hält Deep Learning Einzug in die KunstweltDie Analyse von Leonardo da Vincis Salvator Mundi erforderte die Aufteilung eines hochauflösenden Bildes des vollständigen Gemäldes in eine Reihe überlappender quadratischer Kacheln.Aber nur die Kacheln, die ausreichende visuelle Informationen enthielten, wie die hier skizzierten, wurden in den neuronalen Netzwerkklassifikator des Autors eingegeben.Der Lärm muss ohrenbetäubend gewesen sein – all die Champagnerkorken, die am 15. November 2017 im britischen Auktionshaus Christie’s knallten. Ein Porträt von Jesus, bekannt als Salvator Mundi (lateinisch für „Retter der Welt“), war gerade bei Christie’s in New verkauft worden York für 450,3 Millionen US-Dollar und ist damit das mit Abstand teuerste Gemälde, das jemals den Besitzer wechselte.Aber selbst als der Hammer fiel, äußerte ein hartnäckiger Chor von Zweiflern Skepsis.Wurde es wirklich von Leonardo da Vinci, dem überragenden Meister der Renaissance, gemalt, wie ein Expertengremium sechs Jahre zuvor festgestellt hatte?Etwas mehr als 50 Jahre zuvor hatte ein Mann aus Louisiana das Gemälde in London für nur 45 Pfund gekauft.Und vor der Wiederentdeckung von Salvator Mundi war seit 1909 kein Leonardo-Gemälde mehr entdeckt worden.Einige der zweifelnden Experten stellten die Provenienz des Werks in Frage – die historischen Aufzeichnungen über Verkäufe und Übertragungen – und stellten fest, dass das stark beschädigte Gemälde einer umfassenden Restaurierung unterzogen worden war.Andere sahen eher die Hand eines von Leonardos vielen Schützlingen als das Werk des Meisters selbst.Ist es möglich, die Echtheit eines Kunstwerks trotz widersprüchlicher Expertenmeinungen und unvollständiger Beweise festzustellen?Wissenschaftliche Messungen können das Alter eines Gemäldes feststellen und Details unter der Oberfläche enthüllen, aber sie können seinen Schöpfer nicht direkt identifizieren.Das erfordert subtile Urteile über Stil und Technik, die, so scheint es, nur Kunstexperten leisten können.Tatsächlich eignet sich diese Aufgabe gut für die Computeranalyse, insbesondere durch neuronale Netze – Computeralgorithmen, die sich hervorragend für die Untersuchung von Mustern eignen.Convolutional Neural Networks (CNNs), die zur Analyse von Bildern entwickelt wurden, wurden in einer Vielzahl von Anwendungen erfolgreich eingesetzt, einschließlich der Erkennung von Gesichtern und der Unterstützung beim Steuern selbstfahrender Autos.Warum sie nicht auch zur Authentifizierung von Kunst verwenden?Der Autor wendete sein neuronales Netzwerk auf dieses Gemälde von Rembrandt [oben], eines, das ihm früher zugeschrieben wurde [Mitte], und Leonardos Salvator Mundi [unten] an.Heiße Farben zeigen Bereiche, die der Klassifikator mit hoher Wahrscheinlichkeit als vom Künstler gemalt bestimmt hat, der mit dem Werk in Verbindung steht. WAHRSCHEINLICHKEITSKARTEN: STEVEN UND ANDREA FRANKDas habe ich meine Frau Andrea M. Frank, eine professionelle Kuratorin für Kunstbilder, 2018 gefragt. Obwohl ich den größten Teil meiner Karriere als Anwalt für geistiges Eigentum verbracht habe, hatte meine Sucht nach Online-Bildung kürzlich in einem Abschlusszeugnis ihren Höhepunkt erreicht in künstlicher Intelligenz von der Columbia University.Andrea dachte an den Ruhestand.Gemeinsam nahmen wir diese neue Herausforderung an.Wir begannen mit der Überprüfung der Hindernisse bei der Analyse von Gemälden mit neuronalen Netzen und erkannten sofort die größten.Der erste ist die schiere Größe: Ein hochauflösendes Bild eines Gemäldes ist viel zu groß für ein herkömmliches CNN.Aber kleineren Bildern mit geeigneter Größe für CNNs fehlen möglicherweise die Informationen, um die erforderlichen Unterscheidungen zu unterstützen.Das andere Hindernis sind Zahlen.Neuronale Netze benötigen Tausende von Trainingsbeispielen, weit mehr als die Anzahl von Gemälden, die selbst der produktivste Künstler in seinem Leben produzieren könnte.Es ist nicht verwunderlich, dass Computer wenig dazu beigetragen haben, Streitigkeiten über die Echtheit von Gemälden zu lösen.Das Größenproblem ist nicht nur Kunstbildern vorbehalten.Digitalisierte Biopsie-Objektträger, die Pathologen untersuchen, um Krebs und andere Erkrankungen zu diagnostizieren, enthalten ebenfalls eine große Anzahl von Pixeln.Medizinische Forscher haben diese Bilder für CNNs handhabbar gemacht, indem sie sie in viel kleinere Fragmente zerlegt haben – zum Beispiel in quadratische Kacheln.Das kann auch beim Zahlenproblem helfen: Aus einem einzigen Bild lassen sich sehr viele Trainingskacheln erzeugen, vor allem wenn man sie vertikal und horizontal überlappen lässt.Viele der Informationen in jeder Kachel sind dann natürlich redundant, aber es stellt sich heraus, dass dies weniger wichtig ist, als viele Kacheln zu haben.Beim Training eines neuronalen Netzes ist Quantität oft Qualität.Wenn dieser Ansatz für die Kunst funktionieren könnte, dachten wir, würde das nächste Problem darin bestehen, zu bestimmen, welche Kacheln verwendet werden sollen.Salvator Mundi hat Regionen, die reich an Bildinformationen sind, und auch Hintergrundbereiche, die von geringem visuellen Interesse sind.Für Schulungszwecke scheinen diese wenig informationsreichen Regionen kaum relevant zu sein – oder schlimmer noch: Wenn ihnen die charakteristischen Merkmale des Autors fehlen, weil Leonardo wenig Zeit mit ihnen verbracht hat, oder wenn viele Künstler dazu neigen, einfache Hintergrundregionen ununterscheidbar wiederzugeben, wird darauf basierend trainiert Regionen könnten CNN in die Irre führen.Ihre Fähigkeit, sinnvolle Unterscheidungen zu treffen, würde dann leiden.Wir brauchten eine Art Kriterium, das uns dabei hilft, visuell auffällige Kacheln zu identifizieren, die ein Computer automatisch und konsistent anwenden kann.Ich dachte, die Informationstheorie könnte eine Lösung bieten oder zumindest den Weg weisen.Andreas Augen wurden glasig, als ich die Mathematik ansprach.Aber Claude Shannon, der Pionier auf diesem Gebiet, war ein Einrad fahrender Hersteller von flammenwerfenden Trompeten und raketenbetriebenen Frisbees.Wie schlimm könnte es sein?Ein Bollwerk der Informationstheorie ist der Begriff der Entropie.Wenn die meisten Menschen an Entropie denken, stellen sie sich, wenn sie überhaupt daran denken, Dinge vor, die in Unordnung zerfallen.Shannon dachte jedoch daran, wie effizient man Informationen über ein Kabel senden kann.Je mehr Redundanz eine Nachricht enthält, desto einfacher ist sie zu komprimieren und desto weniger Bandbreite benötigen Sie, um sie zu senden.Nachrichten, die stark komprimiert werden können, haben eine niedrige Entropie.Nachrichten mit hoher Entropie hingegen können nicht so stark komprimiert werden, weil sie mehr Einzigartigkeit, mehr Unvorhersehbarkeit und mehr Unordnung besitzen.Claude Shannon, der Pionier der Informationstheorie, war ein Einrad fahrender Hersteller von flammenwerfenden Trompeten und raketenbetriebenen Frisbees.Bilder tragen ebenso wie Nachrichten Informationen, und ihre Entropien zeigen in ähnlicher Weise ihren Komplexitätsgrad an.Ein vollständig weißes (oder vollständig schwarzes) Bild hat keine Entropie – es ist völlig überflüssig, eine große Anzahl von Einsen oder Nullen aufzuzeichnen, wenn Sie genauso gut einfach sagen könnten, „ganz schwarz“ oder „ganz weiß“.Ein Schachbrett wirkt zwar optisch unruhiger als ein einzelner Diagonalbalken, ist aber nicht wirklich viel komplexer im Sinne der Vorhersagbarkeit, hat also nur wenig mehr Entropie.Ein Stillleben hat jedoch weitaus mehr Entropie als beide.Aber es wäre ein Fehler, Entropie als Hinweis auf die Menge an Informationen in einem Bild zu verstehen – selbst sehr kleine Bilder können hohe Entropie haben.Vielmehr spiegelt die Entropie die Vielfalt der Bildinformationen wider.Als die Hälfte des Teams, die nicht gegen Mathematik allergisch ist, kam mir der Gedanke, dass wir Kacheln mit niedrigen Entropien ausschließen könnten, um den Hintergrund und andere visuell monotone Bereiche zu eliminieren.Wir begannen unser Abenteuer mit Porträts des holländischen Meisters Rembrandt (Rembrandt Harmenszoon van Rijn), dessen Werk Gegenstand jahrhundertelanger Zuschreibungskontroversen war.Ein CNN zu trainieren, um echte Rembrandts zu identifizieren, würde eindeutig einen Datensatz erfordern, der einige Gemälde von Rembrandt und einige von anderen enthält.Aber die Zusammenstellung dieses Datensatzes war ein Rätsel.Wenn wir 50 Rembrandt-Porträts und 50 zufällig ausgewählte Porträts anderer Künstler auswählen würden, könnten wir ein System trainieren, um Rembrandt beispielsweise von Pablo Picasso zu unterscheiden, aber nicht von Rembrandts Schülern und Bewunderern (geschweige denn Fälschern).Aber wenn alle Nicht-Rembrandt-Bilder in unserem Trainingsset zu sehr wie Rembrandts aussehen würden, würde CNN überpassen.Das heißt, es würde sich nicht weit über sein Training hinaus verallgemeinern.Also machte sich Andrea an die Arbeit, einen Datensatz mit Nicht-Rembrandt-Einträgen zusammenzustellen, die von einigen reichten, die Rembrandts Werk sehr nahe kamen, bis hin zu solchen, die an Rembrandt erinnerten, aber leicht von der Realität zu unterscheiden waren.Wir hatten dann einige zusätzliche Entscheidungen zu treffen.Wenn wir Rembrandt-Gemälde in Kacheln aufteilen und nur diejenigen mit ausreichend hohen Entropie behalten würden, was sollte unser Entropie-Cutoff sein?Ich vermutete, dass eine Kachel mindestens so viel Entropie haben sollte wie das gesamte Bild, um zuverlässig zur Klassifizierung beizutragen.Diese Vermutung, die sich in der Praxis als richtig erwiesen hat, knüpft die Entropieschwelle an den Charakter des Gemäldes, der natürlich von Werk zu Werk unterschiedlich sein wird.Und es ist eine hohe Messlatte – normalerweise qualifizieren sich weniger als 15 Prozent der Kacheln.Wenn dies jedoch zu wenige ergibt, können wir die Überlappung zwischen benachbarten Kacheln erhöhen, um eine ausreichende Kachelpopulation für Trainingszwecke zu erreichen.Regionen mit geringer Wahrscheinlichkeit signalisieren nicht definitiv die Arbeit einer anderen Hand.Sie könnten aus einem mutigen, untypischen Experiment des Künstlers resultieren – oder auch nur aus einem schlechten Tag.Die Ergebnisse dieser entropiebasierten Auswahl ergeben intuitiv Sinn – tatsächlich sind die Kacheln, die die Musterung bestehen, diejenigen, die Sie wahrscheinlich selbst auswählen würden.Typischerweise erfassen sie Merkmale, auf die sich Experten bei der Beurteilung der Urheberschaft eines Gemäldes verlassen.Im Fall von Salvator Mundi bedecken die ausgewählten Fliesen das Gesicht, die seitlichen Locken und die segnende Hand Jesu – dieselben Attribute, die von Gelehrten, die über die Urheberschaft des Gemäldes debattieren, am heftigsten bestritten werden.Die nächste Überlegung war die Kachelgröße.Gängige CNNs, die auf Standardhardware laufen, können problemlos Bildabmessungen von 100 × 100 Pixel bis 600 × 600 Pixel verarbeiten.Wir erkannten, dass die Verwendung kleiner Kacheln die Analyse auf feine Details beschränken würde, während die Verwendung größerer Kacheln das Risiko einer Überanpassung des CNN an die Trainingsdaten bergen würde.Aber nur durch Training und Tests konnten wir die optimale Kachelgröße für einen bestimmten Künstler bestimmen.Für Rembrandt-Porträts funktionierte unser System am besten mit Kacheln von 450 × 450 Pixeln – etwa der Größe des Gesichts des Motivs –, wobei alle Gemäldebilder auf die gleiche Auflösung skaliert wurden.Wir haben auch festgestellt, dass einfache CNN-Designs besser funktionieren als komplexere (und häufigere) Designs.Also entschieden wir uns für ein CNN mit nur fünf Schichten.Andreas gut ausgewählter Datensatz bestand aus 76 Bildern von Rembrandt- und Nicht-Rembrandt-Gemälden, die wir auf vier verschiedene Arten in separate Sätze von 51 Trainings- und 25 Testbildern gemischt haben.Dadurch konnten wir unsere Ergebnisse „kreuzvalidieren“, um die Konsistenz im gesamten Datensatz sicherzustellen.Unser fünfschichtiges CNN lernte, Rembrandt mit einer Genauigkeit von über 90 Prozent von seinen Schülern, Nachahmern und anderen Porträtmalern zu unterscheiden.Durch diesen Erfolg ermutigt, tauften wir unseren tapferen kleinen CNN skurril „The A-Eye“ und setzten ihn für Landschaften ein, die von einem anderen holländischen Genie, Vincent van Gogh, gemalt wurden.Wir haben uns für van Gogh entschieden, weil sich seine Arbeit so sehr von der Rembrandts unterscheidet – eher emotional als studiert, seine Striche gewagt und ausdrucksstark.Diesmal bestand unser Datensatz aus 152 Gemälden von Van Gogh und Nicht-Van Gogh, die wir auf vier verschiedene Arten in Sätze von 100 Trainings- und 52 Testbildern unterteilten.Das A-Eye hat sich bei van Goghs Arbeit gut geschlagen und auf unseren Testsets wieder eine hohe Genauigkeit erreicht, aber nur mit viel kleineren Kacheln.Die besten Ergebnisse erzielten nur 100 x 100 Pixel, etwa die Größe eines Pinselstrichs.Es scheint, dass der „Signatur“-Maßstab der Arbeit eines Künstlers – die unverwechselbare Merkmalsgröße, die eine genaue CNN-basierte Klassifizierung erleichtert – für diesen Künstler spezifisch ist, zumindest innerhalb eines Genres wie Porträts oder Landschaften.Die Erkenntnisse aus der Analyse von Kunstwerken gelten auch für den medizinischen BereichPink zeigt auf diesem Mikroskop-Objektträger an, was das neurale Netzwerk als wahrscheinlich erkranktes Gewebe identifiziert hat.STEVEN FRANKDie Herausforderungen bei der Verwendung von Convolutional Neural Networks (CNNs) zur Analyse von Kunstwerken beeinträchtigen auch die Bemühungen zur Automatisierung der Analyse medizinischer Bilder – insbesondere der riesigen Whole-Slide-Bilder (WSIs) von Histologieproben, die Pathologen auf Anzeichen von Krebs und anderen Krankheiten analysieren.Diese Bilder, die eine Größe von Milliarden von Pixeln haben können, werden üblicherweise auf leistungsstarken Workstations betrachtet, die direkt mit dem Diascanner integriert werden können.Aktuelle Bemühungen, künstliche Intelligenz zum Tragen zu bringen, beginnen ebenfalls mit Bildern in voller Größe und erfordern noch spezialisiertere Hardware, wie z. B. eine leistungsstarke Grafikverarbeitungseinheit, um die Analyse durchzuführen.Diese Bemühungen können auch unter dem „Black Box“-Problem leiden: Wenn der Computer den Biopsie-Objektträger lediglich klassifiziert, kann der Pathologe sicher sein, dass er an den richtigen Stellen gesucht hat?Im Vergleich zu einem riesigen WSI sind selbst die größten für die CNN-Analyse geeigneten Kacheln winzig.Wie kann der Pathologe sicher sein, dass er die für eine Diagnose entscheidende Anatomie erfasst?Tumorzellen können sich geschickt tarnen, und Hinweise auf das Fortschreiten der Krankheit können außerhalb von ihnen in Form von Veränderungen in der Zusammensetzung des umgebenden Gewebes oder ungewöhnlichen Mustern benachbarter Immunzellen lauern.Vorhersagefunktionen sind nicht immer vorhersagbar.Wie genau ein CNN die wichtigsten Details findet – was es „sieht“, wenn es eine Vorhersage macht – lässt sich nicht ohne Weiteres feststellen.Das geschäftliche Ende eines CNN (eigentlich sein Mittelteil) ist eine Folge von Faltungsschichten, die ein Bild nach und nach in Details zerlegen, die irgendwie, unergründlich, eine Klassifizierung ergeben.Die Black-Box-Natur unseres Tools ist eine bekannte Herausforderung bei künstlichen neuronalen Netzen, insbesondere bei solchen, die Bilder analysieren.Was wir wissen, ist, dass das CNN, wenn es richtig auf Kacheln der richtigen Größe trainiert wird, zuverlässig die Wahrscheinlichkeit schätzt, dass der Leinwandbereich, der jeder Kachel entspricht, vom betreffenden Künstler gemalt wurde.Und wir können das Gemälde als Ganzes klassifizieren, basierend auf den Wahrscheinlichkeiten, die für die verschiedenen einzelnen Kacheln bestimmt wurden, die es überspannen – am einfachsten, indem wir ihren Gesamtdurchschnitt ermitteln.Um Vorhersagen in einem Bild genauer zu betrachten, können wir die mit einer Kachel verknüpfte Wahrscheinlichkeit jedem der darin enthaltenen Pixel zuweisen.Normalerweise wird ein Pixel von mehr als einer Kachel abgefangen, sodass wir die relevanten Wahrscheinlichkeiten auf Kachelebene mitteln können, um den Wert für dieses Pixel zu bestimmen.Das Ergebnis ist eine Wahrscheinlichkeitskarte, die Regionen zeigt, die mehr oder weniger wahrscheinlich von dem betreffenden Künstler gemalt wurden.Die Verteilung der Wahrscheinlichkeiten auf einer Leinwand kann aufschlussreich sein, insbesondere für Künstler, von denen bekannt ist (oder vermutet wird), dass sie mit Assistenten gearbeitet haben, oder für diejenigen, deren Gemälde beschädigt und später restauriert wurden.Rembrandts Porträt seiner Frau Saskia van Uylenburgh zum Beispiel weist in unserer Wahrscheinlichkeitskarte Zweifel auf, insbesondere im Gesicht und im Hintergrund.Dies entspricht der Ansicht von Rembrandt-Forschern, dass diese Regionen später von jemand anderem als Rembrandt übermalt wurden.So suggestiv solche Befunde auch sind, Regionen mit geringer Wahrscheinlichkeit signalisieren nicht definitiv das Werk einer anderen Hand.Sie könnten aus einem mutigen, untypischen Experiment des Künstlers resultieren – oder auch nur aus einem schlechten Tag.Oder vielleicht entstehen einige dieser Regionen aus einfachen Klassifizierungsfehlern.Schließlich ist kein System perfekt.Wir haben unser System auf die Probe gestellt, indem wir 10 Werke von Rembrandt und van Gogh ausgewertet haben, die in Expertenkreisen Gegenstand hitziger Zuschreibungsdebatten waren.In allen bis auf einen Fall stimmten unsere Klassifikationen mit dem aktuellen wissenschaftlichen Konsens überein.So ermutigt, fühlten wir uns bereit für die viel größere Herausforderung, den Salvator Mundi zu bewerten – ich sage größer, weil die Zahl der Gemälde, die Leonardo eindeutig zugeschrieben werden, so gering ist (weniger als 20).Letztendlich konnten wir plausible Klassifizierungen auf Kachelebene erhalten und eine aussagekräftige Wahrscheinlichkeitskarte erstellen.Unsere Ergebnisse lassen Zweifel an Leonardos Urheberschaft des Hintergrunds und der Segenshand von Salvator Mundi aufkommen.Dies entspricht der umfangreichen Restaurierung des Gemäldes, bei der der Hintergrund komplett neu gestrichen wurde.Und wie bereits erwähnt, streiten sich Experten darüber, wer die segnende Hand gemalt hat.Der Käufer, der 2017 450 Millionen US-Dollar für Salvator Mundi bezahlte, war anonym, und der aktuelle Aufenthaltsort des Gemäldes ist unbekannt.Einige Berichte besagen jedoch, dass es jetzt auf der Superyacht Serene des saudischen Kronprinzen Mohammed bin Salman lebt. MANDEL NGAN/AFP GETTY IMAGESNachdem wir unserem Ansatz ein gewisses Maß an Glaubwürdigkeit verliehen haben, pflegen wir einen extravaganten Ehrgeiz.Dies betrifft den einzigen Fall, in dem unser System vom heutigen Zuschreibungskonsens abweicht, ein Gemälde namens Der Mann mit dem goldenen Helm.Lange Zeit als besonders auffälliger Rembrandt beliebt, wurde es 1985 von seinem Besitzer, dem Staatlichen Museum in Berlin, der Zuschreibung enthoben.Heute gilt es als Werk eines unbekannten Malers aus dem „Kreis von Rembrandt“, doch sein Glanz ist in der Öffentlichkeit stark verblasst, wenn nicht sogar auf dem spektakulären Helm des düsteren Soldaten.Aber unser neuronales Netzwerk klassifiziert das Gemälde eindeutig als Rembrandt (vielleicht mit einem kleinen Bereich der Nachbearbeitung oder Unterstützung).Darüber hinaus warnen unsere Gesamtergebnisse davor, Rembrandt-Zuschreibungen auf feine Oberflächenmerkmale zu stützen, da die Einschränkung unserer CNN-Analyse auf solche Merkmale seine Vorhersagen nicht besser als eine Vermutung macht.Wir hoffen, dass eines Tages die Herabstufung des alten Kriegers überdacht wird.Die Bildentropie ist ein vielseitiger Helfer.Es kann die Teile eines komplexen Bildes identifizieren, die am besten für das Ganze stehen, und macht selbst die größten Bilder – einschließlich medizinischer Bilder [siehe „Von der Malerei zur Pathologie“ oben] – für eine Computeranalyse und -klassifizierung zugänglich.Mit vereinfachtem Training und reduziertem Bedarf an großen Datensätzen können kleine CNNs jetzt über ihr Gewicht hinaus schlagen.Dieser Artikel erscheint in der Printausgabe vom September 2021 als „State of the Art“.Im Jahr 2011 schrieb Marc Andreessen berühmt, dass Software die Welt frisst.Heutzutage wird der Globus von einer bestimmten Art von Software verschlungen: Deep Learning, das es Maschinen ermöglicht, Aufgaben zu bewältigen, die vor kurzem für einen Computer undenkbar schienen, darunter Autofahren und medizinische Diagnosen.Bereiten Sie sich darauf vor, dieser Liste eine weitere überraschende Leistung hinzuzufügen – die Identifizierung gefälschter Gemälde.Dass ein Computer Experten dabei helfen kann, Kunstwerke zu authentifizieren, ist das Ergebnis der Bemühungen eines Ehepaars, Steven und Andrea Frank, die ein konvolutionelles neuronales Netzwerk entwickelt haben, das die Wahrscheinlichkeit einschätzen kann, dass ein Gemälde oder sogar Teile eines Gemäldes entstanden sind gemalt vom vermeintlichen Schöpfer.Sie haben dieses neuronale Netzwerk kürzlich angewendet, um die Echtheit von Leonardo da Vincis Salvator Mundi zu bewerten, das 2017 bei Christie's für 450 Millionen US-Dollar versteigert wurde und damit das teuerste Gemälde ist, das jemals verkauft wurde.Dass Steven die Herausforderung angenommen hat, ein neuronales Netzwerk zu schaffen, das Kunstwerke authentifizieren kann, ist besonders überraschend, wenn man bedenkt, dass er kein Informatiker ist – er ist Anwalt.Aber im Jahr 2012, nachdem er EdXs Einführung in die Elektronik abgeschlossen hatte, stellte er fest, dass er nicht aufhören konnte, solche Online-Kurse zu belegen.„Es wurde zu einer Art Sucht“, sagt Steven, der später durch E-Learning einen Abschluss in künstlicher Intelligenz von der Columbia University erwarb.Ausgestattet mit einem guten Verständnis neuronaler Netze versuchte Steven, ein IEEE-Mitglied, dieses Wissen auf ein reales Problem anzuwenden.Andrea, eine Kunsthistorikerin, die den größten Teil ihrer Karriere damit verbracht hat, Kunstbilder zu kuratieren, dachte über den Ruhestand nach und hatte etwas Zeit zur Verfügung.Also wateten sie hinein. Es ist schwer, sich ein besseres Team vorzustellen, um diese besondere Herausforderung anzugehen.Steven J. Frank ist Partner der Anwaltskanzlei Morgan Lewis in Boston, wo er sich auf geistiges Eigentum und kommerzielles Technologierecht spezialisiert hat.Die Hubschrauber in Ingenuity-Größe könnten dabei helfen, bis Mitte der 2030er Jahre Proben zur Erde zu bringenDie NASA hat eine konzeptionelle Missionsarchitektur für das Mars Sample Return (MSR)-Programm angekündigt, und es ist eine angenehme Überraschung.Das Ziel des vorgeschlagenen Programms ist es, die Gesteinsproben, die der Perseverance-Rover derzeit auf der Marsoberfläche sammelt, zur Erde zurückzubringen, was, wie Sie sich vorstellen können, kein einfacher Prozess ist.Es wird beinhalten, einen Sample-Return-Lander (SRL) zum Mars zu schicken, diese Proben zurück zum Lander zu bringen, eine Rakete vom Lander zurück in die Marsumlaufbahn zu starten und diese Rakete schließlich mit einem Orbiter einzufangen, der die Proben zurückkarrt zur Erde.Wie zu erwarten war, war die ursprüngliche Idee, einen speziellen Rover zu schicken, um die Probenröhrchen von dort zu holen, wo Perseverance sie zwischengespeichert hatte, und sie mit der Rakete zum Lander zurückzubringen, denn wie willst du sie sonst holen, richtig?Aber die NASA hat entschieden, dass Plan A darin besteht, dass Perseverance die Proben zum SRL selbst bringt.Plan B, falls Perseverance es nicht schafft, ist, die Proben stattdessen mit zwei Helikoptern zu sammeln.Der Ansatz der NASA hier wird von zwei Dingen angetrieben: Erstens ist Curiosity seit 10 Jahren auf dem Mars und macht sich immer noch großartig.Perseverance ist im Wesentlichen eine verbesserte Version von Curiosity, die der NASA das Vertrauen gibt, dass der neuere Rover bis zur Landung des SRL immer noch glücklich unterwegs sein wird.Und zweitens macht sich der Ingenuity-Hubschrauber auch immer noch großartig, was (um ehrlich zu sein) eine Überraschung ist, wenn man bedenkt, dass es sich um eine Tech-Demo handelt, die nie für die Art von Leistung entwickelt wurde, die wir gesehen haben.Die NASA scheint jetzt zu glauben, dass Hubschrauber ein brauchbares Werkzeug für Operationen auf der Marsoberfläche sind und daher als Option für Marsoperationen in Betracht gezogen werden sollten.Im Rahmen des neuen Missionskonzepts zur Probenrückgabe wird Perseverance weiterhin Proben sammeln, während es das Flussdelta im Jezero-Krater erkundet.Es sammelt Duplikate jeder Probe, und sobald es 10 Proben (im Wert von 20 Röhrchen) hat, werden die Duplikate irgendwo auf der Oberfläche als eine Art Backup-Plan zwischengespeichert.Von dort aus wird Percy weiter erforschen und Proben sammeln (aber keine Duplikate), während es aus dem Jezero-Krater klettert, wo es Mitte 2030 auf den Probenrückkehr-Lander treffen wird.Die NASA sagt, dass das SRL mit punktgenauer Landefähigkeit ausgestattet sein wird, die in der Lage sein wird, innerhalb von 50 Metern von der von der NASA gewünschten Stelle zu landen, was bedeutet, dass ein Rendezvous mit Perseverance ein Kinderspiel sein sollte – oder genauso ein Kinderspiel wie eine Landung auf dem Mars kann jemals sein.Nachdem Perseverance zum SRL hochgefahren ist, wird ein großer Arm des SRL die Probenröhrchen aus Perseverance herausziehen und in eine Rakete laden, und dann fliegen sie in den Orbit und schließlich zurück zur Erde, wahrscheinlich bis 2033.Das oben beschriebene Szenario ist, wie alles funktionieren soll, aber es hängt ganz davon ab, ob Perseverance tut, was es tun soll.Wenn der Rover immobilisiert ist, kann das SRL immer noch in der Nähe landen, aber diese Probenröhrchen müssen irgendwie zum SRL zurückkehren, und die NASA hat entschieden, dass der Backup-Plan Hubschrauber sein werden.Die beiden Hubschrauber der „Ingenuity-Klasse“, die die SRL zum Mars liefern wird, werden im Wesentlichen die gleiche Größe wie Ingenuity haben, wenn auch etwas schwerer.Es gibt zwei große Unterschiede: Erstens bekommt jeder Hubschrauber einen kleinen Arm, um Probenröhrchen (die jeweils zwischen 100 und 150 Gramm wiegen) von der Marsoberfläche zu greifen.Und zweitens bekommen die Helikopter kleine Räder am Ende jedes ihrer Beine.Es hört sich so an, als würden diese Räder angetrieben, und obwohl sie nicht viel Mobilität bieten, wird es vermutlich ausreichen, damit der Hubschrauber, wenn er in der Nähe einer Probe landet, eine kurze Strecke zurücklegen kann, um hineinzukommen Distanz greifen.So sagt Richard Cook, der Manager des Mars-Probenrückgabeprogramms beim JPL, dass die Hubschrauber funktionieren würden:Dies setzt voraus, dass Perseverance nicht explodiert oder einen Hügel hinuntergerollt ist oder so, und dass es in der Lage wäre, seine Probenröhrchen auf den Boden zu werfen, damit die Hubschrauber sie aufnehmen können.Im schlimmsten Fall, wenn Percy es vollständig beißt, könnte das SRL in der Nähe des Sicherungsproben-Cache im Jezero-Krater landen und die Hubschrauber könnten stattdessen diese schnappen.Seltsamerweise besteht die Hauptaufgabe der Helikopter darin, Perseverance zu unterstützen, was bedeutet, dass die Helikopter nicht viel zu tun haben, wenn der Rover gesund und in der Lage ist, die Proben selbst an das SRL zu liefern.Die NASA sagt, sie könnten „den Bereich um die Landefähre beobachten“, was wenig berauschend erscheint, oder Fotos vom Start des Mars Ascent Vehicle machen, was großartig erscheint, aber es nicht wirklich wert ist, zwei Hubschrauber zum Mars zu schicken.Ich gehe davon aus, dass dies ein wenig mehr untersucht wird, da es ansonsten wie eine potenziell verschwendete Gelegenheit erscheint.Wir hoffen, dass diese Ankündigung keine Auswirkungen auf das Konzept des JPL für einen viel größeren, viel leistungsfähigeren Mars-Wissenschaftshubschrauber haben wird, aber diese Probenrückführungsmission (eher als eine neue Wissenschaftsmission) hat derzeit eindeutig Priorität.Die optimistischste Sichtweise ist, dass diese Sample-Return-Mission-Architektur ein starkes Vertrauensbekenntnis der NASA in Hubschrauber auf dem Mars im Allgemeinen ist, was eine Flaggschiff-Hubschraubermission umso wahrscheinlicher macht.Aber wir drücken die Daumen.Eine clevere Kombination aus KI, Netzwerktricks und benutzerdefinierter Hardware schneidet Hintergrundgeräusche ausEdd Gent ist ein freiberuflicher Wissenschafts- und Technologieautor mit Sitz in Bangalore, Indien.Seine Veröffentlichungen konzentrieren sich auf neue Technologien in den Bereichen Computer, Ingenieurwesen, Energie und Biowissenschaften.Er ist auf Twitter unter @EddytheGent und per E-Mail unter edd dot gent at outlook dot com.Sein PGP-Fingerabdruck ist ABB8 6BB3 3E69 C4A7 EC91 611B 5C12 193D 5DFC C01B.Sein öffentlicher Schlüssel ist hier.DM für Signalinfo.Forscher der University of Washington entwickelten ClearBuds, Ohrstöpsel, die die Stimme des Sprechers verstärken und Hintergrundgeräusche reduzieren.Die ClearBuds-App und die Ohrhörer verwenden ein neuartiges Mikrofonsystem und bilden eines der ersten Systeme für maschinelles Lernen, das in Echtzeit arbeitet und auf einem Smartphone läuft.Nichts verdirbt ein Zoom-Meeting so sehr wie dieses eine Teammitglied, das darauf besteht, sich von einem lauten Café aus einzuwählen.Neue KI-betriebene drahtlose Kopfhörer namens ClearBuds versprechen eine Lösung, indem sie Hintergrundgeräusche ausblenden und sicherstellen, dass ihre Mikrofone nur die Stimme des Anrufers aufnehmen.Die Sprachverbesserungstechnologie wird bereits in einer Vielzahl von Produkten eingesetzt, darunter Hörgeräte, Telefonkonferenzdienste wie Zoom und Google Meet und drahtlose Kopfhörer wie die AirPods Pro von Apple.Das Ziel besteht darin, eingehendes Audio von unerwünschten Geräuschen oder Verzerrungen zu befreien und die Klarheit der Stimme des Sprechers zu verbessern, entweder mithilfe traditioneller Signalverarbeitungsalgorithmen oder neuerer maschineller Lernansätze.Sie arbeiten, indem sie räumliche Hinweise ausnutzen, die helfen, Audioquellen oder akustische Informationen zu trennen, die zwischen verschiedenen Arten von Geräuschen wie Sprache oder Verkehrsgeräuschen unterscheiden können.Aber beides gleichzeitig und mit einem Rechenbudget, das klein genug ist, um auf Geräten der Verbraucherklasse ausgeführt zu werden, ist eine große Herausforderung, und die meisten realen Systeme lassen noch viel zu wünschen übrig.Mit einer cleveren Kombination aus maßgeschneiderten drahtlosen In-Ear-Kopfhörern, einem maßgeschneiderten Bluetooth-Protokoll und einem leichten Deep-Learning-Modell, das auf einem Smartphone ausgeführt werden kann, hat ein Team der University of Washington ein System namens ClearBuds gebaut, das fast vollständig ausfällt Hintergrundgeräusche.„Für uns wurden ClearBuds aus der Not heraus geboren“, sagt Ishan Chatterjee, Doktorand und einer der Co-Lead-Autoren eines auf der ACM International Conference on Mobile Systems, Applications, and Services vorgestellten Artikels, in dem die Technologie beschrieben wird.Er ist nicht nur Klassenkamerad, sondern auch Mitbewohner der beiden anderen Colead-Autoren, der Doktoranden Maruchi Kim und Vivek Jayaram.„Als die Sperrung durch die Pandemie begann, nahmen wir, wie viele andere auch, viele Anrufe in unserem Haus auf engstem Raum entgegen, und es gab viele Geräusche im Haus, Küchengeräusche, Baugeräusche, Gespräche“, sagt Chatterjee.Also beschlossen sie, ihre Erfahrungen in Hardware, Netzwerken und maschinellem Lernen zu bündeln, um das Problem zu lösen.Laut Jayaram ist eine der größten Herausforderungen für die Sprachverbesserung die Trennung mehrerer Stimmen.Während neuere maschinelle Lernansätze gut darin geworden sind, verschiedene Arten von Geräuschen zu unterscheiden und Hintergrundgeräusche auszublenden, haben sie immer noch Probleme, wenn zwei Personen gleichzeitig sprechen.Der beste Weg, dieses Problem zu lösen, besteht darin, mehrere Mikrofone mit geringem Abstand zu verwenden, sodass Sie die Quelle verschiedener Geräusche triangulieren können.Dadurch ist es möglich, zwischen zwei Lautsprechern zu unterscheiden, basierend darauf, wo sie sich befinden, und nicht, wie sie klingen.Damit dies jedoch effektiv ist, müssen die Mikrofone in einem angemessenen Abstand stehen.Die meisten kommerziellen Produkte haben Mikrofone in jedem Ohrhörer, die weit genug voneinander entfernt sein sollten, um eine anständige Triangulation zu erhalten.Aber das Streamen und Synchronisieren von Audio von beiden geht über die heutigen Bluetooth-Standards hinaus, sagt Kim.Aus diesem Grund verfügen die AirPods und High-End-Hörgeräte von Apple über mehrere Mikrofone in jedem Ohrhörer, sodass sie eine begrenzte Triangulation durchführen können, bevor sie von einem einzelnen Ohrhörer auf das verbundene Smartphone streamen.Um dies zu umgehen, entwickelten die Forscher ein benutzerdefiniertes drahtloses Protokoll, das einen der Ohrhörer dazu bringt, ein zeitsynchronisiertes Beacon zu senden.Der zweite Ohrhörer verwendet dann dieses Signal, um seine interne Uhr an die seines Partners anzupassen und sicherzustellen, dass die beiden Audioströme im Gleichschritt bleiben.Das Team implementierte dieses Protokoll auf maßgefertigten Ohrhörern, die aus handelsüblichen elektronischen Komponenten hergestellt wurden, und druckte die Gehäuse in 3D, aber die Synchronisierung der Streams von jedem Ohrhörer löste nur einen Teil des Problems.Die Forscher wollten die neuesten Deep-Learning-Techniken nutzen, um das Audio zu verarbeiten, aber sie mussten auch ihre Sprachverbesserungssoftware auf dem mit den Ohrhörern gekoppelten Smartphone ausführen.Diese Modelle haben ein erhebliches Rechenbudget und die meisten kommerziellen Produkte, die KI zur Sprachverbesserung verwenden, verlassen sich auf die Übertragung des Audios an leistungsstarke Cloud-Server.„Ein Mobiltelefon, selbst die neueren, benötigt nur einen Bruchteil der Rechenleistung der GPU-Karten, die normalerweise zum Ausführen von Deep Learning verwendet werden“, sagt Jayaram.Ihre Lösung bestand darin, ein bereits vorhandenes neuronales Netzwerk zu verwenden, das lernen kann, Zeitunterschiede in zwei eingehenden Signalen zu erkennen, wodurch es ihm ermöglicht wird, die Quelle zu triangulieren.Sie haben es dann auf das Wesentliche reduziert, indem sie die Anzahl der Parameter und Ebenen reduziert haben, bis es auf einem Smartphone laufen konnte.Das Zurückziehen des Netzwerks auf diese Weise führte zu einem merklichen Rückgang der Audioqualität, was zu Knistern, Rauschen und Pops führte, sodass die Forscher die Ausgabe in ein anderes Netzwerk einspeisten, das lernt, diese Art von Verzerrungen herauszufiltern.„Die Innovation bestand darin, zwei verschiedene Arten von neuronalen Netzwerken zu kombinieren, von denen jedes sehr leicht sein konnte, und zusammen konnten sie die Leistung dieser wirklich großen neuronalen Netzwerke erreichen, die auf einem iPhone nicht laufen konnten“, sagt Jayaram.Beim Vergleich mit Apple AirPods Pro erreichten die ClearBuds in allen Tests ein höheres Signal-zu-Verzerrungsverhältnis.Das Team hat außerdem 37 Freiwillige dazu gebracht, Audioclips aus lauten realen Umgebungen wie lauten Restaurants oder belebten Verkehrskreuzungen zu bewerten.Es wurde festgestellt, dass diejenigen, die über das neuronale Netzwerk von ClearBuds verarbeitet wurden, die beste Rauschunterdrückung und das beste allgemeine Hörerlebnis aufweisen.