Deine beiden Wege haben nicht geklappt. Es lag sicher an mir als an deiner Beschreibung.
Ich lasse es jetzt einfach mal so und muss mich an das Icon gewöhnen.

In der Variablen %systemroot% steht normalerweise C:\Windows
Ich verwende gerne Systemvariablen, weil die auf jedem Rechner funktionieren, weil die zur Laufzeit aufgelöst werden.
Besonders bei den Userverzeichnissen oder %appdata% sind die ja grundsätzlich unterschiedlich.
Kannst ja mal %systemroot% kopieren und in die Adresszeile vom Explorer einfügen.
Wo landest Du dann?

Ah danke für die klaren Erläuterungen.
Eine Frage zu der dll Variante.
Dein Beispielpfad bezieht sich auf eine dll Datei im Laufwerk C? Warum muss dann der Laufwerkbuchstabe nicht mit C:\\ auch angegeben werden? Oder zieht man die Dll Datei auch auf den USB Stick?

Die Datei autorun.inf kannst Du selbst anlegen.
In einem beliebigen Editor schreibst Du folgendes
[quote]
[AutoRun]
icon=xxxxx.ico
[/quote]
Ein passendes Icon findest Du beisielsweise hier.
https://www.flaticon.com/de/kostenlose-icons/usb-stick
Da kannst Du ein Icon herunterladen und unter einem beliebigen Namen abspeichern, mit Endung .ico
xxxxx ersetzt Du mit dem korrekten Namen.
Die Datei autorun.inf und die Icon-Datei kopierst Du direkt auf den Stick, nicht in einen Ordner.
Das ist root auf dem Stick.

Tipp, wenn der Editor unbedingt als .txt speichern will, kannst Du das auch später in .ico umbenennen.

Eine andere Variante ist, aus einer dll Icons zu benutzen, dann musst Du statt der .ico die dll mit kompletten Pfad angeben, zusätzlich noch die Nummer des Icons.
Etwa so:
icon=·%systemroot%\system32\shell32.dll, 13
Welches das Icon 13 ist, keine Ahnung, ist nur als Beispiel gedacht.

Danke für deine Antwort. Leider habe ich von deinem Lösungsweg nur wenig verstanden.
Wie kann ich den Root Ordner auf dem Usb Stick anzeigen lassen? Von einer Autorun.inf dort drauf ist mir nichts bekannt.
Wie erhalte ich die Desktop.ini? Weder im Windowx Explorer unter Downloads noch auf auf dem Stick (da gibts kein Downloads Ordner) sehe ich diese.
Was mache ich mit der Nummer von Icon (was ich ersetzen will? Oder welches ich dafür nehmen will?) der dll Datei? Und was ist Custom?

USB-Stick:
Existiert da ein eigenes icon.ico dazu, mit einer autorun.inf - beide in der Root

Die Datei desktop.ini im Ordner Downloads (als Beispiel)
Schau dir dazu mal die Einträge darin an (der blaue Pfeil als Beispiel)
dll und die Nummer für das Icon dahinter

Das könnte man dann evtl. custom anlegen und für den USB-Stick + Router ändern
Registry Eintrage dazu ausfindig machen

Ich habe einen USB-Stick am Router im Windows Explorer als benutzerdefinierte Netzwerkadresse über Dieser PC zugefügt. Das funktioniert auch problemlos.

Mir gefällt das Icon (Order im Hintergrund, etwas Grünes im Vordergrund) im Explorer für die Nettwerkadresse (USB-Stick + Router) absolut nicht.
Es gibt unter Rechtsklick keine Eigenschaften bzw. Anpassen Option.

Wie kann ich das Icon durch ein eigene .Ico Datei ersetzen?