Eine CSS-Variable über JS zu setzen, funktioniert so:
JavaScript
menuitem.style.setProperty('--menuitem-icon', 'url(chrome://browser/skin/downloads/downloads.svg)');
Das kann natürlich nur funktionieren, wenn das Script für den neu hinzugefügten Menüpunkt genau die Erwartungen erfüllt, die Firefox voraussetzt, damit das Icon dann verwendet wird. Das konnte ich noch nicht im Detail prüfen. Es kann wie gesagt sein, dass noch mehr anzupassen ist, damit das auf diesem Weg klappt.
Nachtrag: Fehlendes url() ergänzt.