Se vuoi usare una libreria per icon fonts solo per poche icone puoi fare Font Subsetting.
Se vuoi usare immagini vanno bene sia SVG che WEBP/JPG o altre via picture o tramite dynamic serving. Se non sono visibili subito mettendoli in lazy loading avrai impatto zero.
Le soluzioni sono varie e con tutte puoi ottenere impatti minimi sulle performance se implementi nel modo giusto.
Io personalmente dovessi scegliere andrei su 3 immagini di qualsiasi formato perché tra lazy e h2 l'impatto è sostanzialmente zero. Poi se ti serve roba vettoriale vai con SVG (che puoi metterlo inline o come caricamento esterno).