Correctif. Lorsqu'un élément comme « dit-il » se trouve en fin de phrase, on ne peut plus parler d'incise, me semble-t-il.
Il n'en reste pas moins qu'il doit être encadré par de la ponctuation.
On a le choix, je crois, entre :
« Il fait beau, me suis-je dit, je vais aller me baigner ».
et :
« Il fait beau, je vais aller me baigner », me suis-je dit.

Excusez-moi : j'ai répondu à ces deux points, je crois.
Parfois, aucune virgule n'est requise après un guillemet fermé, comme on le voit dans :
« N'importe » demande une apostrophe.
Ou dans :
Il cria « Salut à tous » à son arrivée.

bonjour, peut-être que j'ai mal exprimé ma demande, qui est surtout de savoir s'il faut mettre une virgule après le guillemet fermé du genre " Il fait beau " disait-il ou " il fait beau ", disait-il. Faut-il aussi dans ce cas mettre une majuscule " C'est une belle maison " Me disais-je ou me disais-je.

Bonjour à tous.

Votre exemple comporte une incise que j'éprouve le besoin d'encadrer par deux signes de ponctuation, indépendamment du guillemet fermé :
« Il fait beau », dit-il.
Évidemment, le point d'exclamation immédiatement avant le guillemet fermé peut faire paraître lourd l'ensemble. Je m'en passe. À noter, il demande un espace le précédant :
« Il fait beau ! », dit-il.

Je ne comprends pas pourquoi vous en imaginez une maintenant pour l'incise. J'en mettrais une au début :
« C'est une belle chanson », me disais-je.

Espace avant le point d'interrogation comme avant le point d'exclamation :
Faut-il une majuscule ?

Si un élément entre parenthèses comporte une ponctuation de fin de phrase, comme un point d'interrogation, il me paraît préférable de le faire commencer par une majuscule :
(Faut-il une majuscule ?)

j'ai fait un test sur le site Scribens, ne pas mettre une majuscule après le guillemet fermé est considéré comme une erreur, sauf s'il y a une virgule.
Je voulais mettre une image de la capture écran en cliquant sur "img", mais ça ne fonctionne pas.