Vous faites bien de parler des langues romanes et non du seul français ; hormis le roumain, aucune n’a conservé de déclinaison si ce n’est à l’état résiduel dans certaines catégories de mots que l’on a évoquées.
Il y a à cette disparition des facteurs internes, surtout d’ordre phonétique, mais surtout externes, d’ordre morphosyntaxiques qui nous obligent à remonter au latin vulgaire (à ne pas confondre avec le latin de basse époque).
Le latin classique avait déjà réduit le nombre des cas hérités de l’indo-européen par un phénomène appelé syncrétisme ; par la suite, des unifications morphologiques de tous ordres ont encore jeté de la confusion dans le système des paradigmes.
A. Ernout, (Morphologie historique du latin, éd. Klincksieck, § 6, p. 9-10) résume bien la situation de certains cas : « Le génitif et l’accusatif n’ont pas de valeur définie et précise, et ont des emplois incohérents, parfois contradictoires. Aussi dans le cours de l’évolution du latin se manifeste de plus en plus nette la tendance à préciser la valeur des cas à l’aide de prépositions ; dès lors, les cas deviennent de moins en moins importants et nécessaires. »
V. Väänänen (Introduction au latin vulgaire, éd. Klincksieck, p. 118 sqq.) rappelle que l’usage des cas se simplifie à l’extrême en latin vulgaire : l’accusatif tend à devenir le cas régime de verbes construits avec l’ablatif ou génitif dans la langue classique ; du fait que l’ablatif était susceptible d’exprimer des valeurs circonstancielles très diverses, les tournures prépositionnelles se multiplient pour des raisons de clarté, ruinant à terme l’usage de ce cas, car c'est l’accusatif qui devient le régime de la plupart des prépositions. Même sort pour le datif, remplacé par une tournure prépositionnelle derrière des verbes comme dire, ordonner (dicere ad aliquem au lieu de dicere alicui). Le génitif a mieux résisté (comme de nos jours en roumain), mais on trouve chez Salluste des tournures analytiques qui préfigurent les usages modernes : e nulla conscientia de culpa « sans aucune conscience de la faute » : une inscription impériale porte quant à elle venditio de villa, « vente d’une villa ». Seul le génitif de possession résiste encore.
Mais l’évolution phonétique de la plupart des langues romanes va aussi jouer un rôle important. Le –m de l’accusatif était déjà débile dès la haute époque, et en bas-latin, le –s final n’est guère vaillant ; dans une langue comme l’italien, qui ne conserve aucune consonne finale, la confusion entre porto < portum et uomo < de homo est inévitable ; quant aux finales vocaliques, elles subissent des modifications qui ruinent les oppositions qui pourraient subsister : ainsi, la confusion du u bref et du o long , celle du i bref et du e long rend semblables une bonne partie des terminaisons de la déclinaison du singulier de dominus ; c’en est également fini de l’opposition e(m)/i/e de la déclinaison consonantique. Cette décadence de la déclinaison, qui ne fait que s’accentuer avec le temps, bien qu’un peu moins à l’Est de la Romania, fait qu’au moment de la formation des langues romanes, l’accusatif s’achemine vers la fonction de cas régime universel. On sait que c’est de lui que dérivent la plupart des formes romanes modernes.
Le cas du français (langues d’oïl, mais aussi langues d’oc) est particulier : jusqu’au XIVème siècle environ, une déclinaison à deux cas a existé dans les textes que nous avons conservés. Le cas régime dérivait de l'accusatif, le cas sujet du nominatif, comme on peut le voir à la désinence –s au singulier pour les noms hérités de la seconde déclinaison en –us, et à sa forme spécifique quand il provenait de certains noms de la 3ème (sire/seigneur, etc…). Je n’insiste pas.
Pourquoi cette déclinaison n’a-t-elle pas subsisté ? Pour plusieurs raisons :
- Une chute menaçait le –s final introduit et maintenu sans doute de manière artificielle par les clercs (n’oublions pas que nous n’avons de témoignage que de la langue écrite, et qui plus est littéraire et versifiée au début) ; il est à signaler que le –s du pluriel ne se prononce plus depuis le XVème siècles hormis « liaisons »).
- Les féminins issus de la 1ère déclinaison (féminins en –a > -e) n’avaient pas de marques distinctes pour les deux cas au singulier, et le pluriel a été très tôt unifié.
- Il ne restait que les anciens imparisyllabiques, en plus petit nombre. Les autres noms ont un temps reçu un –s aberrant morphologiquement (li peres, alors que pater n’a jamais comporté de –s), mais qui ne s’est pas maintenu, ou avec une certaine "anarchie".
- La différence entre cas sujet et cas régime au pluriel jouait pour les noms et adjectifs issus des deux premières déclinaisons, mais pas pour ceux de la 3ème déclinaison dont les deux terminaisons étaient homophones en latin (li rois/les rois < reges).
On avait donc un système plus ou moins « bancal », maintenu inégalement suivant les aires (assez bien chez les Picards, mal chez les Anglo-Normands) ; comme pour le pluriel oral aujourd’hui, c’était finalement au déterminant qu’était dévolue la distinction des cas depuis le quasi-amuïssement du –s final. Ce rôle à persisté pour le nombre et le genre, mais s’est avéré non viable pour les cas.
Du point de vue de l’usage des cas, il faut remarquer l’extrême déséquilibre entre le cas sujet, utilisé pour les seules fonctions de sujet et d’attribut, et le cas régime, pour tout le reste, y compris l’apostrophe à partir du XIIème ; même pour exprimer le « sujet adjoint » (Il prit ses affaires, et son voisin (aussi)), on utilisait souvent le cas régime.
Enfin, si l’ordre des mots a pu subir un temps l’influence germanique (postpositions) ou a pu être rendu divers par les exigences de la métrique ou de l’expressivité, on note toutefois une tendance à privilégier l’ordre sujet-verbe complément dès les origines. A. Dauzat (Les étapes de la langue française, éd. PUF p. 65) évalue la proportion de ce type de phrase à deux tiers pour la CdR, à trois quarts chez Joinville.
Autant de raison qui peuvent expliquer la disparition du cas sujet, et avec elle celle de la déclinaison tout entière, hormis quelques exceptions.
On peut donc dire en gros que de l’indo-européen aux langues romanes modernes, on est passé d’un état synthétique (flexion à morphèmes désinentiels) à un état plus ou moins analytique (tendance isolante et usage de prépositions). Mais on ne saurait généraliser cette évolution à toutes les langues : les langues slaves, à l’exception notable du bulgare, disposent à la fois d’un système de déclinaisons à six ou sept cas vivants et productifs puisqu'il s'avère capable d’intégrer la plupart des mots nouveaux (même les acronymes), et d’un répertoire de prépositions aussi riche que ceux des langues romanes.
Il n'y a guère de règle générale en linguistique.