La trace est la seule forme linéaire qui ignore l'ordre des facteurs

La stratégie. Une forme linéaire est déterminée par ses valeurs sur une base. La base des matrices élémentaires $(E_{i,j})$ est la bonne, parce que leurs produits sont d'une simplicité totale : $E_{a,b}{E}_{c,d}={\delta }_{b,c}{E}_{a,d}$. L'hypothèse est une contrainte ; on la fait travailler sur des couples bien choisis.

1) Les coefficients hors diagonale sont nuls. Soient $i\ne j$, $A=E_{i,j}$ et $B=E_{j,j}$. Alors $AB=E_{i,j}{E}_{j,j}=E_{i,j}$, et $BA=E_{j,j}{E}_{i,j}={\delta }_{j,i}{E}_{j,j}=0$ puisque $i\ne j$. L'hypothèse donne $\phi (E_{i,j})=\phi (0)=0$.

Le point délicat. C'est ici, et seulement ici, que sert $i\ne j$ : pour $i=j$, on aurait $E_{j,j}{E}_{j,j}=E_{j,j}$ des deux côtés, et l'égalité $\phi (AB)=\phi (BA)$ serait une tautologie. La contrainte ne mord que sur les indices distincts — et c'est exactement ce qu'il faut.

2) Les coefficients diagonaux sont tous égaux. Soient $A=E_{i,1}$ et $B=E_{1,i}$. Alors $AB=E_{i,1}{E}_{1,i}=E_{i,i}$ et $BA=E_{1,i}{E}_{i,1}=E_{1,1}$, d'où $\phi (E_{i,i})=\phi (E_{1,1})$ pour tout $i$. Notons $\lambda$ cette valeur commune.

3) Conclusion par linéarité. Toute $M=(m_{i,j})$ s'écrit $M={\sum }_{i,j}{m}_{i,j}{E}_{i,j}$, donc $$\phi (M)=\sum _{i\ne j}{m}_{i,j}\phi (E_{i,j})+\sum _i{m}_{i,i}\phi (E_{i,i})=0+\lambda \sum _i{m}_{i,i}=\lambda \mathrm{tr}(M).$$ Donc $\phi =\lambda \mathrm{tr}$, avec $\lambda =\phi (E_{1,1})$. La réciproque est immédiate : $\lambda \mathrm{tr}$ est linéaire et vérifie $\mathrm{tr}(AB)=\mathrm{tr}(BA)$. Les formes linéaires insensibles à l'ordre des facteurs forment exactement la droite $\mathbb{K}\mathrm{tr}$.

Contrôle en dimension $2$. $\phi (E_{1,2})=\phi (E_{2,1})=0$, $\phi (E_{1,1})=\phi (E_{2,2})=\lambda$, donc $\phi \left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=\lambda (a+d)$. Sur $A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)$ et $B=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$ : $AB=\left(\begin{array}{cc}2& 1\\ 4& 3\end{array}\right)$ et $BA=\left(\begin{array}{cc}3& 4\\ 1& 2\end{array}\right)$, deux matrices différentes de même trace $5$.

Ce que l'exercice installe. La trace n'est pas une formule parmi d'autres : c'est, à un facteur près, la seule forme linéaire qui ne voie pas l'ordre des facteurs. Tout le reste en découle — l'invariance par similitude, l'impossibilité de $AB-BA=I_n$, et $\mathrm{tr}(p)=\mathrm{rg}(p)$ pour un projecteur. Et la méthode — tester sur la base $(E_{i,j})$ dont les produits sont connus — est celle de la première question du problème.