La matrice ${}^{t}AA$

Taille et symétrie. ${}^{t}A$ est de taille $(p,n)$ et $A$ de taille $(n,p)$ : le produit ${}^{t}AA$ est donc défini et de taille $(p,p)$. Il est symétrique car, en utilisant ${}^t(MN)={}^{t}N{}^{t}M$ et ${}^t({}^{t}A)=A$ : $${}^t\left({}^{t}AA\right)={}^{t}A{}^t\left({}^{t}A\right)={}^{t}AA.$$ La matrice est égale à sa transposée : elle est symétrique.

Le coefficient diagonal. Écrivons $A=(a_{ij})$. Par définition du produit, et puisque $({}^{t}A{)}_{ji}=a_{ij}$, $${\left({}^{t}AA\right)}_{jj}=\sum _{i=1}^n({}^{t}A{)}_{ji}{a}_{ij}=\sum _{i=1}^n{a}_{ij}^2.$$ C'est la somme des carrés des coefficients de la $j$-ième colonne de $A$.

Conclusion. Si ${}^{t}AA=0$, tous ses coefficients sont nuls, en particulier les diagonaux : pour chaque $j$, ${\sum }_i{a}_{ij}^2=0$. Une somme de carrés de réels est nulle uniquement si chaque terme l'est — c'est ici le point délicat, et il n'est vrai que sur $\mathbb{R}$. Donc $a_{ij}=0$ pour tous $i$ et $j$, c'est-à-dire $A=0$.

Avec $A^2$, c'est faux. Prenons $A=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$. Son carré est la matrice nulle — chaque terme du produit contient un facteur nul — alors que $A\ne 0$. Le carré d'une matrice non nulle peut donc être nul : la transposition n'est pas un détail de l'énoncé, c'est elle qui transforme le produit en somme de carrés.