L'équation $P(X^2)=P(X)P(X+1)$

Ce qu'on a le droit d'utiliser. Le degré et le coefficient dominant d'un produit et d'une composée, la finitude de l'ensemble des racines d'un polynôme non nul, le théorème de d'Alembert-Gauss (tout polynôme non constant de $\mathbb{C}[X]$ est scindé) et l'unicité de la décomposition en facteurs irréductibles dans $\mathbb{C}[X]$. La stratégie : l'ensemble des racines est fini et stable par deux transformations, $a\mapsto a^2$ et $a\mapsto (a-1{)}^2$ ; un ensemble fini stable par élévation au carré ne peut contenir que des nombres de module $0$ ou $1$.

1) Constantes, et coefficient dominant. Si $P=c$ est constant, l'équation s'écrit $c=c^2$, soit $c\in \{0,1\}$ : les solutions constantes sont $0$ et $1$. Soit maintenant $P\ne 0$ une solution, de degré $n$ et de coefficient dominant $\lambda \ne 0$. Le polynôme $P(X^2)$ est de degré $2n$ et de coefficient dominant $\lambda$ ; le produit $P(X)P(X+1)$ est de degré $n+n=2n$ et de coefficient dominant $\lambda \cdot \lambda ={\lambda }^2$ (le coefficient dominant de $P(X+1)$ est encore $\lambda$). L'égalité impose $\lambda ={\lambda }^2$, donc $\lambda =1$ : toute solution non nulle est unitaire.

2) Deux transformations qui conservent les racines. Soit $a$ une racine de $P$. Évaluons l'identité en $a$ : $P(a^2)=P(a)P(a+1)=0\cdot P(a+1)=0$, donc $a^2$ est racine. Évaluons-la en $a-1$ : $P((a-1{)}^2)=P(a-1)P(a)=P(a-1)\cdot 0=0$, donc $(a-1{)}^2$ est racine.

3) Les racines sont $0$ ou $1$. Soit $\mathcal{R}$ l'ensemble des racines de $P$ : il est fini (car $P\ne 0$) et non vide (car $P$ est non constant, donc scindé sur $\mathbb{C}$ par d'Alembert-Gauss), et par le 2) il est stable par $a\mapsto a^2$.

Le module vaut $0$ ou $1$. Supposons qu'il existe une racine de module $>1$, et choisissons $a\in \mathcal{R}$ de module maximal. Alors $a^2\in \mathcal{R}$ et $|a^2|=|a{|}^2>|a|$, ce qui contredit la maximalité. Donc toutes les racines ont un module $\le 1$. Supposons qu'il existe une racine de module dans $]0,1[$, et choisissons $a\in \mathcal{R}$ de module minimal parmi les modules non nuls. Alors $a^2\in \mathcal{R}$, $a^2\ne 0$, et $|a^2|=|a{|}^2<|a|$ : contradiction. Donc $|a|\in \{0,1\}$ pour toute racine $a$.

De même pour $|a-1|$. Si $a$ est racine, $(a-1{)}^2$ est racine par le 2), donc $|(a-1{)}^2|=|a-1{|}^2\in \{0,1\}$, soit $|a-1|\in \{0,1\}$.

Conclusion. Si $|a|=0$, alors $a=0$. Si $|a-1|=0$, alors $a=1$. Sinon $|a|=|a-1|=1$ : $a$ est sur le cercle unité et sur le cercle de centre $1$ et de rayon $1$ ; ces deux cercles se coupent en deux points, $a=\frac{1}{2}\pm i\frac{\sqrt{3}}{2}=e^{\pm i\pi /3}$ (partie réelle $\frac{1}{2}$ par symétrie, module $1$). Mais alors $a^2=e^{\pm 2i\pi /3}=-\frac{1}{2}\pm i\frac{\sqrt{3}}{2}$ est aussi une racine, et $|a^2-1|=\left|-\frac{3}{2}\pm i\frac{\sqrt{3}}{2}\right|=\sqrt{\frac{9}{4}+\frac{3}{4}}=\sqrt{3}\notin \{0,1\}$ : contradiction avec ce qu'on vient d'établir pour la racine $a^2$. Donc $a\in \{0,1\}$.

4) La forme des solutions. Par d'Alembert-Gauss, $P$ non constant unitaire est scindé, et ses seules racines sont $0$ et $1$ : $P=X^m(X-1{)}^k$ avec $m,k\in \mathbb{N}$, $m+k\ge 1$. Reportons dans l'équation : $$P(X^2)=X^{2m}(X^2-1{)}^k=X^{2m}(X-1{)}^k(X+1{)}^k,P(X)P(X+1)=X^m(X-1{)}^k\cdot (X+1{)}^m{X}^k=X^{m+k}(X-1{)}^k(X+1{)}^m.$$ Par unicité de la décomposition en irréductibles de $\mathbb{C}[X]$, les multiplicités des facteurs $X$, $X-1$, $X+1$ coïncident : $2m=m+k$ et $k=m$, soit $m=k$. Réciproquement, pour $P=(X^2-X{)}^n=X^n(X-1{)}^n$, on a $P(X^2)=X^{2n}(X-1{)}^n(X+1{)}^n$ et $P(X)P(X+1)=X^{2n}(X-1{)}^n(X+1{)}^n$ : égalité. Les solutions sont $P=0$ et les $P=(X^2-X{)}^n$, $n\in \mathbb{N}$ (le cas $n=0$ redonnant la constante $1$).

Le point délicat. Le choix d'une racine de module extrémal — maximal, puis minimal non nul — est ce qui transforme « l'ensemble des racines est fini et stable par $a\mapsto a^2$ » en une contrainte sur les modules. Et le cas $|a|=|a-1|=1$ ne se règle pas seul : il faut réappliquer le résultat à la racine $a^2$, dont la distance à $1$ vaut $\sqrt{3}$.

Ce que l'exercice installe. Pour une équation fonctionnelle polynomiale, on ne cherche pas $P$ : on regarde ce que l'équation fait aux racines, on exploite la finitude par un argument d'extremum, puis l'unicité de la décomposition en irréductibles termine. C'est le raisonnement de toutes les équations du type $P(X^2)=P(X)P(X+c)$ ou $P(X)P(X+1)=P(X^2+X+1)$, et il repose sur $\mathbb{C}$ : c'est là que « scindé » est gratuit.