\documentclass[XUPS,XML,SOM,Unicode,francais,NoFloatCountersInSection,ThmDefs]{cedram}
\OneNumberAllTheorems
\setcounter{tocdepth}{2}
%\XUPScorrections
\usepackage{../xups07}
\graphicspath{{xups07-03_figures}}


\hyphenation{pério-di-que pério-di-ques homéo-mor-phe homéo-mor-phes homéo-mor-phisme homéo-mor-phismes liné-aire liné-aires élé-men-taire déter-mi-nant loca-le-ment}

\makeindex

\begin{document}

\title{Sur les valeurs aux entiers des\nobreakspace formes\nobreakspace quadratiques réelles}
\frontmatter

\author[\initial{G.} \lastname{Courtois}]{\firstname{Gilles} \lastname{Courtois}}

\address{Centre de mathématiques Laurent Schwartz,
UMR 7640 CNRS,
École polytechnique,
91128 Palaiseau Cedex,
France}
\email{courtois@math.polytechnique.fr}

\thanks{Journées X-UPS 2007. Systèmes dynamiques, groupes de matrices et applications arithmétiques. Éditions de l'École polytechnique, 2007}

\maketitle
\vspace*{-\baselineskip}
\tableofcontents

\mainmatter
\section{Le théorème de Margulis} \label{introduction}

Le but de ce texte est de présenter la démonstration du théorème suivant, dû à G\ptbl Margulis.

Rappelons (voir l'introduction) qu'une forme quadratique $q$ sur $\RR^n$ est non dégénérée si le seul élément $x$ dans $\RR^n$ tel que, pour tout $y$ dans $\RR^n$, on ait $q(x+\nobreak y)=q(x)+q(y)$ est l'élément nul $0$; qu'elle est indéfinie si elle n'est ni à valeurs toutes positives, ni à valeurs toutes négatives; et qu'elle est irrationnelle si elle n'est pas multiple réel d'une forme quadratique à coefficients entiers.

On dit qu'une forme quadratique $q$ sur $\RR^n$ \emph{ne représente pas~$0$}\index{forme quadratique!représentant zéro}\index{représenter zéro} si $q(v)\neq 0$ pour tout $v\in \ZZ^n \moins\{0\}$.

\begin{theo}[Margulis]\label{theo2}\index{theo@théorème!de Margulis} Soit $q$ une forme quadratique non dégénérée, indéfinie et irrationnelle sur $\RR^3$. On suppose que $q$ ne représente pas~$0$. Alors $q(\ZZ^3)$ est dense dans $\RR$.
\end{theo}

Dans \cite{Dal} (proposition 2.8), nous avons vu que si $q$ est une forme quadratique sur $\RR^3$ telle que $0$ est valeur d'adhérence de $q(\ZZ^3)\moins\left\{ 0\right\}$, alors l'ensemble $q(\ZZ^3) \moins\left\{ 0\right\}$ est dense dans $\RR$, de sorte que le théorème précédent est une conséquence du résultat suivant.

\begin{theo}[Margulis]\label{theo1GC} Soit $q$ une forme quadratique non dégénérée, indéfinie et irrationnelle sur $\RR^3$. On suppose que $q$ ne représente pas~$0$. Alors~$0$ est valeur d'adhérence de $q(\ZZ^3) \moins\left\{ 0\right\}$.
\end{theo}

Dans les théorèmes \ref{theo1GC} et \ref{theo2}, nous avons supposé que $q$ ne représente pas~$0$, mais cette hypothèse n'est pas nécessaire. Elle rend la démonstration un peu plus courte bien que celle-ci contienne toutes les idées de la preuve complète. Cette hypothèse n'est d'ailleurs pas très restrictive et il est facile de construire des formes quadratiques la satisfaisant.

\smallskip
Nous suivrons l'article de S\ptbl Dani et G\ptbl Margulis \cite{DM,Dan} dans lequel les auteurs donnent une version simplifiée de l'argument original de G\ptbl Margulis. L'idée principale dans la démonstration du théorème \ref{theo1GC} est la suivante.

Notons $q_0$ la forme quadratique
$$
q_0(v)=2v_1 v_3 - v_2^2,
$$
et
$$
H=\left\{ g\in\SL{3}\RR\sep q_0 \circ g=q_0 \right\}.
$$
le groupe spécial orthogonal de $q_0$. étant donné une action d'un groupe $G$ sur un ensemble $E$ et $G'$ un sous-groupe de $G$, nous appellerons \emph{$G'$-orbite} l'orbite d'un point de $E$ pour l'action restreinte de~$G'$, pour bien préciser de quel sous-groupe nous considérons l'orbite.

L'idée principale annoncée ci-dessus consiste à relier le sous-ensemble
$$
q(\ZZ^3)
$$
de $\RR$, pour une forme quadratique $q=q_0 \circ g$ où $g \in \SL{3}\RR$, à la $H$-orbite
$$
Hg\SL{3}\ZZ
$$
de $g\SL{3}\ZZ$ dans l'espace $\SL{3}{\RR}/ \SL{3}{\ZZ}$. (Voir le paragraphe~2 de \cite{Pau} pour les notions et propriétés de la topologie quotient sur les quotients de groupes linéaires.)

Plus précisément, lorsque $q=q_0\circ g$ satisfait les hypothèses du théorème \ref{theo1GC}, nous commencerons par montrer que si $0$ n'est pas valeur d'adhérence de l'ensemble $q(\ZZ^3)\moins\left\{ 0\right\}$, alors la $H$-orbite $Hg\SL{3}{\ZZ}$ du point $g\SL{3}{\ZZ}$ est relativement compacte dans l'espace $\SL{3}{\RR}/\SL{3}{\ZZ}$. (Rappelons (voir \cite{Pau}) que l'espace $\SL{3}{\RR}/\SL{3}{\ZZ}$ n'est pas borné.) C'est là qu'est utilisée l'hypothèse supplémentaire que $q$ ne représente pas~$0$. Le point clé est alors le théorème suivant de Margulis.

\begin{theo}\label{theo3} Toute $H$-orbite relativement compacte dans le quotient $\SL{3}{\RR}/\SL{3}{\ZZ}$ est compacte.
\end{theo}

La proposition suivante permet ensuite de conclure.

\bprop\label{pro} Soit $q=q_0 \circ g$ une forme quadratique sur $\RR^3$. Si la $H$-orbite $Hg\SL{3}{\ZZ}$ est compacte dans l'espace $\SL{3}{\RR}/\SL{3}{\ZZ}$, alors $q$ est rationnelle.
\eprop

Les théorèmes \ref{theo1GC} et \ref{theo2} contrastent beaucoup avec le cas de la dimension~$2$ décrit dans \cite{Dal}. Rappelons en effet que si $q$ est la forme quadratique sur~$\RR^2$ définie par $q(X,Y)=(X + x Y)(X + y Y)$, où $x$ et $y$ sont deux irrationnels, alors $0$ est valeur d'adhérence de l'ensemble $q(\ZZ^2)\moins\left\{ 0\right\}$ si et seulement si~$x$ ou~$y$ sont des réels bien approchés, voir le théorème 2.3 de \cite{Dal}.

La différence entre les cas de la dimension $2$ et $3$ réside dans le fait que le théorème \ref{theo3} n'est pas vrai en dimension $2$. La raison pour laquelle le théorème \ref{theo3} n'est pas vrai en dimension $2$ vient de ce que $H'$, le groupe spécial orthogonal de $q'_0(X,Y)=XY$ (qui est la forme bilinéaire non dégénérée indéfinie standard en dimension $2$), est formé uniquement de matrices diagonales et ne possède pas d'élément unipotent (voir le paragraphe 5 de \cite{Pau}):
$$
H'=\left\{ \pm
\begin{pmatrix} e^t & 0 \\ 0 & e^{-t}
\end{pmatrix}\sep t\in \RR\right\}.
$$
De plus, en dimension $2$, les groupes diagonaux possèdent des orbites relativement compactes non compactes, voir la figure schématique ci-dessous. Nous avons d'ailleurs vu dans \cite{Dal} un exemple de telles orbites $H'g\SL{2}\ZZ$ (voir la proposition 4.14 de \cite{Dal}).

\begin{figure}[htb]
\begin{center}
\includegraphics{fig_doublespiral2}
\caption{\label{fig_doublespiral2}{Orbites diagonales relativement compactes non compactes}}
\end{center}
\end{figure}

L'étude des adhérences des orbites telles que $Hg\SL{3}\ZZ$ dans $\SL{3}\RR/\SL{3}\ZZ$ intéressait les mathématiciens indépendamment de la conjecture d'Oppenheim. S\ptbl Dani avait conjecturé que lorsque $H$ est un sous-groupe à un paramètre unipotent, alors l'adhérence de toute $H$-orbite $Hg\SL{3}\ZZ$ dans $\SL{3}\RR / \SL{3}\ZZ$ est homogène, c'est-à-dire est une orbite lisse et fermée $H'g\SL{3}\ZZ\subset \SL{3}\RR / \SL{3}\ZZ$ d'un sous-groupe $H'$ de $\SL{3}\RR$ contenant~$H$. C'est M\ptbl Ragunathan qui a fait le lien entre ces questions dynamiques et la conjecture d'Oppenheim. La conjecture de S\ptbl Dani et une conjecture plus générale de M\ptbl Ragunathan, ont été démontrées par M\ptbl Ratner (voir \cite{Rat1,Rat2,Ghy}) depuis lors.

\section{Orbites et flots dans $\SL{3}\RR/\SL{3}\ZZ$} \label{orbite-flot}

Le but de cette partie est de voir quelques exemples d'orbites de certains sous-groupes de $\SL{3}\RR$ dans $\SL{3}\RR/\SL{3}\ZZ$, qui joueront un rôle important dans la démonstration du théorème \ref{theo1GC}. En particulier, les propositions \ref{orbites-DUV} et \ref{orbites-DU} seront utilisées de façon cruciale. Nous introduirons également dans cette partie la notion d'ensemble compact minimal $G'$-invariant dans $\SL{3}\RR/\SL{3}\ZZ$ pour un sous-groupe~$G'$ de $\SL{3}\RR$, dans lequel toute $G'$-orbite est dense.

Rappelons quelques notations. Nous noterons $G=\SL{n}\RR$ et $\Ga=\SL{n}\ZZ$. Rappelons (voir le paragraphe 2 de \cite{Pau}) que $G/\Ga$ est identifié à l'espace des réseaux unitaires $\R_1 (\RR^n)$ de $\RR^n$, l'identification se faisant par l'homéomorphisme équivariant qui à $g \Gamma \in G/\Gamma$ associe le réseau $g \ZZ^n \in \R_1(\RR^n)$. L'action naturelle (à gauche) de $G$ sur $G/\Gamma$ définie par $g'(g\Gamma)=g'g \Gamma$ correspond donc par l'identification précédente sur l'espace des réseaux à l'action définie par $g' (g\ZZ^n)=g'g \ZZ^n$.

\begin{rema*}
Selon les circonstances, nous considérerons une orbite d'un sous-groupe $G'$ de $G$ comme le sous-ensemble $G'g\Gamma$ de $G/\Gamma$ ou bien comme le sous-ensemble $G'g \ZZ^n$ de l'espace des réseaux $\R_1(\RR^n)$ via l'homéomorphisme entre $G/\Gamma$ et $\R_1(\RR^n)$. Ce sont les propriétés topologiques des orbites de ces sous-groupes dans $G/\Gamma$ ou $\R_1(\RR^n)$ qui seront en fait importantes.
\end{rema*}

Les sous-groupes dont les orbites vont particulièrement nous intéresser sont les sous-groupes à un paramètre suivants (ou des sous-groupes construits à partir de ceux-ci):
\[
\bUU\index{U@$\bUU$}= \arraycolsep4pt\biggl\{ u(t)=
\begin{Smallpmatrix} 1 & t & \sfrac{t^2}{2} \\ 0 & 1 & t \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR\biggr\}\;\;\text{et}\;\;
\bVV\index{V@$\bVV$}= \arraycolsep4pt\biggl\{v(t)=\begin{Smallpmatrix} 1 & 0 & t \\ 0 & 1 & 0 \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR \biggr\}.
\]
Les sous-groupes à un paramètre $\bUU$ et $\bVV$ sont unipotents, voir les exemples suivant la proposition 5.2 de \cite{Pau}. Le sous-groupe à un paramètre diagonal
$$\arraycolsep4pt
\bDD\index{D@$\bDD$}=\biggl\{ d(t)=\begin{Smallpmatrix} e^t & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & e^{-t}
\end{Smallpmatrix}\sep t\in \RR\,\biggr\}
$$
aura également une grande importance.

\smallskip
Les groupes $\bUU$, $\bVV$ et $\bDD$ entretiennent des relations particulières que nous résumons dans la proposition suivante (voir le début de \cite{Pau} pour la définition du normalisateur d'un sous-groupe).

\bprop\label{rel-U-V-D}\mbox{}
\begin{enumeratei}
\item
Les groupes $\bUU$ et $\bVV$ commutent.

\item
Le groupe $\bDD$ normalise $\bUU$ et $\bVV$.

\item
Les sous-ensembles $\bDD\bUU$, $\bDD\bVV$, $\bDD\bUU\bVV$ et ${\bUU\bVV}$ sont des sous-groupes fermés de $G$.
\end{enumeratei}
\eprop

\begin{proof}\mbox{}
\begin{enumeratei}
\item
On vérifie que
\[
u(t)v(s)=v(s)u(t)=
\begin{pmatrix} 1 & t & s+\sfrac{t^2}{2} \\ 0 & 1 & t \\ 0 & 0 & 1
\end{pmatrix}.
\]

\item
On vérifie que $d(s) u(t) d(s)^{-1}=u(t e^{s})$ et que $d(s) v(t) d(s)^{-1}=v(t e^{2s})$.

\item
Le fait que $\bDD\bUU$, $\bDD\bVV$, $\bDD\bUU\bVV$ et ${\bUU\bVV}$ sont des sous-groupes découle de (i) et (ii). Montrons par exemple que $\bDD\bUU\bVV$ est un sous-groupe fermé, les autres cas se traitent de la même façon. Supposons qu'une suite
$$
d(\tau_n) u(s_n) v(t_n)=
\begin{pmatrix} e^{\tau_n} & s_n e^{\tau_n} & e^{\tau_n}(t_n +\sfrac{s_n^2}{2}) \\ 0 & 1 & s_n \\ 0 & 0 & e^{-\tau_n}
\end{pmatrix}\,
$$
de $\bDD\bUU\bVV$ converge vers $g$ dans $G$. On voit alors que les suites $\tau_n$, $s_n$ et $t_n$ doivent converger ce qui entraîne que $g \in \bDD\bUU\bVV$.\qedhere
\end{enumeratei}
\end{proof}

En fait, on peut être plus précis et montrer que le normalisateur $N_G(\bUU)$ de~$U$ dans $G$ est $\bDD\bUU\bVV$.

\smallskip
Pour $g\in G$ et $G'$ un sous-groupe de $G$, l'orbite $G' g \Gamma$ dans $G/\Gamma$ peut être, selon les choix de $g$ et $G'$, bornée, compacte, fermée, dense, ou, lorsque $G'$ est un sous-groupe à un paramètre, être \emph{divergente} (\ie sortir de tout compact de~$G/\Ga$). Voici quelques exemples d'orbites.

\subsubsection*{Orbites périodiques de $\bUU$}
Le groupe $\bUU$ possède des orbites périodiques (voir la définition suivant la proposition 2.2 de \cite{Pau}). Par exemple, la $\bUU$\nobreakdash-orbite de $e\Ga$ est périodique de période divisant~$2$ (et~même exactement~$2$) puisque $u(2) \in \Ga=\SL{3}{\ZZ}$ donc $u(2)e\Gamma=e\Gamma$ (et que $u(t)\notin \Ga$ si $t\in{}]0,2[$). De~même, pour tout $g\in G$ et $T\in [0,+\infty[$ tel que $g^{-1} u(T) g \in \Gamma$, la $\bUU$-orbite de~$g\Gamma$ est périodique de période divisant $T$. Par exemple, la $\bUU$-orbite de $d(s) \Gamma$ est une orbite périodique de période~$2 e^{s}$ puisque $d(s)^{-1} u(t) d(s)=u(t e^{-s})$, voir la figure \ref{fig_courtois1} ci-dessous. De même, $\bVV$ possède des orbites périodiques de période~$2e^{2s}$ pour tout $s\in\RR$. En particulier, $\bUU$ et $\bVV$ ont des orbites arbitrairement petites dans $G/\Gamma$.

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois1}%
\end{picture}%
\setlength{\unitlength}{3315sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(5066,3032)(1427,-3160)
\put(3401,-3091){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$0$}%
}}}}
\put(4686,-3086){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$s$}%
}}}}
\put(5986,-3061){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{paramètre $s$}%
}}}}
\put(3351,-781){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$u(0)\Ga=u(2)\Ga$}%
}}}}
\put(4696,-1081){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$d(s)\Ga=u(2e^{-s})d(s)\Ga$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois1}{Orbite périodique de $\bUU$ et images par $\bDD$}}
\end{center}
\end{figure}

\subsubsection*{Orbites non bornées de $\bVV$}
On se place dans l'espace des réseaux $\R(\RR^3)$. Le réseau $L$ engendré par $e_1=(0,0,1)$, $e_2=(-1, 0, \theta)$ et $e_3=(0,1,0)$, qui appartient à $\R_1(\RR^3)$, a pour $\bVV$-orbite dans $\R_1(\RR^3)$ l'ensemble des réseaux
$$
L(t)=\bigl\{ (t(m+n \theta) -n, k, m+n\theta)\sep (k,m,n)\in \ZZ^3 \bigr\}.
$$
Si $\theta$ est irrationnel, le théorème de Dirichlet (voir le théorème~1.1 de~\cite{Dal}) donne une infinité de $(m_i,n_i) \in \ZZ^2$ tels que $|m_i +n_i \theta| \leq \sfrac{1}{n_i}$. En choisissant $t_i=n_i(m_i + n_i \theta)^{-1}$, on voit que le réseau $L(t_i)=v(t_i) L$ contient les vecteurs $(0,0,m_i+n_i \theta)$ qui tendent vers $0$. Donc, par le critère de Mahler (voir les corollaires 1.10 et 4.3 de \cite{Pau}), l'orbite~$\bVV L$ n'est pas bornée. Cela revient à dire que l'orbite $\bVV g \Gamma$ n'est pas bornée dans $G/\Gamma$, où
\[\arraycolsep4pt
g=\begin{pmatrix} 0 & -1 & 0 \\ 0 & 0 & 1 \\ 1 & \theta & 0
\end{pmatrix}
\]
est la matrice de $G$ telle que $g\ZZ^3=L$.

\subsubsection*{Orbites périodiques et divergentes de $\bDD$}
Le sous-groupe diagonal $\bDD$ a également des orbites périodiques. Par exemple, la matrice
\[\arraycolsep4pt
\gamma=\begin{pmatrix} 2 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 1
\end{pmatrix}\in \SL{3}{\ZZ}
\]
a pour valeurs propres $1$, $\frac{3+\sqrt 5}{2}$ et $\frac{3-\sqrt 5}{2}$. Il existe donc $g\in G$ tel que $\gamma=g^{-1} d(T) g$, où $T=\log\frac{3+\sqrt 5}{2}$. Ainsi, $g \Gamma$ est $\bDD$-périodique de période divisant $T=\log\frac{3+\sqrt 5}{2}$. Le groupe $\bDD$ possède également des orbites divergentes. On se place dans l'espace des réseaux $\R_1 (\RR^3)$, où la $\bDD$-orbite $\bDD \ZZ^3=d(t) \ZZ^3$ tend vers l'infini d'après le critère de Mahler (voir les corollaires 1.10 et 4.3 de \cite{Pau}), puisque tout voisinage ouvert de $0$ dans $\RR^3$ contient $(0,0,e^{-t}) \in d(t) \ZZ^3$ pour~$t$ assez grand, voir la figure schématique \ref{fig_courtois2} ci-dessous.

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois2}%
\end{picture}%
\setlength{\unitlength}{3315sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(5032,2487)(1831,-6050)
\put(5554,-4502){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$d(s)\Ga$}%
}}}}
\put(4009,-4851){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$e\Ga$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois2}{Orbite périodique et divergente de $\bDD$}}
\end{center}
\end{figure}

\brema
Contrairement aux orbites de $\bDD$, aucune orbite de $\bUU$ et de $\bVV$ n'est divergente dans $G/\Gamma$. C'est une propriété profonde des sous-groupes à un paramètre unipotents. En fait, étant donné un point $x$ de $G/\Gamma$ et un sous-groupe à un paramètre unipotent $\{u(t)\sep t\in\RR\}$, il existe un compact $K\subset G/\Gamma$ tel que $u(t)$ passe une infinité de fois dans $K$ quand $|t|$ tend vers $+\infty$, c'est-à-dire tel que $\left\{t\in \RR \sep u(t)\in K \right\}$ soit non borné, voir la figure schématique ci-dessous (et le lemme 5.7 de \cite{Pau}).
\erema

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois3}%
\end{picture}%
\setlength{\unitlength}{3315sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(6142,2611)(531,-6140)
\put(4006,-6046){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$1$}%
}}}}
\put(6256,-6091){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$N$}%
}}}}
\put(4276,-6046){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$2$}%
}}}}
\put(5176,-6001){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{ }%
}}}}
\put(5041,-6046){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{. . .}%
}}}}
\put(2791,-3661){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$K$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois3}{Les orbites de $\bUU$ et de $\bVV$ sont récurrentes}}
\end{center}
\end{figure}

\subsection*{Orbites de $\bDD\bUU\bVV$, $\bDD\bUU\bVV^+$, $\bDD\bUU\bVV^-$}
Notons ${\bVV^{+}}=\left\{ v(t)\sep t\geq 0 \right\}$ et ${\bVV^{-}}=\left\{ v(t)\sep t\leq 0 \right\}$. L'ensemble $\bDD\bUU\bVV$ est un sous-groupe de $G$ (par la proposition \ref{rel-U-V-D}). En revanche, l'ensemble $\bDD\bUU\bVV^{\pm}$ n'est pas un groupe, mais on peut considérer quand même ses orbites, c'est-à-dire les ensembles $\bDD\bUU\bVV^{\pm} g \Gamma \subset G/\Gamma$.

\bprop\label{orbites-DUV} Aucune orbite de $\bDD\bUU\bVV^{\pm}$ et a fortiori de $\bDD\bUU\bVV$ n'est bornée.
\eprop

\begin{proof}
Il suffit de vérifier par exemple qu'aucune orbite de $\bDD\bUU\bVV^+$ n'est bornée. Plaçons-nous dans l'espace des réseaux $\R_1(\RR^3)$ et pour $g\in\nobreak G$, considérons l'orbite $\bDD\bUU\bVV^{+} g \ZZ^3$ du réseau $L=g\ZZ^3$. Choisissons dans le réseau~$L$ un vecteur $v=(v_1,v_2,v_3)$ tel que $v_3 >0$ et $v_2^2 -2v_1 v_3 >0$. Vérifions par ailleurs que pour tous les réels~$\tau$,~$s$,~$t$,
$$
d(\tau) u(s) v(t)=
\begin{pmatrix} e^{\tau} & se^{\tau} & e^{\tau}(t+\sfrac{s^2}{2}) \\ 0 & 1 & s \\ 0 & 0 & e^{-\tau}
\end{pmatrix}.
$$
Si $s=\sfrac{-v_2}{v_3}$ et $t=\sfrac{(v_2^2 -2 v_1 v_3)}{2v_3^2} >0$, on voit ainsi que
\[
d(\tau) u(s) v(t) (v_1,v_2,v_3)=(0,0,e^{-\tau} v_3)
\]
peut être choisi de norme arbitrairement petite quand $\tau$ tend vers $+\infty$. Ceci entraîne, grâce au critère de Mahler (voir les corollaires~1.10 et 4.3 de \cite{Pau}), que $\bDD\bUU\bVV^{+} g \ZZ^3$ n'est pas bornée dans $\R_1(\RR^3)$ et donc que $\bDD\bUU\bVV^{+} g \Gamma$ n'est pas bornée dans $G/\Gamma$.
\end{proof}

\subsection*{Orbites de $\bDD\bUU$}
Il existe des orbites fermées de $\bDD\bUU$, par exemple $\bDD\bUU \Gamma$ est une $\bDD\bUU$-orbite fermée de $G/\Gamma$. En revanche, aucune orbite de $\bDD\bUU$ n'est compacte.

\bprop\label{orbites-DU} Aucune orbite de $\bDD\bUU$ dans $G/\Gamma$ n'est compacte.
\eprop

\begin{proof}
Soit $\bDD\bUU g\Gamma$ une orbite de $\bDD\bUU$ dans $G/\Gamma$. Supposons qu'elle soit compacte. Posons $\Delta=g^{-1} \bDD\bUU g \cap \Gamma$. Cette orbite $\bDD\bUU g\Gamma$ est homéomorphe à~$g^{-1}\bDD\bUU g\Gamma$, donc à $g^{-1} \bDD\bUU g / \Delta$ d'après la proposition 2.3 de \cite{Pau}, et $g^{-1} \bDD\bUU g / \Delta$ est compact.

Montrons que $\Delta$ est contenu dans $g^{-1} \bUU g$. Pour cela, supposons par l'absurde qu'il existe $d(s) \in \bDD \moins\{e\}$ et $u(t) \in \bUU$ tels que $g^{-1}d(s)u(t)g \in\Gamma$. Pour tout $w \in g^{-1} \bUU g$, on vérifie facilement (en utilisant la première formule de la preuve de la proposition \ref{rel-U-V-D}) que
$$
\big(g^{-1}d(s)u(t)g)^{-i} w (g^{-1}d(s)u(t)g\big)^i \to e
$$
quand $i$ tend vers $+\infty$ si $s>0$ ou vers $-\infty$ si $s<0$. Comme $\Delta$ est discret, on obtient donc que $\Delta \cap g^{-1}\bUU g=\left\{ e\right\}$. Comme $g^{-1}\bUU g$ est distingué dans $g^{-1}\bDD\bUU g$, on en déduit que la restriction au sous-groupe $\Delta$ de la projection canonique
$$
g^{-1}\bDD\bUU g\to {g^{-1}\bDD\bUU g /g^{-1}\bUU g}
$$
est un morphisme de groupes injectif. Donc $\Delta$ est cyclique. Montrons que ceci est impossible, puisque $g^{-1} \bDD\bUU g / \Delta$ est compacte. En effet, si $\Delta$ est cyclique engendré par $g^{-1} d(\tau) u(s) g$, alors les éléments du type $g^{-1} u(t)g$ ne sont pas à distance bornée de\vspace*{-3pt}\enlargethispage{\baselineskip}
$$
\Delta=\Big\{ g^{-1} d(n \tau) u\Big(\frac{s(1-e^{-(n+1)\tau})}{1-e^{\tau}}\Big) g \sep n\in \ZZ\Big\}
$$
lorsque $t$ tend vers plus ou moins l'infini.

Ainsi, $\Delta$ ne contient pas d'élément du type $g^{-1}d(s)u(t)g$ où $d(s) \in \bDD \moins\nobreak\{e\}$, et $\Delta$ est contenu dans $g^{-1}\bUU g$, mais cela contredit aussi la compacité de $g^{-1} \bDD\bUU g / \Delta$. On en conclut que $\bDD\bUU g\Gamma$ ne peut pas être compacte.
\end{proof}

Même lorsqu'une $G'$-orbite $G'g\Gamma$ dans $G/\Gamma$ n'est pas fermée, son adhérence $X=\overline{G'g\Gamma}$ est un ensemble $G'$-invariant. Parmi les sous-ensembles de $G/\Gamma$ qui sont $G'$-invariants, les \og compacts minimaux\fg apparaissent comme particulièrement importants.

\bdefi Soit $Y$ un sous-ensemble compact $G'$-invariant non vide de $G/\Gamma$. On dit que $Y$ est \emph{minimal} si pour tout sous-ensemble compact $Z$ de $Y$ qui est $G'$-invariant, alors soit $Z=\emptyset$ soit $Z=Y$.
\edefi

Par exemple, les orbites périodiques pour $\bUU$, $\bVV$ ou $\bDD$ sont des orbites compactes minimales de $\bUU$, $\bVV$ ou $\bDD$.

L'existence de sous-ensembles invariants minimaux n'est pas toujours facile à établir. Voici un cas où il est aisé d'en montrer l'existence.

\blemm \label{compact-minimal} Soit $G'$ un sous-groupe de $G$ et $X$ un sous-ensemble non vide, compact et $G'$-invariant de $G/\Gamma$. Alors il existe un compact minimal $G'$-invariant dans $X$.
\elemm

\begin{proof}
C'est une conséquence directe du lemme de Zorn.
\end{proof}

L'analyse de la topologie de certaines orbites aura une grande importance dans la suite. Rappelons que dans tout espace topologique~$X$, une partie~$A$ est dite \emph{localement fermée} si elle vérifie l'une des conditions équivalentes suivantes:
\begin{enumerate}
\item
tout point $x$ de $A$ admet un voisinage $U$ dans $X$ tel que $X\cap U$ soit fermé dans $U$;
\item
$A$ est ouvert dans son adhérence;
\item
$A$ est l'intersection d'un ouvert de $X$ et d'un fermé de $X$.
\end{enumerate} Lorsque $X$ est localement compact, toute partie localement fermée de $X$ est encore localement compacte. Les vérifications sont élémentaires, et laissées en exercice, sauf l'implication dont nous aurons besoin plus tard.

\begin{proof}
Montrons que (1) entraîne (2). Soient $x$ un point de~$A$ et~$U$ un voisinage ouvert de $z$ dans $X$ tel que $A\cap U$ soit fermé dans $U$. On a donc $U\cap A=U \cap \overline{A}$ et donc $U\cap A$ est ouvert dans~$\overline{A}$. Comme $A$ est réunion de tels ouverts $U\cap A$, le sous-espace~$A$ est ouverte dans $\overline{A}$.
\end{proof}

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois4}%
\end{picture}%
\setlength{\unitlength}{3315sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(3058,2397)(1519,-8419)
\put(2628,-6805){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$x$}%
}}}}
\put(2926,-8341){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\overline{G'x}$}%
}}}}
\put(3016,-6181){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$G'x$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois4}{Orbite ouverte dans son adhérence}}
\end{center}
\end{figure}

\blemm\label{orbite-dense} Soit $G'$ un sous-groupe de $G$ et $X \subset G/\Gamma$ un compact minimal $G'$-invariant. Pour tout $x$ dans $X$, l'orbite $G'x$ est dense dans $X$. Si de plus $G'x$ est ouverte dans $X$, alors $G'x=X$.
\elemm

\begin{proof}
Pour tout $x$ dans $X$, l'adhérence $\overline{G'x}$ est un compact $G'$-invariant non vide contenu dans $X$, donc égal à $X$. De même, si $G'x$ est ouvert dans $X$, alors $X\moins G'x$ est un compact $G'$-invariant contenu dans $X$, différent de $X$, donc vide.
\end{proof}

\bcoro\label{orbite-DU-ouvert} Soit $X$ un compact $\bDD\bUU$-invariant minimal. Les $\bDD\bUU$-orbites dans $X$ ne sont ni ouvertes ni même localement fermées dans~$X$.
\ecoro

\begin{proof}
Considérons une $\bDD\bUU$-orbite localement fermée ou de façon équivalente ouverte dans son adhérence. Cette orbite coïncide avec $X$ d'après le lemme \ref{orbite-dense}, donc est compacte par hypothèse. Mais cela contredit la proposition \ref{orbites-DU}.
\end{proof}

Les orbites de $\bDD\bUU$ dans un compact minimal $\bDD\bUU$-invariant s'accumulent donc sur elles-même, comme les orbites d'un flot irrationnel sur $\TT^2=\RR^2 / \ZZ^2$ (obtenu par passage au quotient du flot $(t,x)\mto x+tv$ sur $\RR^2$, où $v$ est un vecteur de $\RR^2$ de pente irrationnelle), voir la figure schématique \ref{fig_courtois5} ci-dessous où l'on identifiera par translations les bords opposés du rectangle.

\begin{figure}[htb]
\begin{center}
\includegraphics{fig_courtois5}%
\caption{\label{fig_courtois5}{Flot irrationnel sur le tore $\TT^2$}}
\end{center}
\end{figure}

\section{Action sur les formes quadratiques de $\RR^3$ et lien entre\nobreakspace$H$ et\nobreakspace$\bVV$}

Le but de cette partie est d'établir une propriété de non commutation de~$H$ et~$\bVV$, voir la proposition \ref{derive}. Cette propriété sera fondamentale dans la preuve du théorème \ref{theo3} qui dit qu'une orbite relativement compacte~$Hx$ dans $G/\Gamma$ est compacte. Elle repose sur la présence dans~$H$ du sous-groupe unipotent $\bUU$ dont la dynamique au voisinage de ses points fixes est l'aspect déterminant, voir le lemme~\ref{dynamique-unipotente}.

Ces propriétés se démontrent en utilisant l'action linéaire de $G$ sur l'espace des formes quadratiques ou des matrices symétriques (voir le paragraphe 2 de \cite{Pau}).

\smallskip
Commençons par quelques rappels sur les formes quadratiques et plaçons nous dans $\RR^3$, bien que certaines propriétés ne dépendront pas de la dimension. L'espace vectoriel des formes quadratiques sur $\RR^3$ est isomorphe à l'espace vectoriel des matrices symétriques réelles $3\times 3$ par l'isomorphisme qui associe à une forme quadratique $q$ la matrice symétrique $\sigma$ telle que $q(v)=\langle\sigma v, v\rangle$ pour tout vecteur $v\in \RR^3$, où $\langle\;, \;\rangle$ désigne le produit scalaire euclidien standard de $\RR^3$. Par exemple, la matrice
\[\arraycolsep4pt
\sigma_0=\begin{pmatrix} 0 & 0 & 1\\ 0 & -1 & 0 \\ 1 & 0 & 0
\end{pmatrix}
\]
est la matrice associée à la forme quadratique $q_0$ définie par $q_0(v)=2v_1 v_3 - v_2^2$ pour $v=(v_1,v_2,v_3) \in \RR^3$.

Dans toute la suite, nous noterons $\Scal$ l'espace des matrices symétriques sur~$\RR^3$. Le groupe topologique $G=\SL{3}\RR$ agit (continûment, à droite) sur l'espace $\Scal$ des matrices symétriques (voir le paragraphe~2 de \cite{Pau}) en posant, pour $g\in G$ et $\sigma \in \Scal$,
$$
\sigma \cdot g={}^tg \sigma g.
$$
Si $\sigma$ est la matrice de $q$, alors $\sigma \cdot g$ est la matrice de $q\circ g$. L'orbite de la matrice~$\sigma_0$ définie plus haut est l'ensemble des matrices symétriques de déterminant~$1$ associées aux formes quadratiques de même signature $(2,1)$ que $q_0$. En particulier, toute forme quadratique sur~$\RR^3$, non dégénérée et indéfinie, est proportionnelle à une forme du type $q_0\circ g$ pour un $g\in G$.

Pour une forme quadratique $q$ sur $\RR^3$, nous noterons $H_q$ le groupe spécial orthogonal de $q$, formé des éléments de $G=\SL{3}\RR$ tels que $q(gv)=q(v)$ pour tout $v\in \RR^3$ et $H=H_{q_0}$. De façon équivalente, $H_q$ est le sous groupe de $G$ qui fixe la matrice $\sigma$ de $q$, c'est-à-dire
$$
H_q=\left\{ g\in G\sep\sigma \cdot g=\sigma \right\}.
$$
Les groupes spéciaux orthogonaux de $q=q_0\circ g$ et de $q_0$ sont conjugués: $H_q=g^{-1} H g$. Les groupes
$$\arraycolsep4pt
\bUU=\biggl\{ u(t)=\begin{Smallpmatrix} 1 & t & \sfrac{t^2}{2} \\ 0 & 1 & t \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR\biggr\}
\;\,\text{et}\;\,
\arraycolsep4pt
\bDD=\biggl\{ d(t)=\begin{Smallpmatrix} e^t & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & e^{-t}
\end{Smallpmatrix}\sep t\in \RR\biggr\}
$$
sont des sous-groupes de $H=H_{q_0}$, comme on peut le voir aisément en vérifiant que
\[
\sigma_0 \cdot{u(t)}={}^t u(t) \;\sigma_0 \;u(t)=\sigma_0\quand\sigma_0 \cdot {d(t)}={}^t d(t) \;\sigma_0 \;d(t)=\sigma_0.
\]
En revanche,
\[\arraycolsep4pt
\bVV=\biggl\{v(t)=\begin{Smallpmatrix} 1 & 0 & t \\ 0 & 1 & 0 \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR \biggr\}
\]
n'est pas un sous-groupe de~$H$.

Les formes quadratiques non dégénérées sont caractérisées par leur groupe spécial orthogonal. Avant d'établir ce résultat, montrons d'abord qu'une forme quadratique non dégénérée $q$ est caractérisée par son \emph{cône isotrope}\index{cône isotrope} \hbox{$C=\{x\in\RR^3\sep q(x)=0\}$} si celui-ci n'est pas réduit à $0$.

\bprop\label{cone-isotrope}
Soient $q$ et $q'$ deux formes quadratiques sur $\RR^n$ ayant même cône isotrope $C$. On suppose que $C\neq \left\{0\right\}$, alors il existe $\lambda \in \RR \moins\left\{0\right\}$ tel que $q'=\lambda q$.
\eprop

\begin{proof}
Soient $B$ et $B'$ les formes bilinéaires symétriques associées à~$q$ et~$q'$. Choisissons $x_0\neq 0$ dans le cône isotrope commun à~$q$ et~$q'$, et notons~$E$ et~$E'$ les sous-espaces orthogonaux à $x_0$ pour~$q$ et~$q'$ respectivement. Nous allons montrer que $E=E'$.

Soit $x\in \RR^n$ et $\alpha \in \RR$. Nous avons $q(\alpha x+x_0)=\alpha^2 q(x)+ 2\alpha B(x,x_0)$ et de même, $ q'(\alpha x+x_0)=\alpha^2 q'(x)+ 2\alpha B'(x,x_0)$. Si $q(x)=0$, alors $q'(x)=0$, $q(\alpha x+x_0)=2\alpha B(x,x_0)$ et $ q'(\alpha x+x_0)=2\alpha B'(x,x_0)$. Dans ce cas, si on choisit $\alpha \neq 0$, alors $B(x,x_0)=0$ entraîne $q(x+x_0)=0$ donc $q'(x+x_0)=0$ et $B'(x,x_0)=0$ d'où $E\subset E'$ et $E=E'$ par symétrie. Si $q(x)\neq 0$, alors il existe $\alpha \neq 0$ tel que $q(\alpha x+x_0)=\alpha^2 q(x)+ 2\alpha B(x,x_0)=0$ si et seulement si $B(x,x_0)\neq 0$. De même, $ q'(\alpha x+x_0)=\alpha^2 q'(x)+ 2\alpha B'(x,x_0)=0$ pour $\alpha \neq 0$ si et seulement si $B'(x,x_0)\neq 0$. Comme $ q'(\alpha x+x_0)=0$ équivaut à $ q(\alpha x+x_0)=0$, on en déduit que $B(x,x_0)\neq 0$ si et seulement si $B'(x,x_0)\neq 0$, donc $E=E'$.

Ainsi, les deux formes linéaires $x\mto B(x,x_0)$ et $x\mto B'(x,x_0)$ ont le même noyau et sont proportionnelles. Il existe donc $\lambda \in \RR$ tel que $B'(x,x_0)=\lambda B(x,x_0)$ pour tout $x\in \RR^n$. Montrons à présent que $q'(x)=\lambda q(x)$. Soit $x\notin E$, alors il existe $\alpha$ tel que $q(\alpha x_0 + x)=2\alpha B(x,x_0) + q(x)=0$ donc aussi $q'(\alpha x_0 + x)=2\alpha B'(x,x_0) + q'(x)=0$, ce qui entraîne $q'(x)=-2\alpha B'(x,x_0)=-2 \alpha \lambda B(x,x_0)=\lambda q(x)$. Si $x\in E$, choisissons $y\notin E=E'$, ce qui est possible puisque $q$ est non dégénérée, alors $q(x)=q(x+y) +q(y) -2B(x+y,y)$ et aussi $q'(x)=q'(x+y) +q'(y) -2B'(x+y,y)$, ce qui entraîne $q'(x)=\lambda q(x)$ d'après le cas précédent.
\end{proof}

\bprop\label{H}
Soient $q$ et $q'$ deux formes quadratiques non dégénérées dans~$\RR^n$. Supposons que $H_q=H_q'$, alors il existe un réel $\lambda$ tel que $q'=\lambda q$.
\eprop

\begin{proof}
Rappelons que pour toute forme quadratique $q$ non dégénérée, le groupe $H_q$ agit transitivement sur les ensembles de niveau $q^{-1}(t)$ de $q$ pour tout $t\in\RR$. Supposons que le cône isotrope $C$ de $q$ ne soit pas réduit à $\left\{0\right\}$. Soit $x\in C\moins\{ 0\}$. Alors, pour tout $\lambda \in \RR$, $q(x)=q(\lambda x)=0$ donc il existe $h\in H_q$ tel que $\lambda x=h x$ et comme $H_q=H_{q'}$, on déduit $q'(x)=q'(\lambda x)$ d'où l'on conclut que $q'(x)=q'(\lambda x)=0$ en prenant $\lambda \neq 1$. Ainsi lorsque le cône isotrope de $q$ ou de $q'$ est non trivial, les cônes isotropes de $q$ et $q'$ coïncident et $q$ et $q'$ sont proportionnelles d'après la proposition \ref{cone-isotrope}.

Nous pouvons donc supposer que les cônes isotropes de $q$ et $q'$ sont réduits à~$\left\{0\right\}$ et donc que les formes $q$ et $q'$ sont définies puisqu'elles sont non dégénérées. Soit $x\!\in\! \RR^n$ tel que $q(x) \!\neq\! 0$. Il existe $\lambda \!\in\! \RR $ tel que $q'(x)\!=\!\lambda q(x)$. Puisque $q$ est définie, $\sfrac{q(y)}{q(x)} \!>\!0$ pour tout \hbox{$y\!\in\! \RR^n$}, donc $q(y)$ peut s'écrire $q(y)\!=\!q(\alpha(y)x)$ avec $\alpha (y)\!=\!\sqrt{\sfrac{q(y)}{q(x)}}$. Il~existe donc un élément $h$ dans $H_q\!=\!H_{q'}$ tel que $y\!=\!h(\alpha(y)x)$ et ainsi $q'(y)\!=\!q'(\alpha(y)x)\!=\!(\alpha(y))^2 q'(x)\!=\!\lambda q(y)$, et $q$ et $q'$ sont proportionnelles.
\end{proof}

En particulier, $q_0$ est caractérisée à constante multiplicative non nulle près par son groupe spécial orthogonal $H$. En fait, les sous-groupes $\bUU$ et ${}^t\bUU$ de $H$ suffisent à caractériser $q_0$ comme on le voit dans la proposition suivante.

\bprop\label{H-unipotent} Soit $\sigma \in \Scal$ une matrice symétrique $3\times 3$ telle que ${}^t h \;\sigma\; h=\sigma$ pour tout $h\in \bUU \cup {}^t\bUU$, alors il existe un réel $\lambda \neq 0$ tel que $\sigma=\lambda \sigma_0$.
\eprop

\begin{proof}
Soit $\sigma \in \Scal$ telle que ${}^t u(t)\; \sigma\; u(t)=\sigma$ pour tout $u(t)\in \bUU$. En dérivant en $t=0$ on obtient ${}^t \dot{u}(0)\; \sigma + \sigma \;\dot{u}(0)=0$, d'où l'on tire facilement
$$\arraycolsep4pt
\sigma=
\begin{pmatrix} 0 & 0 & a \\ 0 & -a& 0 \\ a & 0 & b
\end{pmatrix}.
$$
De même, en écrivant $ \dot{u}(0) \sigma + \sigma\, {}^t \dot{u}(0)=0$, on en déduit $b=0$.
\end{proof}

Le lecteur pourra vérifier que $H$ est engendré par les sous-groupes $\bUU$ et ${}^t\bUU$, ce qui fournit une autre manière de démontrer la proposition précédente.

\smallskip
Intéressons-nous à présent aux formes quadratiques $q$ non dégénérées, indé\-fi\-nies sur $\RR^3$ dont le groupe spécial orthogonal $H_q$ contient \og beaucoup\fg de matrices à coefficients entiers. En fait, nous allons voir qu'une telle forme quadratique est proportionnelle à une forme quadratique à coefficients entiers. Rappelons que nous appelons forme quadratique rationnelle toute forme quadratique multiple réel d'une forme quadratique dont les coefficients sont rationnels. Notons
$$
\Delta=H_q \cap \SL{3}\ZZ
$$
le sous-groupe de $H_q$ des matrices à coefficients entiers. C'est un sous-groupe discret de $H_q$. Une manière de s'assurer que $\Delta$ contienne beaucoup d'éléments est de supposer que $H_q /\Delta$ est compact: en effet, puisque $H_q$ n'est pas compact, la compacité de $H_q /\Delta$ entraîne que $\Delta$ doit être infini. Dans ce cas, nous allons voir que $q$ doit être rationnelle.

\bprop\label{compacite-rationnel} Soit $q$ une forme quadratique non dégénérée, indéfinie sur $\RR^3$. Supposons que $H_q/\Delta$ soit compact. Alors $q$ est rationnelle.
\eprop

\begin{proof}
L'idée est la suivante: la matrice $\sigma_q$ de $q$ vérifie ${}^t\delta \sigma_q \delta=\nobreak\sigma_q$ pour tous les $\delta$ dans $\Delta$, donc est solution d'un nombre infini d'équations liné\-aires à coefficients entiers, puisque $\Delta$ est infini; en fait nous allons voir que l'espace vectoriel sur $\QQ$ des solutions rationnelles de ces équations est de dimen\-sion~$1$ sur $\QQ$. En fait, cette dimension coïncidera avec la dimension sur $\RR$ de l'espace des solutions réelles de ces mêmes équations, ce qui entraînera que~$\sigma_q$ est proportionnelle à une matrice rationnelle.

Précisément, on considère l'action de $G=\SL{3}\RR$ sur l'espace $\Scal$ définie précé\-dem\-ment, et le sous-espace vectoriel réel $F$ de $\Scal$ formé des matrices fixée par tous les éléments de $\Delta$,
$$
F=\left\{ \sigma \in \Scal \sep {}^t\delta \;\sigma\; \delta=\sigma,\;\forall \delta \in \Delta \right\}.
$$
Soient $\sigma \in F$ et $g\in G$ tel que $q=q_0\circ g$. L'application $\bar{f} : h \mto \sigma\cdot (h^{-1})$ de~$H_q$ dans $\Scal$ induit par passage au quotient une application continue
$$
f:H_q / \Delta \to \Scal.
$$
Par hypothèse, $H_q / \Delta$ est compact, donc $f(H_q /\Delta)$ est un compact de $\Scal$. En particulier, puisque $\bUU$ est un sous-groupe de $H$, le conjugué $g^{-1}\bUU g$ est un sous-groupe de $H_q=g^{-1}Hg$ et $ t\mto f(g^{-1}u(t)g\Delta) $ est bornée. Par ailleurs, puisque $t\mto u(t)$ est polynomiale, l'application $t\mto \bar{f}(g^{-1}u(t)g)={}^tg{}^tu(-t){}^tg^{-1} \sigma g^{-1}u(-t)g$ est une application polynomiale. Celle ci est bornée puisque l'image de $\bar{f}$ coïncide avec l'image de $f$, donc $f$ est un polynôme constant. La matrice $\sigma$ vérifie donc, pour tout $t$ dans $\RR$,
$$
{}^tg\;^tu(-t)\;^tg^{-1} \;\sigma \;g^{-1}\;u(-t)\;g=\sigma.
$$
Si $\sigma'=\;{}^tg^{-1} \;\sigma \;g^{-1}$, on a alors $ {}^tu(-t)\;\sigma'\;u(-t)\;=\sigma' $. Le même argument appliqué à ${}^tu(t)$ au lieu de $u(t)$ montre que la matrice symétrique $\sigma'$ vérifie ${}^th\;\sigma'\;h\;=\sigma'$ pour tout $h\in \bUU \cup {}^t\bUU$. D'après la proposition \ref{H-unipotent}, $\sigma'$ est donc proportionnelle à $\sigma_0$ et ainsi $\sigma$ est proportionnelle à ${}^tg\;\sigma_0\;g$, la matrice de $q$. Nous venons donc de démontrer que $F$ est un sous-espace vectoriel réel de $\Scal$ de dimension $1$.

Mais $F$ est défini comme l'espace des solutions d'un système d'équations linéaires à coefficients rationnels, dont la dimension sur~$\QQ$ est égale à la dimension sur $\RR$ de l'espace des solutions réelles de ces mêmes équations. On en déduit donc que la matrice associée à~$q$, qui est un élément de $F$, est proportionnelle à une matrice rationnelle.
\end{proof}

Notons $\O$ l'orbite de $\sigma_0$ par l'action de $G=\SL{3}\RR$ sur $\Scal$, c'est-à-dire
$$
\O=\left\{ \sigma_0\cdot g \sep g\in G\right\}.
$$
Comme $\O$ est l'intersection du fermé des matrices de déterminant~$1$ avec l'ouvert des formes quadratiques de signature $(2,1)$, l'orbite~$\O$ est localement fermée, donc localement compacte. Par la proposition~2.3 de \cite{Pau}, l'application $\theta: H\backslash G \to \O$ définie par
$$
\theta (Hg)=\sigma_0 \cdot g \,
$$
est donc un homéomorphisme, qui est $G$-équivariant, c'est-à-dire qu'il vérifie $\theta (Hgg')=(\sigma_0\cdot{g})\cdot{g'}$, pour tous $g,g'$ dans $G$.

Nous avons vu que $\sigma_0$ est caractérisée à une constante près par le fait d'être fixée par $H$, voir la proposition \ref{H} ou bien par tous les éléments de $\bUU \cup {}^t\bUU$, voir la proposition \ref{H-unipotent}. Le sous-espace de $\Scal$ fixé par seulement $\bUU$ est un peu plus gros. Notons $\sigma_1=\begin{Smallpmatrix} 0 & 0 & 0\\ 0 & 0 & 0 \\ 0 & 0 & 1
\end{Smallpmatrix}$.

\blemm\label{points-fixes} Le sous-espace vectoriel $F$ de $\Scal$ fixé par $\bUU$ est engendré par $\sigma_0$ et~$\sigma_1$. De plus, $F\cap \overline{\O}$ est contenu dans la droite affine
\[
L=\left\{\sigma \in F \sep\sigma=\sigma_0 + t \sigma_1,\,t\in \RR \right\}.
\]

\elemm

\begin{proof}
Rappelons que $u(t) \in \bUU$ s'écrit $u(t)=\exp (t \,\nu)$ où $ \nu=\begin{Smallpmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0
\end{Smallpmatrix} $. Une matrice $\sigma$ fixée par $\bUU$ vérifie donc par dérivation ${}^t\nu \,\sigma + \sigma\, \nu=0$. On en déduit aisément que $\sigma$ est une combinaison linéaire de $\sigma_0$ et $\sigma_1$. Pour établir la deuxième partie du lemme, on remarque que les éléments de $\O$ sont de déterminant $1$ et que $\det (s \sigma_0 + t \sigma_1)=s^3$.
\end{proof}

La droite affine $L$ est en fait la $\bVV$-orbite de $\sigma_0$ dans $\Scal$. En effet, rappelons que
$$\arraycolsep4pt
\bVV=\biggl\{v(t)=\begin{Smallpmatrix} 1 & 0 & t \\ 0 & 1 & 0 \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR \biggr\}.
$$
On calcule alors aisément
\begin{equation}\label{F-V}
\sigma_0\cdot {v(t/2)}={}^t v(t/2) \sigma_0 v(t/2)\sigma_0 + t \sigma_1.
\end{equation} On déduit le résultat suivant de cette remarque et du lemme \ref{points-fixes}.

\blemm\label{V-orbite-sigma_0} Nous avons $F\cap \overline{\O}=F\cap \O=L=\sigma_0 \bVV$.\qed
\elemm

Comme on vient de le voir, la droite affine $L$ est préservée par $\bVV$. Déter\-mi\-nons à présent les deux sous-groupes de $G$ formés des éléments qui la fixent point par point, et qui la préservent globalement. Notons $\bUU^{*}$ le sous-groupe de $H$ engendré par $\bUU$ et par la matrice $\begin{Smallpmatrix} -1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1
\end{Smallpmatrix}$.

\blemm\label{fix-sigma_0-et-sigma_1} Le sous-groupe de $G$ formé des éléments qui fixent à la fois $\sigma_0$ et~$\sigma_1$ est ${\bUU }^*$.
\elemm

\begin{proof}
Il suffit d'écrire les équations.
\end{proof}

\blemm \label{lem:fixdroiteaffine} Le sous-groupe de $G$ formé des éléments qui préservent la droite affine $L$ est $\bDD\bUU^*\bVV$.
\elemm

\begin{proof}
On vérifie aisément que $(\sigma_0 + t \sigma_1)\cdot {d(s)}=\sigma_0 + te^{-2s} \sigma_1$ et $(\sigma_0 + t \sigma_1)\cdot {v(s)}=\sigma_0 + (t+2s) \sigma_1$. Ainsi, $L$ est $\bDD\bVV$-invariant, et de plus $\bDD\bVV$ contient toutes les bijections affines de $L$ qui préservent l'orientation. En particulier, pour toute paire $\tau_0$ et $\tau_1$ d'éléments de $L$, il existe un élément $h \in \bDD\bVV$ tel que $\sigma_0 \cdot h=\tau_0$ et $\sigma_1 \cdot h=\tau_1$. Si $g$ est un élément de $G$ qui préserve~$L$, on considère $h \in \bDD\bVV$ tel que $\sigma_0 \cdot h=\sigma_0 \cdot g$ et $\sigma_1 \cdot h=\sigma_1 \cdot g$, donc $gh^{-1}$ fixe $\sigma_0$ et $\sigma_1$ et $g \in \bDD\bVV\bUU^*=\bDD\bUU^*\bVV $ d'après le lemme \ref{fix-sigma_0-et-sigma_1}.
\end{proof}

Le groupe orthogonal $H$ de $q_0$ contient le sous-groupe à un paramètre $\bUU$. Une propriété importante de ce sous-groupe est d'être unipotent. Les groupes à un paramètre unipotents ont une dynamique particulière au voisinage de leur sous-espace fixe qui sera fondamentale dans la suite, voir la figure \ref{fig_courtois6} ci-dessous (ainsi que le lemme~5.6 de \cite{Pau}, qui est un cas particulier du lemme \ref{dynamique-unipotente} ci-dessous).

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois6}%
\end{picture}%
\setlength{\unitlength}{3158sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(4674,1798)(1339,-1384)
\put(4193,-1306){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$p_\infty$}%
}}}}
\put(4088,-707){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$p_i$}%
}}}}
\put(4231,231){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$p_1$}%
}}}}
\put(5626, 89){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$U\cdot p_1$}%
}}}}
\put(5626,-811){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$U\cdot p_i$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois6}{Dynamique unipotente au voisinage de l'ensemble des points fixes}}
\end{center}
\end{figure}

Soit $N=\left\{n(t)\sep t \in \RR\right\}$ un sous-groupe à un paramètre unipotent d'automorphismes linéaires d'un espace vectoriel $E$, et $F$ le sous-espace des vecteurs fixes de $N$.

\blemm\label{dynamique-unipotente}
Soit $(p_i)_{i\in\NN}$ une suite dans $E\moins F$ convergeant vers un point $p\in F$. Alors il existe une courbe polynomiale non constante $\phi: \RR \to F$ telle que $\phi (0)=p$ et telle que l'image de $\phi$ soit contenue dans l'adhérence de $\bigcup_{i=0}^{\infty} Np_i$.
\elemm

\begin{proof}
Comme $N$ est un sous-groupe à un paramètre unipotent, on~a $n(t)=\exp (t\nu)$, où $\nu$ est une matrice nilpotente, c'est-à-dire telle qu'il existe $k\in \NN\moins\{0\}$ tel que $\nu^k=0$. Les applications $f_i:t \mto n(s) p_i$ sont donc des applications polynomiales de $\RR$ dans $E$, de degré inférieur ou égal à $k$. Ces applications $f_i$ sont non constantes puisque $p_i$ appartient à $E -F$. Choisissons $T_i >0$ tel que
$$
\sup_{s\in [-1,1]}\Vert f_i (T_i s)-p\Vert =1.
$$
Un tel $T_i$ existe puisque $f_i (s)$ est une courbe polynomiale non constante. Les applications polynomiales $\phi_i :s\mto f_i (T_i s)$ définissent une suite qui, puisqu'elle est bornée sur $[-1,1]$, admet une sous-suite convergent uniformément sur tout compact de $\RR$ vers une application polynomiale $\phi$. Cette application $\phi$ est non constante puisque $\phi (0)=p$ et
$$
\sup_{s\in [-1,1]}\Vert \phi (s)-p\Vert =1.
$$
De plus, l'image de $\phi$ est contenue dans l'adhérence de $\bigcup_{i=1}^{\infty} Np_i$ par construction, et dans $F$, puisque
\[
n(t) \phi (s)=\lim_{i\to \infty} n(t) \phi_i (s)=\lim_{i\to \infty} n(T_i s +t) p_i \lim_{i\to \infty} \phi_i (s+\sfrac{t}{T_i})=\phi (s). \qedhere
\]
\end{proof}

Le lemme précédent admet le corollaire suivant, dont nous tirerons toutes les conséquences plus loin. Notons
$$\arraycolsep4pt
{\bVV^{\pm}}=\biggl\{v(t)=\begin{Smallpmatrix} 1 & 0 & t \\ 0 & 1 & 0 \\ 0 & 0 & 1
\end{Smallpmatrix}\sep t\in \RR_{\pm} \biggr\}.
$$

\bprop\label{derive}
Soit $(g_i)_{i\in\NN}$ une suite dans $G\moins H\bVV$ convergeant vers l'identité~$e$. Alors l'adhérence de $\bigcup_{i=1}^{\infty}Hg_i \bUU$ contient $\bVV^+$ ou contient~$\bVV^ -$.
\eprop

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois7}%
\end{picture}%
\setlength{\unitlength}{3158sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(5412,3070)(1351,-4619)
\put(4276,-2086){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$V_-$}%
}}}}
\put(1951,-3511){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$h_ig_iu_i$}%
}}}}
\put(2326,-4111){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$v$}%
}}}}
\put(1351,-4561){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$V_+$}%
}}}}
\put(5551,-4411){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$HV$}%
}}}}
\put(5626,-2529){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$g_iu_i$}%
}}}}
\put(5851,-3121){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$u_i$}%
}}}}
\put(3316,-3113){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$e$}%
}}}}
\put(3001,-2453){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$g_i$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois7}{Défaut de commutation}}
\end{center}
\end{figure}

\begin{proof}
L'idée est de traduire l'énoncé à l'aide de l'homéomorphisme $G$-équivariant $\theta: H\backslash G \to \O$, défini par $\theta (Hg)=\sigma_0 \cdot g$. D'après le lemme \ref{V-orbite-sigma_0},
$$\theta (H\bVV)=\sigma_0 \cdot \bVV=F\cap \O.$$

Soit $(g_i)_{i\in\NN}$ une suite dans $G\moins H\bVV$ comme dans l'énoncé de la proposition; les matrices $p_i=\theta(Hg_i)$ appartiennent à $\O - F \subset \Scal-F$ et convergent vers $\sigma_0$. D'après le lemme \ref{dynamique-unipotente} précédent, il existe une courbe polynomiale non constante $\phi :\RR \to F$ telle que $\phi (0)=\sigma_0$ et dont l'image est contenue dans l'adhérence de $ \bigcup_{i=1}^{\infty} p_i \cdot \bUU $. Or cette adhérence est contenue dans $\overline{\O}$. Donc d'après le lemme \ref{V-orbite-sigma_0}, l'image de $\phi$ contient une courbe polynomiale non constante contenue dans $F \cap \overline{\O}=F \cap \O=\theta (H\bVV)=\left\{ \sigma_0 \cdot {v(t/2)}=\sigma_0 + t \sigma_1\sep t\in \RR\right\}$. Comme $\phi (0)=\sigma_0$, et $\phi$ est une courbe polynomiale non constante, l'image de $\phi$ contient nécessairement $\theta(H\bVV^+)$ ou $\theta(H\bVV^-)$. Ainsi, l'adhérence de $\bigcup_{i=1}^{\infty} p_i \cdot \bUU=\theta \big(\bigcup_{i=1}^{\infty}Hg_i \bUU\big)$ contient $\theta(H\bVV^{-})=\theta(H) \bVV^{-}$ ou $\theta(H\bVV^{+})=\theta(H) \bVV^{+}$. Puisque~$\theta$ est un homéomorphisme, on en déduit donc que l'adhérence de $\bigcup_{i=1}^{\infty}Hg_i \bUU$ contient $\bVV^+$ ou $\bVV^-$.
\end{proof}

Les lemmes suivants nous seront utiles un peu plus tard. Nous avons défini~$\bUU^{*}$ avant le lemme \ref{fix-sigma_0-et-sigma_1}.

\blemm\label{orbites-HV0}\label{orbites-HV} Soit $g_0 \in G$, alors $H\bVV \cap H\bVV g_0$ est soit vide, soit réduit à une classe à gauche par $H$, soit égal à $H\bVV$. Dans ce dernier cas, on a de plus $g_0 \in \bDD \bUU^{*} \bVV$.
\elemm

\begin{proof}
Comme dans la proposition précédente, traduisons l'énoncé à l'aide de l'homéomorphisme $G$-équivariant~\hbox{$\theta{:}\, H\backslash G\!\to\! \O \!\subset\! \Scal$}. Rappelons que $\theta (H \bVV)$ est la droite affine de $\Scal$ des $\sigma_0 \cdot {v(t/2)}=\sigma_0 + t \sigma_1$ pour $t\in \RR$. Par équivariance, $\theta (H\bVV g_0)=\theta (H\bVV)\cdot{g_0}$ est également une droite affine de~$\Scal$. Ainsi, dès lors que $H\bVV \cap H\bVV g_0$ contient au moins deux classes distinctes à gauche par $H$, les images $\theta (H\bVV)$ et $\theta (H\bVV g_0)$ contiennent également deux points distincts, donc les droites affines $\theta (H\bVV)$ et $\theta (H\bVV g_0)=\theta (H\bVV)\cdot{g_0}$ coïncident. En particulier $H\bVV g_0=H\bVV$, ce qui montre la première assertion. De~plus, $g_0$~préserve la droite affine $\theta (H\bVV)$. Donc la dernière assertion découle du lemme \ref{lem:fixdroiteaffine}.
\end{proof}

\section{Adhérences d'orbites, minimaux invariants et théorème\nobreakspace\ref{theo3}}
\def\thesubsection{\Alph{subsection}}

Rappelons que $H$ désigne le groupe spécial orthogonal de la forme quadratique $q_0(v)=2v_1 v_3 - x_2^2$, c'est-à-dire
$$
H=\bigl\{g\in G\sep \forall v \in \RR^3,\, q_0(gv)=q_0(v)\bigr\}.
$$
Le but de ce paragraphe est de démontrer le théorème \ref{theo3} que nous rappelons.

\btheo\label{relcomp-comp} Soit $Hg\Gamma$ une $H$-orbite relativement compacte de $H$ dans $G/\Gamma$. Alors, $Hg\Gamma$ est compacte.
\etheo

L'idée de la démonstration est la suivante. En supposant par l'absurde qu'une orbite $Hg\Gamma$ est relativement compacte et non compacte, on peut montrer que $X=\overline{Hg\Gamma}$ contient une $\bVV$-orbite, et donc une $\bDD\bUU\bVV$-orbite (puisque~$X$ est $\bDD\bUU$-invariant), ce qui contredit le fait qu'aucune $\bDD\bUU\bVV$-orbite n'est bornée, voir la proposition \ref{orbites-DUV}. Pour montrer que $X=\overline{Hg\Gamma}$ contient une $\bVV$-orbite, on considère un point~$z\Gamma$ de $\overline{Hg\Gamma} \moins Hg\Gamma$ et on montre que $X$ est localement contenu dans la $H\bVV$-orbite du point $z\Gamma$ au voisinage de ce point. Ensuite, en choisissant $z\Gamma$ dans un compact minimal $\bUU$-invariant $Y \subset X$, on peut montrer que $Y$ est $\bVV$-invariant.

\subsection{Étude locale de $X$ au voisinage d'un compact minimal $\bUU$\protect\nobreakdash-invariant $Y\subset X$}
Soit $z\Gamma \in\overline{Hg\Gamma} \moins Hg\Gamma$, alors
$$
z\Gamma=\lim_{i\to \infty} h_i g\Gamma
$$
où $h_i \in H$. Afin d'étudier $X$ au voisinage de $z\Gamma$, nous allons déterminer quels sont tous les éléments $x_i$ de $G$ tels que $x_i z\Gamma=h_i x\Gamma$. Au~moins un tel élément~$x_i$ existe puisque $G$ agit transitivement sur $G/\Gamma$ (voir la figure schématique~\ref{fig_courtois8}).

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_courtois8}%
\end{picture}%
\setlength{\unitlength}{3315sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(2544,1824)(2239,-5473)
\put(2656,-5056){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$x$}%
}}}}
\put(3241,-4561){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$z$}%
}}}}
\put(4051,-4741){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$z+x_i$}%
}}}}
\end{picture}%
\caption{\label{fig_courtois8}{Enrichissement d'orbite}}
\end{center}
\end{figure}

\bdefi Soit $Z$ une partie de $G/\Gamma$, $A$ une partie de $G$ et $z$ un point de $Z$. On dit que \emph{$Z$ est le long de $A$ au point $z$} s'il existe un voisinage $\Omega$ de l'identité dans $G$ tel que $\left\{g\in \Omega \sep gz \in Z\right\} \subset A$.
\edefi

Dire que $Z \subset G/\Gamma$ est le long de $A\subset G$ en $z\in Z$ équivaut à dire que $Z$ est localement contenu au voisinage de $z$ dans la $A$-orbite de~$z$.

\smallskip
Soit $G'$ un sous-groupe de $G$. La topologie d'une $G'$-orbite $Z=G' g\Gamma$ est liée à la définition précédente.

\blemm\label{orbite-ouverte} Soit $G'$ un sous-groupe fermé de $G$, et $Z=G' g\Gamma$ une $G'$-orbite. Si $Z$ est le long de $G'$ en un point $z\in Z$, alors $Z$ est localement fermée, et donc est ouverte dans son adhérence.
\elemm

\begin{proof}
Montrons en premier lieu que si $Z$ est le long de $G'$ en un point $z_0 \in Z$, alors $Z$ est le long de~$G'$ en tout point de $Z$.

Soit $\Omega$ un voisinage ouvert de $e$ dans $G$ tel que $\left\{g\in \Omega \sep gz_0 \in Z\right\} \subset G'$. Considérons $z$ un point quelconque de $Z$; il existe donc $g'\in G'$ tel que $z=g'z_0$. Soit $\Omega '$ un voisinage ouvert de $e$ tel que $g'^{-1} \Omega ' g' \subset \Omega$. Pour tout $g\in \Omega'$ tel que $g z=g g' z_0 \in Z$, par $G'$-invariance de $Z$, on a $g'^{-1}g g' z_0 \in Z$ avec $g'^{-1}g g' \in \Omega$. Donc $g'^{-1}g g' \in G'$ et $g\in G'$. Nous venons bien de voir que $Z$ est le long de~$G'$ en tout point de $Z$.

\smallskip
Cela entraîne que $Z$ est localement fermée. En effet, soit $z \in Z$ et~$\Omega$ un voisinage de $e$ dans $G$ tel que $\left\{g\in \Omega \sep gz \in Z\right\} \subset G'$. L'ensemble~$\Omega z$ est un voisinage de $z$ dans $G/\Gamma$. On peut choisir $\Omega$ compact dans~$G$. Montrons que $\Omega z \cap Z$ est compact. Soit $(g_i)_{i\in\NN}$ une suite dans~$\Omega$ telle que $g_i z \in Z$ pour tout~$i$ (donc en particulier, $g_i\in G'$ pour tout $i$). Comme $\Omega$ est compact, une sous-suite $(g_{i_k})_{k\in\NN}$ de $(g_i)_{i\in\NN}$ converge vers $g\in \Omega$. Puisque $G'$ est fermé, $g\in G'$ et $g_{i_k} z$ converge vers $gz \in G'z \subset Z$. D'où $gz\in \Omega z\cap Z$ et $\Omega z \cap Z$ est compact, donc fermé. Par conséquent, $Z$ est localement fermé.

La dernière assertion découle du paragraphe suivant le lemme \ref{compact-minimal}.
\end{proof}

\bprop\label{cas1} On considère l'adhérence $X$ d'une $H$-orbite $Hg\Gamma$ dans $G/\Ga$, et $Y\subset X$ un ensemble compact minimal $\bUU$-invariant. Supposons que $X$ ne soit pas le long de $H\bVV$ en un point $y\in Y$. Alors, l'une des orbites ${\bVV^+} y$ ou ${\bVV^-} y$ est contenue dans $X$.
\eprop

\begin{proof}
Si $X$ n'est pas le long de $H\bVV$ en $y\in Y$, alors $X$ n'est pas contenu localement au voisinage de $y$ dans la $H\bVV$-orbite de $y$. Il~existe donc une suite $g_i$ dans $G$, $g_i \notin H\bVV$ telle que \hbox{$g_i \!\to\! e$} et $g_i y \in X$. D'après la proposition \ref{derive}, pour tout $v\in \bVV^+$ par exemple, il existe une suite $u_i$ dans~$\bUU$ et une suite $h_i$ dans $H$ telles que $v=\lim_{i\to \infty} h_i g_i u_i$. D'autre part, puisque~$\bUU$ préserve l'ensemble compact $Y$, on peut supposer, quitte à extraire une sous-suite, que $\lim_{i\to \infty} u_i^{-1} y=y' \in Y$. Ainsi,
$$
v y'=\lim_{i\to \infty} h_i g_i u_i y'=\lim_{i\to \infty} h_i g_i y,
$$
donc $v y' \in X$ puisque l'on a supposé que $g_i y \in X$, et comme $X$ est invariant par $H$. On peut maintenant considérer l'ensemble
$$
Y'=\bigl\{ z \in Y\sep vz \in X\bigr\}.
$$
Cet ensemble est manifestement compact. Il est $\bUU$-invariant puisque~$\bUU$ et~$\bVV$ commutent d'après la proposition \ref{rel-U-V-D} et $\bUU\subset H$. Il contient $y'\in Y$, donc $Y'=Y$ par minimalité de $Y$. Cela montre que $vY \subset X$, donc $\bVV^+Y \subset X$ puisque $v$ était arbitraire dans ${\bVV }^+$ dans l'argument précédent. En particulier, $\bVV^+y \subset X$, ce qui conclut.
\end{proof}

\bcoro\label{corollaire-cas1} On considère l'adhérence $X$ d'une $H$-orbite $Hg\Gamma$ dans $G/\Ga$, et $Y\subset X$ un ensemble compact minimal $\bUU$-invariant. Supposons que $X$ soit compacte, alors $X$ est le long de $H\bVV$ en tout point $y\in Y$.
\ecoro

\begin{proof}
Supposons que $X$ ne soit pas le long de $H\bVV$ en un point $y\in Y$. La proposition \ref{cas1} dit alors que l'une au moins des deux orbites ${\bVV^{+}}y$ ou ${\bVV^{-}}y$ est contenue dans~$X$. Comme par ailleurs, $X$ est $H$-invariant, l'une des deux orbites $\bDD\bUU\bVV^{+}y$ ou $\bDD\bUU\bVV^{-}y$ est contenue dans $X$. Mais cela contredit la compacité de $X$, puisque les orbites $\bDD\bUU\bVV^{+}y$ ou $\bDD\bUU\bVV^{-}y$ ne sont pas bornées d'après la proposition \ref{orbites-DUV}.
\end{proof}

\subsection{Étude locale de $\bDD\bUU y$ au voisinage d'un point $y$ d'un compact minimal $\bUU$-invariant $Y \subset X$}
Nous venons de voir que pour tout~$x$ dans~$X$, l'adhérence d'orbite $X=\overline{Hx}$ est le long de $H\bVV$ en un point $y$ d'un compact minimal $\bUU$-invariant $Y \subset X$. Nous allons voir que le fait que $X$ soit le long de $H\bVV$ en un point $y$ de $Y$ a des conséquences fortes sur la nature de l'orbite $\bDD\bUU y \subset Hy \subset X$.

\smallskip
Comme $X$ est le long de $H\bVV$ en $y \in Y$, il existe un voisinage ouvert~$\Omega$ de~$e$ dans $G$ tel que $\left\{g\in \Omega\sep gy \in X \right\} \subset H \bVV$. Intéressons-nous à présent à $X$ au voisinage d'un point de la $\bDD\bUU$-orbite de $y$.

\blemm\label{X-en-g_0y} Soit $g_0 \in \Omega$ tel que $g_0 y \in \bDD\bUU y$. Alors $X$ est le long de $H\bVV \cap H\bVV g_0^{-1}$ en $g_0 y$.
\elemm

\begin{proof}
Soit $g_0 \in \Omega$ tel que $g_0 y \in \bDD\bUU y$, c'est-à-dire $g_0 y=b y$ avec $b\in \bDD\bUU$. Soit $\Omega'$ un voisinage ouvert de $e$ tel que $\Omega' g_0 \subset \Omega$ et $b^{-1}\Omega' b \subset \Omega$. Soit $g\in \Omega'$ tel que $gg_0 y \in X$; alors, puisque $\Omega' g_0 \subset \Omega$, nous déduisons $gg_0 \in H\bVV$ et donc $g\in H\bVV g_0^{-1}$. D'autre part, nous avons $b^{-1} g b \in \Omega$ et $b^{-1} g b y=b^{-1} g g_0 y \in X$ (puisque $b^{-1}\in \bDD\bUU \subset H$ et $g g_0 y \in X$, qui est invariant par $H$), donc $b^{-1} g b \in H\bVV$. Ainsi, $g \in b H\bVV b^{-1}=H\bVV$.
\end{proof}

Rappelons que d'après le lemme \ref{orbites-HV0}, $H\bVV \cap H\bVV g_0^{-1}$ est soit vide, soit une classe à gauche par $H$, soit $H \bVV$. De plus, lorsque $H\bVV \cap\nobreak H\bVV g_0^{-1}=H \bVV$, c'est-à-dire lorsque cette intersection contient au moins deux classes distinctes par $H$, alors $g_0 \in \bDD\bUU^* \bVV$ et en fait $g_0 \in \bDD\bUU\bVV$ si $\Omega$ a été choisi assez petit.

\bcoro\label{le-long-de-HV} Supposons que $X=\overline{Hx}$ soit le long de $H\bVV$ en $y \in Y$, et soit $\Omega$ un voisinage ouvert de $e$ dans $G$ tel que $\left\{g\in \Omega\sep gy \in X \right\} \subset H \bVV$. Il y a alors deux possibilités.
\begin{enumerate}
\item
Soit il existe $g_0\in\Omega$ tel que $g_0y\in \bDD\bUU y$ et tel que $X$ soit le long de~$H$ en $g_0 y$. Dans ce cas, $X$ est aussi le long de $H$ en $y$, $Hx=Hy$ et $Hy$ est ouverte dans son adhérence.

\item
Soit $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ en $y$.
\end{enumerate}
\ecoro

\begin{proof}
Soit $g_0 \in \Omega$ tel que $g_0 y \in \bDD\bUU y$. D'après le lemme~\ref{X-en-g_0y}, $X$ est le long de $H\bVV \cap H\bVV g_0^{-1}$ en $g_0 y$. Comme $X$ est le long de $H\bVV$ en $y \in Y$ et $g_0 y \in \bDD\bUU y \subset X$, nous avons $g_0 \in H\bVV$ et ainsi $e\in H\bVV \cap H\bVV g_0^{-1}$. On en déduit d'après le lemme \ref{orbites-HV0} que soit $H\bVV \cap H\bVV g_0^{-1}=H$, soit $H\bVV \cap H\bVV g_0^{-1}=H\bVV$.

Supposons d'abord qu'il existe $g_0 \!\in\! \Omega$ tel que $g_0 y \!\in\! \bDD\bUU y$ et $H\bVV \cap\nobreak H\bVV g_0^{-1}\!=\nobreak\!\nobreak H$. Dans ce cas, $X$ est le long de $H$ en $g_0 y$. Choisissons $b\in \bDD\bUU$ et $\Psi$ un voisinage ouvert de $e$ tels que $g_0 y=b y$ et $\left\{g\in \Psi\sep gby=gg_0 y \in X\right\} \subset H$. Alors en conjuguant par $b^{-1}$, on obtient $\left\{g\in b^{-1}\Psi b\sep gy \in X\right\} \subset H$ et donc~$X$ est le long de $H$ en~$y$. Il~existe ainsi un voisinage ouvert $W$ de $y$ dans $X$ contenu dans~$Hy$, \ie $W \subset Hy$. Comme par densité de $Hx$ dans $X$, l'orbite $Hx$ de~$x$ rencontre nécessairement $W$, on en déduit que $Hx=Hy$. Enfin, $Hy$ est le long de~$H$ en~$y$ puisque $X$ l'est et $Hy \subset X$, donc $Hy$ est ouverte dans son adhérence d'après le lemme \ref{orbite-ouverte}. C'est le cas (1).

Supposons sinon que pour tout $g_0 \in \Omega$ tel que $g_0 y \in \bDD\bUU y$, on ait $H\bVV \cap H\bVV g_0^{-1}=H\bVV$. D'après le lemme \ref{orbites-HV}, $g_0 \in \bDD\bUU^{*}\bVV$, et on peut supposer en ayant choisi $\Omega$ assez petit que $g_0 \in \bDD\bUU\bVV$. Nous voyons dans ce cas que $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ en $y$. C'est le cas (2).
\end{proof}

Intéressons-nous au deuxième cas dans le corollaire précédent, c'est-à-dire lorsque $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ en $y$. De nouveau, il y a deux possibilités et le lemme suivant nous permettra de les déterminer.

Soit $\Delta=\left\{g \in \bDD\bUU\bVV\sep gy=y\right\}$ le stabilisateur de $y \in G/\Gamma$ dans $\bDD\bUU\bVV$.

\blemm\label{DUV-pas-DU} Supposons que $\bDD\bUU y$ soit le long de $\bDD\bUU\bVV$ mais pas le long de $\bDD\bUU$ en $y$. Alors $\Delta$ est contenu dans $\bUU\bVV$.
\elemm

\begin{proof}
Si $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ mais pas le long de $\bDD\bUU$ en $y$, il existe une suite $g_i \in \bDD\bUU\bVV\moins\bDD\bUU$, telle que $g_i \to e$ et $g_i y \in \bDD\bUU y$. Il existe donc des suites $b_i \in \bDD\bUU$, $v_i\in \bVV\moins\left\{e\right\}$ et $h_i \in \bDD\bUU$, telles que
$$
g_i=b_i v_i,\;\;b_i v_i y=h_i y,\;\;v_i \to e,\;\;b_i \to e.
$$
Ainsi, il existe une suite $b'_i \in \bDD\bUU$ telle que $b'_i v_i y=y$, où $v_i \in \bVV\moins\left\{e\right\}$ tend vers~$e$. Supposons par l'absurde que $\Delta$ contienne un élément du type $d_0 w_0$, où $d_0\in \bDD\moins\left\{e\right\}$ et $w_0 \in {\bUU\bVV}$. Comme $\Delta$ est discret et $(d_0 w_0)^i w (d_0 w_0)^{-i}$ tend vers $0$ lorsque $i$ tend vers $+\infty$ ou $-\infty$ pour tout $w\in {\bUU\bVV}$, on déduit que $\Delta \cap {\bUU\bVV}=\{ e \}$, donc le morphisme de groupes $\Delta \to \bDD\bUU\bVV/{\bUU\bVV}\simeq \bDD$ est injectif et $\Delta$ est cyclique. Nous pouvons donc supposer que l'élément $d_0 w_0$ précédent est un générateur de $\Delta$. Un calcul direct montre que si $\lambda_0$ désigne la valeur propre de $d_0$ strictement supérieure à $1$ et $w_0 \in \bUU v(t)$, alors $(d_0 w_0 )^i \in \bDD\bUU v(t_i)$ où $t_i=t(\lambda_0^{2i} -1)/(\lambda_0^2 -1)$. On constate ainsi que $\Delta=\left\{(d_0 w_0 )^i\sep i \in \ZZ\right\}$ ne peut pas contenir de suite d'éléments du type $b'_i v_i$ avec $b'_i \in \bDD\bUU$, $v_i \in \bVV$, $v_i \neq 0$ et $v_i \to 0$, puisque les $t_i$ ci-dessus ne peuvent pas tendre vers $0$ lorsque $i$ tend vers $\pm \infty$. Cela contredit le fait que $\Delta$ puisse contenir un élément $d_0 w_0$ avec $d_0\in \bDD\moins\left\{e\right\}$ et $w_0 \in {\bUU\bVV}$. Donc $\Delta \subset {\bUU\bVV}$.
\end{proof}

\blemm\label{le-long-de-DUV} Supposons que $\bDD\bUU y$ soit le long de $\bDD\bUU\bVV$ en $y$. Alors il y a deux possibilités.
\begin{enumerate}
\item
$\bDD\bUU y$ est le long de $\bDD\bUU$ en $y$ et $\bDD\bUU y$ est ouverte dans son adhérence.

\item
$Y$ est $\bVV$-invariant.
\end{enumerate}
\elemm

\begin{proof}
Supposons que $\bDD\bUU y$ soit le long de $\bDD\bUU$ en $y$. D'après le lemme \ref{orbite-ouverte}, $\bDD\bUU y$ est alors ouverte dans son adhérence, c'est le cas~(1).

Supposons sinon que $\bDD\bUU y$ n'est pas le long de $\bDD\bUU$ en $y$. Alors d'après le lemme \ref{DUV-pas-DU}, le stabilisateur $\Delta=\left\{g \in \bDD\bUU\bVV\sep gy=y\right\}$ de $y$ est contenu dans ${\bUU\bVV}$. Comme $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ mais pas le long de $\bDD\bUU$ en $y$, il existe une suite $g_i \in \bDD\bUU\bVV\moins \bDD\bUU$, telle que $g_i \to e$ et $g_i y \in \bDD\bUU y$. Il existe donc des suites $b_i \in \bDD\bUU$, $v_i\in \bVV\moins\left\{e\right\}$ et $h_i \in \bDD\bUU$, telles que $g_i=b_i v_i$ et $b_i v_i y=h_i y$ et $v_i \to e$, $b_i \to e$. Ainsi, il existe une suite $b'_i \in \bDD\bUU$ telle que $b'_i v_i y=y$, où $v_i \in \bVV\moins\left\{e\right\}$ tend vers~$e$. Puisque $b'_i \in \bDD\bUU$ et $b'_i v_i \in \Delta \subset {\bUU\bVV}$, alors $b'_i \in \bUU$. Par conséquent, $v_i y=(b'_{i})^{-1}y \in Y$ pour tout $i$. Ainsi, $v_i Y=\overline{v_i \bUU y}=\overline{\bUU v_i y}$ est un compact $\bUU$-invariant contenu dans $Y$. Par minimalité de $Y$, on a donc $v_i Y=Y$. On en déduit que $Y$ est invariant par le sous-groupe de $\bVV$ engendré par les $v_i$. Ce sous-groupe doit être dense dans~$\bVV$ puisque les $v_i$ tendent vers~$e$ et sont distincts de $e$. Comme $Y$ est fermé, $Y$ est donc invariant par $\bVV$.
\end{proof}

\subsection{Démonstration du théorème \ref{relcomp-comp}}

Nous pouvons à présent démontrer le théorème \ref{relcomp-comp}. Le schéma est le suivant. On raisonne par l'absurde. On considère une $H$-orbite $Hx=Hg\Gamma$ dont l'adhérence $X=\overline{Hx}$ est compacte et on suppose que $Hg\Gamma$ n'est pas compacte. L'idée est alors de montrer l'existence d'un point $y\in X$ dont l'orbite $\bVV y$ est contenue dans $X$, ce qui aboutit à une contradiction puisque dans ce cas, $X$ doit contenir $\bDD\bUU\bVV y$, qui est une orbite non bornée d'après la proposition \ref{orbites-DUV}.

\enlargethispage{\baselineskip}%
Pour trouver une orbite $\bVV y$ contenue dans $X$, nous allons choisir un compact minimal $\bUU$-invariant $Y$ contenu dans $X$ puis étudier les orbites de $\bDD\bUU$ au voisinage des points $y\in Y$, et en particulier déterminer les possibles sous-ensembles $A\subset G$ le long desquels ces orbites $\bDD\bUU y$ peuvent être en $y$.

\smallskip
Soit $X_1 \subset X=\overline{Hx}$ un compact minimal $\bDD\bUU$-invariant. Lorsque $Hx$ est ouverte dans $X=\overline{Hx}$, nous choisissons $X_1 \subset X \moins Hx$, ce qui est possible puisque $X \moins Hx$ est un ensemble compact $\bUU$-invariant qui est non vide par hypothèse. Ensuite on choisit un compact minimal $\bUU$-invariant $Y\subset X_1 \subset X$ et $y\in Y$. D'après le corollaire \ref{corollaire-cas1}, $X$ est le long de $H\bVV$ en $y$ puisque $X$ est un compact $H$-invariant. Grâce à notre choix de $Y$, nous avons $Y\cap Hx=\emptyset$, donc le corollaire~\ref{le-long-de-HV} dit que l'orbite $\bDD\bUU y$ est le long de $\bDD\bUU\bVV$ en $y$. L'orbite $\bDD\bUU y$ est contenue dans $X_1$, et $X_1$ est un compact minimal $\bDD\bUU$-invariant, donc $\overline{\bDD\bUU y}=X_1$. Mais d'après le lemme \ref{le-long-de-DUV} il y a deux possibilités: soit $\bDD\bUU y$ est ouverte dans son adhérence $\overline{\bDD\bUU y}=X_1$, soit $Y$ est $\bVV$-invariant. La première possibilité est exclue car si $\bDD\bUU y$ est ouverte dans son adhérence $\overline{\bDD\bUU y}=X_1$, alors $\bDD\bUU y=X_1$ par minimalité de $X_1$, ce qui est impossible d'après la proposition \ref{orbites-DU}. Ainsi, $Y$ est $\bVV$-invariant, donc si $y\in Y$, la $\bVV$-orbite $\bVV y$ de $y$ est contenue dans $X$, ainsi que $\bDD\bUU\bVV y$ puisque $X$ est $H$-invariant. Mais cela contredit la compacité de $X$ puisque d'après la proposition \ref{orbites-DUV}, $\bDD\bUU\bVV y$ n'est pas bornée.

\section{Fin de la preuve de la conjecture d'Oppenheim}

La conjecture d'Oppenheim a été démontrée par G. Margulis \cite{Mar1,Mar2} en 1987.

\btheo[Margulis]\label{theos0} Soit $q$ une forme quadratique sur $\RR^3$ non dégénérée, indéfinie et irrationnelle. Alors $q(\ZZ^3)$ est dense dans $\RR$.
\etheo

Nous présentons ici la preuve de la version plus simple suivante de ce théorème.

\btheo[Margulis]\label{theos2} Soit $q$ une forme quadratique non dégénérée, indéfinie et irrationnelle sur $\RR^3$. On suppose que $q$ ne représente pas~$0$. Alors $q(\ZZ^3)$ est dense dans $\RR$.
\etheo

Nous avons vu que le théorème \ref{theos2} est une conséquence simple du théorème suivant, par la proposition 2.8 de \cite{Dal}.

\begin{theo}[Margulis]\label{theos1} Soit $q$ une forme quadratique non dégénérée, indéfinie et irrationnelle sur $\RR^3$. On suppose que $q$ ne représente pas~$0$. Alors $0$ est valeur d'adhérence de $q(\ZZ^3)\moins\left\{ 0\right\}$.
\end{theo}

Avant de commencer la démonstration du théorème \ref{theos1}, nous aurons besoin de quelques préliminaires arithmétiques. Rappelons que nous avons fixé la forme quadratique $q_0(v)=2v_1 v_3 - v_2^2$ sur $\RR^3$ dont le groupe spécial orthogonal est noté $H$ et que nous nous intéressons aux liens entre les formes quadratiques $q=q_0 \circ g$ et les $H$-orbites $Hg\Gamma \subset G/\Gamma$, où $g\in G=\SL{3}\RR$ et $\Gamma=\SL{3}\ZZ$.

Posons
$$
m(q)=\inf \left\{|q(v)| \sep v\in \ZZ^3 \moins\{0\} \right\}.
$$

\bprop\label{relcomp} On considère la forme quadratique $q=q_0 \circ g$ sur $\RR^3$. Les propriétés suivantes sont équivalentes.
\begin{enumeratei}
\item
$m(q) > 0$;

\item
la $H$-orbite $Hg \Gamma$ de $g \Gamma$ est relativement compacte dans $G/\Gamma$.
\end{enumeratei}
\eprop

\begin{proof}
Montrons que (i) implique (ii). Rappelons que $G/\Gamma$ est homéomorphe à l'espace des réseaux unimodulaires $\R_1 (\RR^3)$ de~$\RR^3$. La $H$\nobreakdash-orbite $Hg \Gamma$ de $g \Gamma$ correspond par cette identification à l'ensemble des réseaux $Hg \ZZ^3$ dans $\R_1 (\RR^3)$, ensemble homéomorphe à $g^{-1}Hg \ZZ^3=H_q \ZZ^3$. Il suffit donc de montrer que sous l'hypothèse $m(q) >0$, l'ensemble $H_q \ZZ^3$ est relativement compact dans $\R_1 (\RR^3)$. Considérons un nombre $\epsilon$ tel que $0<\epsilon < m(q)$. Par continuité de~$q$, l'ensemble $q^{-1}(\,]-\epsilon, \epsilon[\,)$ est un voisinage ouvert de $0 \in \RR^3$ qui ne rencontre pas $H_q\ZZ^3 \moins\{ 0\}$ puisque $m(q) >0$ et $q\circ H_q=q$. Le critère de Mahler (voir les corollaires 1.10 et 4.3 de \cite{Pau}) dit alors que $H_q \ZZ^3$ est relativement compact dans $\R_1 (\RR^3)$.

Réciproquement, si $H_q \ZZ^3$ est relativement compact dans $\R_1 (\RR^3)$, il existe d'après le critère de Mahler une boule ouverte $V$ centrée en $0$ dans $\RR^3$ telle que $(H_q\ZZ^3 \moins\{ 0\} )\cap V=\emptyset$. Soit $v\in V$ tel que $\epsilon=q(v)> 0$. Comme $H_q$ agit transitivement sur les ensembles de niveau $q^{-1}(t)$ dans $\RR^3$, $H_q (V)$ contient $q^{-1}(\epsilon)$ et aussi $q^{-1}([-\epsilon, \epsilon])$ par homogénéité. Ainsi, $(\ZZ^3 \moins\left\{ 0\right\})\cap\nobreak q^{-1}([-\epsilon, \epsilon])=\nobreak\emptyset$ et $m(q) >0$.
\end{proof}

\bprop\label{H_q-compact} Les propriétés suivantes sont équivalentes.
\begin{enumeratei}
\item
La $H$-orbite $Hg \Gamma$ de $g \Gamma$ est compacte dans $G/\Gamma$

\item
La forme quadratique $q$ définie par $q(v)=q_0(gv)$ est rationnelle et ne représente pas~$0$.
\end{enumeratei}
\eprop

\begin{proof}
De même que dans la proposition précédente, la compacité de la $H$-orbite $Hg \Gamma$ de $g \Gamma$ dans $G/\Gamma$ est équivalente à la compacité de $H_q \ZZ^3$ dans l'espace des réseaux $\R_1 (\RR^3)$, où $H_q=g^{-1}H g$.

Montrons que (ii) entraîne (i). On peut supposer que $q$ est à coefficients entiers et ne représente pas~$0$, donc $m(q) >0$ et $H_q \ZZ^3$ est relativement compacte d'après la proposition \ref{relcomp}. Il reste à voir que $H_q \ZZ^3$ est fermée. Soit $(L_k)_{k\in\NN}$ une suite de réseaux dans $H_q \ZZ^3$ convergeant vers $L\in \R_1(\RR^3)$. Considérons $(u_i)_{i=1,2,3}$ une $\ZZ$-base de $L$. On~peut alors trouver une suite de $\ZZ$-bases $(x_{i}^{k})_{i=1,2,3}$ de $L_{k}$ convergeant vers $(u_i)_{i=1,2,3}$. Comme $q(x_{i}^{k}) \in \ZZ$, on peut supposer que pour $k_0$ assez grand, $q(x_{i}^{k_0})=q(u_i)$ et de même $q(x_{i}^{k_0}\pm x_{j}^{k_0} )=q(u_i \pm u_j)$, ce qui impose que la matrice $A$ telle que $A(x_{i}^{k_0})=u_i$ préserve $q$, \ie $A \in H_q$. Ainsi, $L=A L_{k_0} \in H_q \ZZ^3$.

Montrons que (i) entraîne (ii). La compacité de la $H$-orbite $Hg \Gamma$ de $g \Gamma$ dans $G/\Gamma$ équivaut à la compacité de $g^{-1}Hg \Gamma=H_q \Gamma \subset G/\Gamma$ c'est-à-dire à la compacité de $H_q / (H_q \cap \Gamma)$, voir la proposition 2.3 de \cite{Pau}. Il nous faut donc montrer, en supposant que $H_q / (H_q \cap \Gamma)$ est compacte, que $q$ est rationnelle et ne représente pas~$0$. Le fait que $q$ est rationnelle découle de la proposition \ref{compacite-rationnel}. Si $q$ représente $0$, il existe $v\in \ZZ^3 \moins\left\{0\right\}$ tel que $q(v)=0$. Comme $H_q$ est transitif sur $q^{-1}(0)$, $H_q v$ s'accumule en $0 \in \RR^3$. On conclut à l'aide du critère de Mahler.
\end{proof}

\begin{exem*}
Considérons la forme quadratique
$$
q(v)=v_1^2 + v_2^2 - 7v_3^2.
$$
Cette forme à coefficients entiers ne représente pas~$0$. En effet, supposons que $q(v)=0$ avec $v=(n, m, p)$, où $n$, $m$, $p$ sont des entiers premiers entre eux. Les entiers $n^2$, $m^2$, sont congrus à $0$ ou $1$, et $7p^2$ à $0$ ou $3$ modulo $4$, donc $7p^2$ et $n^2 +m^2$ sont congrus à $0$ modulo $4$. Cela n'est possible que si $p^2$, $n^2$ et $m^2$ sont congrus à $0$ modulo $4$, ce qui contredit le fait que $n$, $m$, $p$ sont des entiers premiers entre eux. Soit $g\in \SL{3}\RR$ tel que $q(v)=q_0(gv)$; d'après la proposition \ref{H_q-compact}, $H g\Gamma$ est compacte dans $G/\Gamma$ et homéomorphe à $H_q/(H_q \cap \SL{3}\ZZ)$.

Le lecteur pourra vérifier que la forme quadratique sur $\RR^4$ définie par
$$
q(v)=v_1^2 + v_2^2 +v_3^2 - 7v_4^2
$$
ne représente pas~$0$ et que $H_q/(H_q \cap \SL{4}\ZZ)$ est compacte. En dimension supérieure, cette construction n'est plus possible avec des formes à coefficients entiers à cause du théorème de Lagrange selon lequel tout entier positif est somme de quatre carrés.
\end{exem*}

Nous concluons ces préliminaires par la proposition suivante qui permet de relier le fait que $0$ est isolé dans $q(\ZZ^3)$ à la relative compacité de l'orbite $H_q \Gamma$ sous l'hypothèse que $q$ ne représente pas~$0$.

\bprop\label{relativement-compact} Soit $q=q_0 \circ g$ une forme quadratique sur $\RR^3$, qui ne représente pas~$0$. Si $0\in \RR$ n'est pas adhérent à l'ensemble $q(\ZZ^3) \moins\left\{0\right\}$, alors l'orbite $H_q \Gamma$ est relativement compacte dans $G/\Gamma$.
\eprop

\begin{proof}
Si $0$ n'est pas adhérent au sous-ensemble $q(\ZZ^3) \moins\{0\}$ de $\RR$, et si $q$ ne représente pas~$0$, alors il existe $\epsilon >0$ tel que
$$
q^{-1}(]-\epsilon,\epsilon[) \cap (\ZZ^3 \moins\{0\})=q^{-1}(]-\epsilon,\epsilon[) \cap( H_q(\ZZ^3) \moins\{0\})=\emptyset\,,
$$
ce qui entraîne la proposition en appliquant le critère de Mahler à l'ensemble de réseaux $H_q(\ZZ^3)\subset \R_1(\RR^3)$ et à $V=q^{-1}(]-\epsilon,\epsilon[)$.
\end{proof}

Nous pouvons à présent achever la démonstration du théorème \ref{theos1}.

\begin{proof}[Démonstration du théorème \ref{theos1}]
Soit $q$ une forme quadratique sur $\RR^3$ qui ne représente pas~$0$. Nous allons démontrer que si $0$ n'est pas valeur d'adhérence de $q(\ZZ^3)\moins\left\{0\right\}$, alors alors $q$ est rationnelle. Rappelons que si $q$ est non dégénérée et indéfinie, alors il existe $g\in G$ telle que $q$ soit proportionnelle à $q_0 \circ g$. Supposons donc qu'il existe $\epsilon >0$ tel que pour tout $v_i \in \ZZ^3$ vérifiant $q(v_i)\neq 0$, alors $|q(v_i)| \geq \epsilon$. Comme~$q$ ne représente pas~$0$, la $H_q$-orbite $H_q \Gamma$ est relativement compacte dans $G/\Gamma$ d'après la proposition \ref{relativement-compact}. La $H$-orbite $Hg\Gamma \subset G/\Gamma$ qui est homéomorphe à $H_q \Gamma$ est elle aussi relativement compacte, donc compacte d'après la proposition \ref{relcomp-comp}. Mais d'après la proposition \ref{H_q-compact} cela n'est possible que si $q$ est rationnelle.
\end{proof}

En fait le théorème \ref{theos0} se généralise facilement à la dimension $n\geq 3$.

\smallskip
Un sous-espace $F$ de $\RR^n$ est dit \emph{rationnel}\index{sous-espace rationnel} si $F$ possède une base à coordonnées rationnelles. Remarquons que l'existence d'une base de~$F$ à coefficients rationnels équivaut à l'existence d'une base à coef\-fi\-cients entiers.

Si $q$ est une forme quadratique sur $\RR^n$ et $F$ un sous espace rationnel de $\RR^n$, on dit que la restriction de $q$ à $F$ est \emph{rationnelle} si les coefficients de $q$ dans une (et donc toute) base rationnelle de $F$ sont rationnels.

\btheo
Soit $q$ une forme quadratique sur $\RR^n$ non dégénérée, indéfinie et irrationnelle. Alors $q(\ZZ^n )$ est dense dans $\RR$.
\etheo

\begin{proof}
Nous allons montrer l'existence d'un sous-espace rationnel $F$ de dimension $3$ tel que la restriction de $q$ à $F$ soit non dégénérée, indéfinie et irrationnelle.

Nous commençons par construire un sous-espace rationnel de dimension $2$ en restriction auquel $q$ est non dégénérée, indéfinie et irrationnelle.

Comme $q$ est non dégénérée et par densité de $\QQ^n$ dans $\RR^n$, il existe $v\in \QQ^n$ tel que $q(v)\neq 0$. On peut supposer que $q(v)=1$ quitte à changer la forme quadratique $q$ en la multipliant par un scalaire. Par ailleurs, il existe $v' \in \QQ^n$ (non colinéaire à $v$) tel que $q(v') \notin \QQ$ puisque $q$ n'est pas rationnelle. Si $q(v')<0$, nous avons terminé, car le sous-espace $F$ de $\RR^n$ engendré par $v,v'$ est rationnel et la restriction de $q$ à $F$ est non dégénérée et indéfinie. Nous pouvons donc supposer que $q(v') >0$. On choisit alors $v''\in \QQ^n$ tel que $q(v'')<0$; un tel $v''\in \QQ^n$ existe par densité $\QQ^n$ dans $\RR^n$, puisque $q$ est indéfinie. Si~$q(v'')\notin \QQ$, nous avons terminé, car le sous-espace $F$ engendré par $v,v''$ de $\RR^n$ est rationnel et la restriction de $q$ à $F$ est non dégénérée, indéfinie et irrationnelle. On peut donc supposer que $q(v'') \in \QQ$. Soit $w_{\pm}=v'' \pm rv'$, où $r\in \QQ$ est choisi assez petit pour que $q(w_{\pm}) <0$. On a alors $q(w_+)$ ou $q(w_-)$ irrationnel puisque $q(w_+) + q(w_-)=2(q(v'') +r^2 q(v')) \notin \QQ$ et le sous-espace vectoriel $F$ engendré par $v,w_+$ ou le sous-espace vectoriel $F$ engendré par $v, w_-$ convient.

Nous venons de construire un sous-espace $F$ de $\RR^n$ tel que la restriction de $q$ à $F$ soit non dégénérée, indéfinie et irrationnelle. Notons $(u,v)$ une base rationnelle de $F$. Nous allons à présent montrer l'existence de $x\in \RR^n$ tel que le sous-espace $F'$ engendré par $u,v,x$ soit un sous-espace rationnel de dimension $3$ de $\RR^n$ tel que la restriction de $q$ à $F'$ soit non dégénérée, indéfinie et irrationnelle. Il existe $x\in \RR^n$ tel que le sous-espace vectoriel de~$\RR^n$ engendré par $u,v,x$ soit de dimension $3$, en restriction auquel $q$ est non dégénérée. En effet, il existe $x\in F^{\perp}$ tel que $q(x) \neq 0$ puisque $q$ est non dégénérée et $n\geq 3$. Par densité, on peut choisir $x\in \QQ^n$ de sorte que le sous-espace vectoriel $F'$ de $\RR^n$ engendré par $u,v,x$ soit de dimension $3$, tel que la restriction de~$q$ à~$F'$ soit non dégénérée. Comme $F'$ contient $F$, la restriction $q_{\mid F'}$ est encore indéfinie et irrationnelle. En choisissant une base $(e_1,e_2,e_3)$ à coefficients entiers de $F'$, on obtient que $q(\ZZ e_1+\ZZ e_2+\ZZ e_3)\subset q(\ZZ^n)$ est dense dans~$\RR$, en appliquant le théorème \ref{theos0} à la forme quadratique sur $\RR^3$ définie par $(X,Y,Z)\mto q(Xe_1+Ye_2+Ze_3)$.
\end{proof}




\backmatter
\bibliographystyle{jepalpha+eid}
\bibliography{xups07-03}
\end{document}
