Thèse (F/H) Apprentissage dans les jeux pour les enchères de spectre licencié – 92320 Châtillon


§ Contexte global

Compte tenu des traffics grandissant et aux évolutions des usages de services data mobiles (streaming, gaming,…), les opérateurs font face à une demande grandissante en terme de traffics et débit. Le déploiement des systèmes de prochaine génération 5G a pour but d’adresser ce problème tout en permettant aux utilisateurs d’accéder à de nouveaux services très haut débit avec une qualité de service et d’expérience accrue. Cette nouvelle génération, comme les autres avant elle, repose sur la disponibiltité et l’utilisation de bandes de fréquences. Or le spectre à disposition de chaque opérateur arrive très vite à saturation suite aux besoins capacitaires toujours plus grands. Même si le refarming (réutiliser des anciennes bandes de fréquences pour une autre technologie) peut être une solution dans certains cas, les besoins grandissants des utilisateurs contraignent les opérateurs à régulièrement acquérir de nouvelles bandes de fréquences.

Ces acquisitions de licence de spectre sont réalisées, dans chaque pays, par le biais d’enchères organisées par les états .
Pour chaque filiale d’Orange , ces acquisitions ont des conséquences importantes :

  • à court terme via le coûts d’acquisition (à titre d’exemple, l’acquisition des fréquences 700 MHz en France a coûté 932 millions d’euros à Orange)
  • à plus long termes puisque la QoS de ses réseaux dépendra de l’obtention ou non de nouvelles bandes.

Ainsi, il apparaît comme capital de parvenir à obtenir un grand nombres de blocs de fréquences, tout en déboursant la plus petite somme possible. C’est à ce stade que cette thèse intervient, en ayant pour but de d’identifier des stratégies efficaces de participation, par le biais de méthodes d’apprentissage dans les jeux.

De nombreux aspects rendent difficiles l’identification de telles stratégie :

  • Les mécanismes d’enchères de spectre licencié sont souvent des familles d’enchères complexes sur lesquelles il est difficile d’avoir des résultats analytiques.
  • L’issue de ces enchères dépend également des stratégies de participation des compétiteurs (on parle alors d’un “jeu”)
  • Ces jeux sont de très grandes tailles : beaucoup de scénarios sont possibles (combinatoire des packages de bandes, plusieurs rounds, etc…)
  • Chaque acteur doit évoluer avec une connaissance partielle des informations cachées (budgets des compétiteurs, valorisation des nouveaux blocs de fréquences, etc…).

Disposer d’un outillage méthodologique d’aide à la décision (résultats théoriques et modules algorithmiques) permettant de faciliter la compréhension et la participation à des enchères de spectre licencié représenterait un atout indéniable pour le groupe.

En termes de valorisation interne, les axes d’études et les résultats de ces recherches seront partagés avec l’entité Group Spectrum Office, qui est en charge d’aider les filiales à participer aux enchères de spectre licencié.

  • formation demandée (master, diplôme d’ingénieur, domaine …) :

Le candidat devra être diplômé d’une école d’ingénieur ou titulaire d’un Master Recherche dans le domaine des Mathématiques Appliquées et/ou de la Modélisation

  • expérience souhaitée (stages, …) :

Le candidat devra avoir effectué dans son cursus un ou plusieurs stages de durée suffisante pour démontrer sa capacité à travailler en autonomie et à rédiger des rapports scientifiques

  • Des compétences préalables dans le domaine des probabilités, des algorithmes et du machine learning, ainsi que dans le domaine de la modélisation sont demandées. Des connaissances en théorie des jeux sont un plus.
  • Une bonne maitrise des langages de programmation (Python, R…) est indispensable.
  • Une bonne maîtrise de l’anglais est également indispensable, aussi bien en lecture (état de l’art), et écriture (rédaction d’articles) qu’à l’oral (présentation des résultats lors de conférences internationales).
  • Le candidat devra posséder des capacités rédactionnelles et un esprit de synthèse certains. L’autonomie, la curiosité, et l’ouverture d’esprit seront particulièrement appréciées pour ces travaux de recherche, ainsi que le dynamisme, la force de proposition, et les qualités de communication.
  • objectif scientifique de la thèse – verrous à lever

L’objectif principal de la thèse est de fournir un outillage méthodologique (résultats théoriques et des modules algorithmiques) permettant de faciliter la compréhension et la participation à des enchères de spectre licencié. Ces résultats requieront la compréhension des familles d’enchères utilisées usuellement pour le spectre licencié ainsi que la compréhension et l’utilisation de méthodes d’apprentissage dans les grands jeux.

Les familles d’enchères utilisées pour le spectre licencié (ex : SMRA, CCA) sont complexes et ont des propriétés qui leur sont propres [6]. Les premiers verrous sont de comprendre, analyser et exhiber les propriétés des mécanismes d’enchères pour le spectre licenciés et de proposer des modélisations pour ces familles d’enchères.

De plus, les jeux engendrés peuvent par ces familles d’enchères peuvent être de très grandes tailles (beaucoup de scénarios possibles, plusieurs rounds, etc…). Or l’apprentissage dans les grands jeux est un challenge considérable puisque cela nécessite la compréhension et l’application d’algorithmes très complexes (deep neural networks, tree search, etc…) comme ceux utilisés pour alphaGo [3]. Enfin, le jeu considéré est en plus à information incomplète (nous ignorons les budgets des compétiteurs et également la valeur que nous attribuons au spectre à acheter). Dans ce cas , il faut se tourner vers des algorithmes qui apprennent en situation d’incertitude (type deepStack [4], Libratus [5] utilisés pour résoudre le poker), mais qui doivent être transposés au cas où le nombre de joueurs est plus grand que deux et où l’information cachée est plus conséquente.

Ainsi, le principal verrou est de parvenir à comprendre et à utiliser des algorithmes à la pointe de l’état de l’art pour ensuite les adapter au cadre très spécifique des enchères.

  • approche méthodologique-planning
L’approche méthodologique proposée pour cette thèse repose sur la compréhension à la fois des mécanismes d’enchères étudiés et des algortihmes d’apprentissage à étudier. Ainsi, les deux principaux axes sont :

  • Etudier et implémenter les enchères passées pour identifier leurs propriétés et équilibres.
  • Implémentation d’algorithmes d’apprentissage sur des jeux ‘jouets’ et sur des petites instances d’enchères pour comprendre leur fonctionnement et leur caractéristiques.

Le planning proposé pour le travail de thèse est le suivant :

  • Etape 1 : étude bibliographique des mécanismes d’enchères, étude des enchères passées menées par GSO et étude bibliographique des algorithmes d’apprentissage (environ 6 mois)
  • Etape 2 : modélisation des grandes familles d’enchères (environ 6 mois)
  • Etape 3 : proposition/implémentation d’algorithmes d’apprentissage dans des jeux “jouets” à information incomplète (environ 6 mois)
  • Etape 4 : adaptation de ces algorithmes aux grands jeux issus des enchères de spectre (environ 1 an)
  • Etape 5 : rédaction (environ 6 mois)

Le doctorant intègrera le département « Modelling & Statistical Analysis » d’Orange Labs Networks, dont l’activité consiste principalement à réaliser des travaux de modélisation mathématique, d’optimisation et d’aide à la décision. Ces activités couvrent la modélisation de la prévision de l’évolution du trafic et de son impact sur les différents segments des réseaux fixe et mobile, l’estimation et la prévision de la consommation d’énergie des réseaux et l’optimisation des coûts de déploiement des nouvelles infrastructures réseaux.

  • Qu’est ce qui fait la valeur ajoutée de cette offre ?

L’apprentissage dans les grands jeux à information incomplète est sujet porteur, auquel les grands groupes mondiaux s’intéresse, sur un domaine à l’interface des mathématiques, de l’algorithmie et de l’économie. De plus, l’application sur les enchères de spectre licencié représente un enjeu capital pour Orange et l’occasion pour le doctorant de voir son travail avoir un impact . Le doctorant pourra confronter ses résultats et échanger avec l’entité responsable de la participation aux enchères de toutes les filiales Orange. Il pourra valoriser ses travaux sous forme de communications scientifiques (conférences et revues).

[1] Research Paper: mechanism design for spectrum and connectivity marketplaces, M.Touati and A. Bechler, 2019.
[2] Thèse: jeux d’acteurs et mécanismes d’enchères pour la gestion du spectre dans les réseaux 5G, A.Chouayakh, 2020.
[3] Mastering the game of Go with deep neural networks and tree search, D.Silver et al., Nature, 2016.
[4] DeepStack: Expert-Level Artificial Intelligence in No-Limit Poker, M.Moravčík et al., Science, 2017.
[5] Superhuman AI for heads-up no-limit poker: Libratus beats top professionals, N.Brown and T.Sandholm, Science, 2018.
[6] Handbook of spectrum auction design, Cambridge University Press, 2017.



Source link

Soyez le premier à commenter

Poster un Commentaire

Votre adresse de messagerie ne sera pas publiée.


*


+ 9 = 13