Chez Inokufu, le confinement a rimé avec tête dans les nuages. En effet, nous en avons profité pour entamer la migration de notre technologie de traitement de données éducatives dans le Cloud.
En un an, notre base de données est passée de 17 000 ressources éducatives et formations à plus de 700 000 ! Avec le lancement en cours de Becomino sur la région Auvergne Rhône Alpes, nous avons vite vu que nous devions commencer à anticiper notre future infrastructure technique pour supporter notre croissance, aussi bien en nombre d’utilisateurs que celle de notre catalogue de ressources et de formations.
Jusqu’à présent nous avions une base de donnée classique et nous faisions tourner nos scripts de traitement de données sur nos propres machines, la nuit en général. Mais quand tu lances régulièrement des calculs qui mettent plus de 60h, ça commence à être compliqué à caser la nuit…
Bref, nous nous trouvions aux portes du royaume du “Big Data” et il était temps de passer au niveau supérieur si nous voulions continuer à avancer. J’ai toujours trouvé amusant les débats autour de ce qui définit le “Big” dans Big Data. Et bien là nous l’avons littéralement vécu au premier degré. Au fur et à mesure que notre volume de données augmentait, nous avons vu les temps de réponse de notre base donnée s’effondrer. Nous avons vu les temps de calcul de nos scripts s’envoler. Nous avons vu nos machines surchauffer au max de leur CPU/mémoire…
Il y a quelques années, cette situation vécue par de nombreuses startups tech aurait été à minima problèmatique. En 2020, cette situation a une solution : le Cloud Computing. On savait qu’on n’y couperait pas, le confinement nous a finalement donné l’impulsion à franchir le pas.
Après avoir évalué plusieurs fournisseurs Cloud depuis IBM à Microsoft Azure qui ont tous des offres très riches et abordables (en particulier pour les startups), nous avons finalement été conquis par l’offre aussi vaste que généreuse d’AWS (Amazon Web Service). Point notable, la majorité des services AWS sont désormais disponibles dans de nombreuses zones géographiques, nous permettant par exemple d’assurer que nos données soient stockées en Europe (Paris et Irelande entre autres) en accord avec la RGPD et nos valeurs de respect des données personnelles.
Nous avons rejoint le programme Partner Transformation Program (PTP) d’AWS en tant que Technology Partner et nous avons passé les derniers mois à nous former aux outils AWS et à transférer notre techno dans le Cloud. Cela a représenté beaucoup de travail, d’apprentissage, des heures à lire des pages et des pages de docs ou vidéos sur le net (de quoi faire un tableau Becomino Devenir un Pro d’AWS 😉) mais au final nous sommes très heureux de ce choix et des possibilités énormes de montée en échelle (scalability) désormais à notre portée en quelques clics. Quel bonheur de pouvoir démarrer, à la demande, une machine virtuelle de 96 CPU avec 384 Go de mémoire pour réaliser un calcul en 6h au lieu de 60h pour quelques dizaines d’euros ! Pour vous donner un ordre de grandeur, c’est la puissance combinée d’environ 50 ordinateurs individuels.
Nous sommes également fans de l’outil “SageMaker” qui, en dehors de son nom fort bien choisi, est particulièrement adapté à nos besoins en data science et machine learning. Cela facilite le travail collaboratif de notre équipe dev/data. Nous vous présenterons d’ailleurs dans quelques temps un modèle que nous avons développé en utilisant cet outil et les données du catalogue de formation MonCompteFormation.
Je vous invite donc à garder un oeil ouvert : nous avons pleins de nouveautés qui arrivent et qui sont, à degrés divers, le fruit de tout ce travail sous le capot. Je m’avancerais même à estimer que nous devrions largement pouvoir dépasser les 2 millions de ressources éducatives et formations d’ici la fin de l’année. De quoi couvrir l’apprentissage de beaucoup de compétences et de métiers en tension et émergents.
Bonne journée,
Matt