FutureNow Hackathon avec l'université de Manipal, e& enterprise et Vonage

FutureNow Hackathon participants and staff

A propos du Hackathon

Les 5 et 6 novembre, Vonage s'est associé à e& entreprise et Manipal Academy de l'enseignement supérieur (MAHE), campus de Dubaï, pour le FutureNow Hackathon. Ce hackathon invitait les étudiants du programme d'informatique de la MAHE à participer à une compétition technique de 24 heures.

Le hackathon a débuté par un atelier animé par Benjamin Aronov, Developer Advocate de Vonage. Il a donné un aperçu des API de Vonage et a ensuite fait une démonstration pratique, en construisant un agent WhatsApp à l'aide de l'outil AI Studio de Vonage. Les étudiants ont découvert l'interface drag-and-drop d'AI Studio, son puissant moteur NLU et la façon dont il peut se connecter à des services extérieurs grâce à des appels d'API.

Les étudiants ont ensuite été mis au défi d'exploiter les API de communication basées sur l'IA pour aider les organisations à améliorer leurs relations avec les clients. Neuf équipes ont soumis des solutions en utilisant la plateforme AI Studio de Vonage. L'équipe gagnante était quadKernals, composée de Brandon Savio Rodrigues, Jaison Thomas, Sania Ejaz et Shreesh Chaturvedi.

Nous avons interrogé l'équipe sur son projet et sur ses aspirations à travailler dans le domaine de la technologie.

Entretien avec quadKernals

Quels étaient les différents rôles au sein de l'équipe ? Qui faisait quoi ?

Jaison : "Shreesh et moi avons créé les appels API pour interagir avec les agents IA de Vonage. Nous avons appris à interagir avec l'agent HTTP AI. Il s'agit donc de créer la session, d'y accéder et d'envoyer des messages dans les deux sens. Nous avons également créé le système de gestion de l'accès aux événements qui se trouve du côté de l'agent d'IA.

Sania : "Brandon et moi avons créé la synchronisation entre la vidéo et l'audio des GIF. J'ai créé les GIFs, puis nous avons dû synchroniser les GIFs avec l'audio, tout en associant les mots-clés aux GIFs. Ainsi, en fonction du mot-clé qui entre, il est associé à une action particulière. Nous avions donc quatre GIF et nous devions les faire correspondre".

Brandon : "J'ai fait fonctionner l'interface de synthèse vocale. Elle avait l'habitude de tourner en boucle et de continuer à tourner, et j'ai corrigé cela. Sania a également conçu chacun des états de Domino, de sorte que les illustrations étaient personnalisées.

Quel est le métier dont vous rêvez après avoir obtenu votre diplôme en informatique ?

Shreesh : "J'aimerais être ingénieur en informatique, mais j'aimerais être plus indépendant, créer mes propres projets. Un peu comme un freelance. Je pense que j'aimerais être un développeur complet, mais je me concentrerais surtout sur le back-end."

Jaison : "Le travail qui paie le mieux. Mais très sérieusement, je me suis lancé dans les sciences de l'information pour élaborer des solutions ayant un impact sur un grand nombre de personnes, parce qu'il est possible de le faire avec des ordinateurs, ce qui n'est pas le cas dans beaucoup d'autres domaines. Des gens ont créé des applications que des milliards de personnes utilisent. C'est donc ce que je veux faire en tant que personne capable d'adapter des applications à ce niveau. Donc l'architecture des systèmes. J'ai apprécié notre cours sur les réseaux".

Sania : "Je m'intéresse beaucoup à l'intelligence artificielle et à l'apprentissage machine. Nous venons juste de commencer nos cours mineurs dans ce domaine, et je veux faire mon master en intelligence artificielle et en apprentissage automatique. C'est la prochaine étape, car je veux mieux comprendre tous les réseaux neuronaux et y apporter mes propres produits. Nous voyons les rapports de recherche et les articles qui sont publiés, et tout cela me semble vraiment intéressant".

Brandon : "Mon rêve est de devenir un spécialiste de la cybersécurité. J'espère approfondir mes connaissances en matière de cybersécurité et devenir un jour un spécialiste. Défendre, pas attaquer".

Qu'avez-vous construit pour le hackathon ?

Nous avons développé un projet appelé Domino. Il s'agit d'une interface Video pour votre application de chat. Nous avons créé un bot composé d'un ensemble de GIF et nous avons associé le texte à différentes sorties et actions. Ainsi, en fonction du type de texte que vous prononcez, il effectue l'action correspondante. Ainsi, un "salut" se traduit par un signe de la main. Lorsque vous parlez, le robot a l'air d'écouter. Lorsqu'il parle, il utilise le GIF parlant. Et s'il ne comprend pas quelque chose, il affiche un visage confus.

Quel problème Domino résout-il ?

Nous avons choisi l'assistance aux événements comme cas d'utilisation. Lorsque le GITEX s'est déroulé à Dubaï, il s'agissait d'un événement de grande envergure avec de nombreux ateliers et stands. Nous nous sommes souvent retrouvés perdus dans la disposition des lieux. Nous devions chercher une personne travaillant sur l'événement pour lui demander où nous nous trouvions, où se tenait une session particulière ou à quelle heure elle commençait. Au lieu de cela, nous nous sommes dit : "Et si nous avions un chatbot qui nous demandait à quelle heure se tient tel ou tel événement et qui nous donnait la réponse ? La navigation dans l'ensemble de l'événement est ainsi beaucoup plus rapide et plus facile. Ce genre de choses peut être géré par un chatbot pour améliorer considérablement l'expérience de l'utilisateur.

Et ce n'est qu'une utilisation. Mais en créant une interface permettant d'interagir avec un personnage animé au lieu d'utiliser uniquement du texte, on améliore l'expérience du client. Ainsi, au lieu d'essayer d'éviter de parler au chatbot, ils apprécieront l'expérience en parlant au personnage.

Qu'avez-vous appris en construisant Domino ?

Shreesh : "J'ai beaucoup appris en matière de développement web, ce qui n'était pas vraiment ma spécialité. J'ai appris à gérer les demandes et les réponses de l'API REST et à utiliser les données pour créer de nouvelles demandes de manière dynamique, car le texte de l'utilisateur n'est pas limité puisque l'ULA lui permet d'entrer des réponses de manière naturelle."

Jaison : "Ce que j'ai dû faire cette fois-ci, c'est lire attentivement la documentation. Je ne pouvais pas me contenter de copier un tutoriel existant. Je devais parcourir la documentation et comprendre le fonctionnement des API. C'était une nouvelle expérience pour moi. D'habitude, je ne passe pas autant de temps à comprendre le fonctionnement d'une API. J'ai apprécié cette expérience.

Et il a été très facile de créer le chatbot. Normalement, lorsque vous lisez des articles sur la création de chatbots en Python, il y a beaucoup de ML impliqué pour la couche NLP, puis pour traiter vos dictionnaires, vos cas et tout le reste. Mais ici, il suffit de brancher et de jouer ; mettez ce dont vous avez besoin et il vous donnera votre résultat. La fonction "Intents" s'est avérée très utile. Par exemple, vous mettez certaines déclarations et il continue à suggérer d'autres déclarations, vous n'avez pas besoin de construire tout cela. Tout est déjà là ! Pouvoir construire quelque chose d'aussi complet et d'aussi rapide était vraiment génial.

Sania : "C'était la première fois que je me lançais dans l'animation, et ce fut une expérience très intéressante. Ensuite, il a fallu synchroniser l'animation avec l'audio. Lorsque j'ai réussi à le faire, le résultat était vraiment agréable. Je me sentais bien d'avoir réussi à faire fonctionner le système après les nombreuses fois où il s'est brisé de différentes manières, dans différents cas. C'était donc la partie la plus amusante.

Quelle a été la mise en œuvre technique du projet ?

Nous voulions créer une base de données SQL mais, faute de temps, nous avons utilisé my-json-server pour créer un objet JSON en tant que base de données et le placer sur GitHub, puis utiliser my-json-server pour servir ces données.

Notre interface était composée de HTML et de Vanilla JS. Avec JavaScript, nous appelions les API, récupérions les réponses JSON et les affichions dans le front-end. Le flux complet était donc le suivant :

1. L'utilisateur envoie un message

2. Le message est envoyé à AI Studio, qui le traite par l'intermédiaire d'un agent HTTP et décide de la réponse à apporter.

3. Transmettez la réponse à notre fonction de synthèse vocale pour qu'elle soit prononcée.

4. Indiquer au robot parlant l'action à effectuer en fonction de ce qui a été dit

Une fonction spécifique d'AI Studio vous a surpris ?

Jaison : "La qualité des intentions. Je me suis demandé à quel événement je participais. -donc c'est pour le lieu. J'ai donc ajouté l'expression " où se trouve cet endroit ? " et vous pourriez demander un autre mot-clé, comme " destination ". Et il ne se battrait pas pour cela. Il se rendrait compte que "Oh oui, 'destination' est là et 'où est' est là" - il doit donc s'agir d'une autre intention de localisation. Il est alors en mesure d'extraire le contexte de cette manière, ce qui est vraiment très intéressant.

Sania : "Les suggestions d'expressions étaient vraiment précises. Une fois que vous en avez saisi une, vous obtenez de nombreuses suggestions qui ont en quelque sorte reconnu ce que vous recherchiez. C'est vraiment bien."

Quelles sont les prochaines étapes pour vous, en tant que groupe et individuellement ?

Nous avons notre University Tech Fest se tiendra dans quelques semaines et nous voulions créer une interface permettant aux gens de communiquer par le biais d'un simple bot WhatsApp. Mais maintenant, nous pouvons créer un moyen interactif pour que les gens puissent trouver ce qu'ils cherchent à la Tech Fest.

Shreesh: "Il me reste encore trois ans avant d'obtenir mon diplôme. J'essaie de participer à davantage d'activités pour acquérir une expérience concrète, comme ce hackathon. Et peut-être en gagner d'autres !"

Jaison : "Il ne me reste que quelques mois avant d'obtenir mon diplôme. Et le marché de l'emploi n'a pas l'air terrible. Mais je dois me mettre à la recherche d'un emploi. Je postule également à des masters en apprentissage automatique et en ingénierie des systèmes."

Sania : "Sans aucun doute un master en apprentissage automatique et en intelligence artificielle. Je le terminerai également dans quelques mois avec Jaison."

Vérifier Jaison sur LinkedIn si vous recrutez des ingénieurs logiciels !

The quadKernals team accepting their victory trophy.

Rester dans le coup

Pour connaître les prochains événements auxquels l'équipe des relations avec les développeurs de Vonage participera, consultez notre page Communauté des développeurs des développeurs.

Vous cherchez d'autres développeurs de Vonage ? Rejoignez la conversation sur notre Communauté Vonage Slack ou envoyez-nous un message sur sur Twitter.