FutureNow Hackathon mit der Manipal Universität, e& enterprise und Vonage

FutureNow Hackathon participants and staff

Über den Hackathon

Am 5. und 6. November hat Vonage in Zusammenarbeit mit e& enterprise und Manipal Akademie of Higher Education (MAHE), Dubai Campus für den FutureNow Hackathon. Der Hackathon lud Studenten des Informatikprogramms der MAHE ein, sich in einem 24-stündigen technischen Wettbewerb zu messen.

Der Hackathon begann mit einem Workshop des Vonage Developer Advocate Benjamin Aronov. Er gab einen Überblick über die Vonage-APIs und führte dann eine praktische Demo durch, bei der er einen WhatsApp-Agenten mit dem AI Studio Plattform. Die Teilnehmer lernten die Drag-and-Drop-Oberfläche von AI Studio, die leistungsstarke NLU-Engine und die Möglichkeit kennen, sich über API-Aufrufe mit externen Diensten zu verbinden.

Die Studenten wurden dann aufgefordert, KI-gesteuerte Kommunikations-APIs zu nutzen, um Unternehmen bei der Verbesserung ihrer Kundenbeziehungen zu unterstützen. Neun Teams reichten Lösungen ein, die die AI Studio Plattform von Vonage nutzen. Das Gewinnerteam war quadKernals, bestehend aus Brandon Savio Rodrigues, Jaison Thomas, Sania Ejaz und Shreesh Chaturvedi.

Wir haben das Team nach seinem Projekt und seinen Vorstellungen von einer Zukunft im Technologiebereich gefragt.

Ein Interview mit quadKernals

Was waren die verschiedenen Rollen im Team? Wer machte was?

Jaison: "Shreesh und ich haben die API-Aufrufe für die Interaktion mit den KI-Agenten von Vonage erstellt. Wir haben gelernt, wie man mit dem HTTP-KI-Agenten interagiert. Das heißt, wir haben die Sitzung erstellt, dann auf die Sitzung zugegriffen und Nachrichten hin- und hergeschickt. Wir haben auch das Event Access Management System auf der Seite des KI-Agenten entwickelt."

Sania: "Brandon und ich haben die Synchronisation zwischen Video und Audio der GIFs erstellt. Ich habe die GIFs erstellt, und dann mussten wir im Grunde die GIFs mit dem Audio synchronisieren, zusammen mit der Zuordnung der Schlüsselwörter zu den GIFs. Je nachdem, welches Schlüsselwort eingegeben wird, wird es also einer bestimmten Aktion zugeordnet. Wir hatten also im Grunde vier GIFs und mussten sie diesen zuordnen.

Brandon: "Ich habe die Text-to-Speech-Schnittstelle zum Laufen gebracht. Sie lief in einer Endlosschleife, und das habe ich behoben. Außerdem hat Sania die einzelnen Zustände für Domino entworfen, so dass die Grafik individuell gestaltet wurde."

Was ist Ihr Traumberuf nach dem Abschluss Ihres Informatikstudiums?

Shreesh: "Nun, ich würde gerne Software-Ingenieur werden, aber ich würde gerne unabhängiger sein, also meine eigenen Projekte für mich selbst entwickeln. Ein bisschen wie ein Freiberufler. Ich denke, ich würde gerne ein Full-Stack-Entwickler sein, aber mein Fokus würde hauptsächlich auf dem Back-End liegen."

Jaison: "Der Job, der am meisten einbringt. Aber ganz im Ernst: Ich bin in die Informatik gegangen, um Lösungen zu entwickeln, die vielen Menschen nützen, weil man das mit Computern machen kann, was in vielen anderen Bereichen nicht möglich ist. Die Menschen haben Anwendungen entwickelt, die von Milliarden von Menschen genutzt werden. Ich möchte also jemand sein, der Anwendungen auf diesem Niveau skalieren kann. Also Systemarchitektur. Der Kurs Networking hat mir sehr gut gefallen."

Sania: "Ich interessiere mich sehr für KI und ML. Wir haben gerade unsere Nebenfächer in diesem Bereich begonnen, und ich möchte meinen Master in künstlicher Intelligenz und maschinellem Lernen machen. Das ist der nächste Schritt, denn ich möchte ein tieferes Verständnis für alle neuronalen Netze bekommen und einige meiner eigenen Produkte dazu beitragen. Wir sehen uns die Forschungsarbeiten und die Artikel an, die veröffentlicht werden, und ich finde das alles sehr interessant.

Brandon: "Mein Traum ist es, ein Spezialist für Cybersicherheit zu werden. Ich hoffe, mein Wissen über Cybersicherheit zu vertiefen und eines Tages ein Spezialist zu sein. Zu verteidigen, nicht anzugreifen".

Was hast du für den Hackathon gebaut?

Wir haben ein Projekt namens Domino entwickelt. Es ist eine Video-Schnittstelle für deine Chat-Anwendung. Wir haben einen Bot erstellt, der aus einer Reihe von GIFs besteht, und wir haben den Text verschiedenen Ausgaben und Aktionen zugeordnet. Je nachdem, was für einen Text man sagt, führt er die entsprechende Aktion aus. Ein "Hallo" würde also eine Welle sein. Wenn du sprichst, sieht der Bot so aus, als würde er zuhören. Wenn er spricht, würde er das sprechende GIF verwenden. Und wenn er etwas nicht verstanden hat, würde er ein verwirrtes Gesicht machen.

Welches Problem wird mit Domino gelöst?

Wir haben uns für die Unterstützung von Veranstaltungen als Anwendungsfall entschieden. Wenn GITEX in Dubai stattfand, war es eine riesige Veranstaltung mit vielen Workshops und Ständen. Oft haben wir uns in der Anlage verirrt. Wir mussten nach einer Person suchen, die auf der Veranstaltung arbeitete, um zu fragen, wo wir uns befanden, wo eine bestimmte Sitzung stattfand oder um welche Uhrzeit eine Sitzung beginnen würde. Stattdessen dachten wir, wie wäre es, wenn wir einfach einen Chatbot hätten, der die Frage stellt: "Um wie viel Uhr findet die Veranstaltung statt?" und die Antwort gibt. So ist es viel schneller und einfacher, durch die gesamte Veranstaltung zu navigieren. Und solche Dinge können von einem Chatbot erledigt werden, um die Nutzererfahrung erheblich zu verbessern.

Und das ist nur ein Anwendungsfall. Aber durch den Aufbau einer Schnittstelle für die Interaktion mit einer animierten Figur anstelle von Text wird das Kundenerlebnis verbessert. Anstatt also zu versuchen, das Gespräch mit dem Chatbot zu vermeiden, werden sie das Erlebnis genießen, indem sie mit der Figur sprechen.

Was haben Sie beim Aufbau von Domino gelernt?

Shreesh: "Ich habe viel über Webentwicklung gelernt, was eigentlich nicht mein Spezialgebiet war. Ich habe gelernt, wie man mit REST-API-Anfragen und -Antworten umgeht und wie wir Daten nutzen können, um neue Anfragen dynamisch zu erstellen, da der Benutzertext nicht begrenzt ist, da die NLU es ihnen erlaubt, Antworten auf natürliche Weise einzugeben."

Jaison: "Diesmal musste ich die Dokumentation sehr gründlich durcharbeiten. Ich konnte nicht einfach ein bestehendes Tutorial kopieren. Ich musste die Dokumentation durchgehen und herausfinden, wie die APIs funktionieren. Das war eine neue Erfahrung für mich. Normalerweise verbringe ich nicht so viel Zeit damit, zu verstehen, wie eine API funktioniert. Das hat mir Spaß gemacht.

Und es war wirklich einfach, den Chatbot zu erstellen. Normalerweise, wenn man über die Erstellung von Python-Chatbots liest, ist viel ML für die NLP-Schicht erforderlich und dann muss man sich mit Wörterbüchern und Fällen und all dem beschäftigen. Aber hier konnte man einfach einstecken und loslegen; man gab ein, was man brauchte, und es lieferte einem den Output. Und die Intents-Funktion war sehr nützlich. Man gibt einige Anweisungen ein, und dann werden weitere Anweisungen vorgeschlagen. Es ist bereits vorhanden! Es war wirklich cool, etwas so Vollständiges und so schnell erstellen zu können."

Sania: "Das war das erste Mal, dass ich mich mit Animation beschäftigt habe, und es war eine sehr interessante Erfahrung. Danach ging es darum, die Animation mit dem Ton zu synchronisieren. Als ich das hinbekommen habe, war das Ergebnis wirklich schön. Es war ein gutes Gefühl, dass ich es irgendwie hinbekommen hatte, nachdem es immer wieder auf verschiedene Arten und Weisen schiefgegangen war. Das war also der spaßige Teil."

Wie war die technische Umsetzung des Projekts?

Wir wollten eine SQL-Datenbank erstellen, aber aus Zeitgründen haben wir my-json-server verwendet, um ein JSON-Objekt als Datenbank zu erstellen und es auf GitHub abzulegen, und dann my-json-server verwendet, um diese Daten bereitzustellen.

Unser Front-End bestand aus HTML und Vanilla JS. Mit JavaScript riefen wir die APIs auf, erhielten die JSON-Antworten zurück und zeigten sie dann im Frontend an. Der gesamte Ablauf wäre also wie folgt:

1. Benutzer sendet eine Nachricht

2. Die Nachricht wird an AI Studio gesendet, das sie über einen HTTP-Agenten verarbeitet und entscheidet, wie die Antwort lauten soll

3. Übergeben Sie die Antwort an unsere Text-To-Speech-Funktion zum Sprechen

4. Sagen Sie dem sprechenden Bot, welche Aktion er durchführen soll, je nachdem, was gesagt wurde.

Hat Sie eine bestimmte Funktion in AI Studio überrascht?

Jaison: "Wie gut die Absichten waren. Ich hatte die Frage: "Auf welcher Veranstaltung bin ich?" - also für den Ort. Also fügte ich als Ausdruck hinzu: "Wo ist dieser Ort?", und man könnte stattdessen ein anderes Schlüsselwort, wie "Zielort", abfragen. Und es würde sich nicht darum bemühen. Es würde erkennen: "Oh ja, 'Zielort' ist da und 'wo ist' ist da" - also muss es eine andere Ortsabsicht sein. Und es wäre in der Lage, einen solchen Kontext zu erstellen, was sehr, sehr cool ist.

Sania: "Die Vorschläge für Ausdrücke waren wirklich genau. Nachdem man einen Begriff eingegeben hat, bekommt man eine Menge Vorschläge, die irgendwie erkannt haben, wonach man sucht. Das ist wirklich gut."

Wie geht es für Sie als Gruppe und als Einzelperson weiter?

Wir haben unser Universität Tech Fest in ein paar Wochen und wir wollten eine Schnittstelle schaffen, über die die Leute über einen einfachen WhatsApp-Bot kommunizieren können. Aber jetzt können wir einen interaktiven Weg schaffen, damit die Leute finden können, was sie auf dem Tech Fest suchen.

Shreesh: "Ich habe noch 3 Jahre bis zu meinem Abschluss vor mir. Ich versuche, an mehr Aktivitäten teilzunehmen, um praktische Erfahrungen zu sammeln, wie diesen Hackathon. Und vielleicht noch ein paar mehr zu gewinnen!"

Jaison: "Mir bleiben nur noch wenige Monate bis zum Abschluss. Und auf dem Arbeitsmarkt sieht es nicht so toll aus. Aber ich muss mit der Jobsuche beginnen. Ich bewerbe mich auch für Masterstudiengänge in Maschinellem Lernen und Systemtechnik."

Sania: "Auf jeden Fall einen Master in Maschinellem Lernen und Künstlicher Intelligenz. Ich werde auch in ein paar Monaten mit Jaison abschließen."

Überprüfen Sie Jaison auf LinkedIn, wenn Sie Software-Ingenieure einstellen wollen!

The quadKernals team accepting their victory trophy.

Auf dem Laufenden bleiben

Um herauszufinden, auf welchen Veranstaltungen das Vonage Developer Relations Team demnächst vertreten sein wird, besuchen Sie unsere Developer Community Seite.

Suchen Sie nach anderen Vonage-Entwicklern? Beteiligen Sie sich am Gespräch auf unserem Vonage Community Slack oder senden Sie uns eine Nachricht auf Twitter.