https://d226lax1qjow5r.cloudfront.net/blog/blogposts/futurenow-hackathon-with-manipal-university-e-enterprise-and-vonage/futurenow-hackathon.png

マニパル大学、e&enterprise、VonageとのFutureNowハッカソン

最終更新日 November 24, 2022

所要時間:1 分

FutureNow Hackathon participants and staffFutureNow Hackathon participants and staff

ハッカソンについて

11月5日と6日、Vonageはe&enterpriseと提携しました。 e&エンタープライズおよび マニパル・アカデミードバイキャンパスで開催されたFutureNowハッカソンに参加しました。このハッカソンでは、MAHE のコンピュータ・サイエンス・プログラムの学生を招待し、24 時間の技術競争を行いました。

ハッカソンはVonage Developer AdvocateのBenjamin Aronov氏によるワークショップで幕を開けた。彼はVonage APIの概要を説明した後、AI Studioを使ってWhatsAppエージェントを構築するハンズオンデモを行いました。 AI Studioプラットフォームを使ってWhatsAppエージェントを構築した。学生たちはAI Studioのドラッグ&ドロップのインターフェース、強力なNLUエンジン、APIコールによる外部サービスとの接続方法について学びました。

その後、学生たちはAI主導のコミュニケーションAPIを活用し、組織の顧客関係改善を支援することに挑戦しました。9チームがVonage AI Studioプラットフォームを使用したソリューションを提出しました。優勝チームは、Brandon Savio Rodrigues、Jaison Thomas、Sania Ejaz、Shreesh ChaturvediからなるquadKernalsでした。

彼らのプロジェクトについて、そしてテクノロジー業界で働く将来への抱負について、さらに詳しく聞いてみた。

quadKernalsインタビュー

チーム内での役割分担は?誰が何をしたのか?

ジェイソン「Shreeshと私は、VonageのAIエージェントと対話するためのAPIコールを作成しました。HTTPのAIエージェントとのやり取りを学びました。つまり、セッションの作成、セッションへのアクセス、メッセージのやり取りです。また、AIエージェント側のイベント・アクセス管理システムも作成しました」。

サニア「ブランドンと私は、GIFのビデオとオーディオの同期を作りました。私がGIFを作成し、私たちは基本的にGIFと音声を同期させ、キーワードをGIFにマッピングする必要がありました。どのキーワードが入ってくるかによって、それを特定のアクションにマッピングするわけです。だから、基本的に4つのGIFがあって、それにマッピングする必要があったんだ"

ブランドン"音声合成インターフェースを使えるようにしたんだ。以前はループしてループしてループしていたんだけど、それを直したんだ。もうひとつ、サニアがドミノの各州をデザインしてくれたんだ。

コンピュータ・サイエンスの学位を取得した後の夢は何ですか?

シュリーシュ「ソフトウェア・エンジニアになりたいんだけど、もっと自立して、自分でプロジェクトを立ち上げたいんだ。フリーランサーみたいな感じかな。フルスタックの開発者になりたいと思っていますが、主にバックエンドに重点を置いています"

ジェイソン「一番給料のいい仕事。しかし、真面目な話、私は多くの人々に影響を与えるソリューションを構築するためにCSの世界に入った。何十億人もの人が使うアプリケーションを構築してきた。だから、そのレベルでアプリケーションを拡張できる人間になることが、私のやりたいことなんだ。だからシステム・アーキテクチャ。ネットワーキングのコースは楽しかった。

サニア「AIとMLにとても興味があるの。私たちはその副専攻を始めたばかりですが、私は人工知能と機械学習の修士号を取りたいと思っています。ニューラルネットワークをより深く理解し、自分の製品に貢献したいからです。研究論文や発表される記事を見ていると、どれも本当に興味深く思えるんだ」。

ブランドン「私の夢はサイバーセキュリティのスペシャリストになることです。サイバーセキュリティの知識を深めて、いつかスペシャリストになりたい。攻撃するのではなく、守るためにね。"

ハッカソンでは何を作ったのですか?

私たちはDominoというプロジェクトを作りました。これはチャット・アプリケーション用のビデオ・インターフェースです。私たちはGIFの束であるボットを作り、テキストをさまざまな出力やアクションにマッピングしました。つまり、どのようなテキストを言えば、それに関連したアクションを実行するかということです。つまり、「こんにちは」なら手を振る。あなたが話しているときは、ボットは聞いているように見えます。話しているときは、トーキングGIFを使う。何かわからないことがあれば、困った顔をします。

ドミノが解決する問題とは?

私たちは、ユースケースとしてイベントのアシスタントを選んだ。いつ GITEXがドバイで開催されたとき、多くのワークショップや出店がある巨大なイベントでした。レイアウトに迷うこともしばしばでした。自分がどこにいるのか、特定のセッションがどこで開催されているのか、セッションは何時に始まるのかを聞くために、イベント係の人を探さなければなりませんでした。そこで私たちは、その代わりにチャットボットに "このイベントは何時から何時までですか?"と問い合わせをさせたらどうだろうと考えました。そうすれば、イベント全体のナビゲーションがより速く簡単になります。このようなことをチャットボットが処理することで、ユーザー体験を大幅に向上させることができるのです。

そして、それはひとつの用途に過ぎない。しかし、テキストだけでなく、アニメーションのキャラクターと対話するインターフェースを構築することで、顧客体験を向上させることができる。つまり、チャットボットとの会話を避けようとするのではなく、キャラクターに話しかけることで体験を楽しむことができるのです。

ドミノを作りながら学んだことは?

シュリーシュ「私の専門ではなかったウェブ開発をたくさん学びました。REST APIのリクエストとレスポンスの扱い方や、データを使って新しいリクエストを動的に構築する方法を学びました。NLUではユーザーが自然に答えを入力できるため、テキストが制限されないからです"

ジェイソン"今回私がしなければならなかったのは、ドキュメントをよく調べることだった。既存のチュートリアルをただコピーするわけにはいかなかった。ドキュメントに目を通し、APIがどのように機能するのかを理解する。それは僕にとって新しい経験だった。普段は、APIがどのように機能するのかを理解するのにそれほど長い時間をかけることはない。それが楽しかった。

チャットボットの作成はとても簡単でした。通常、Pythonチャットボットの作成について読むと、NLPレイヤーのために多くのMLが必要で、辞書やケースを扱う必要があります。でもここでは、プラグアンドプレイで、必要なものを入れれば出力してくれます。インテント機能はとても便利でした。いくつかのステートメントを入れると、他のステートメントを提案してくれる。すでにあるものだから!だから、あんなに完成度の高いものを、あんなに素早く作ることができるなんて、本当にクールだったよ"

サニア「アニメーションの世界に足を踏み入れたのはこれが初めてで、とても興味深い経験でした。そのあとは、アニメーションを音声に同期させる作業でした。うまくいったときのアウトプットは本当に素晴らしかった。何度も、いろいろなやり方で、いろいろなケースで壊れていたのに、何とかうまくいったのは気持ちよかった。それが楽しかった。"

プロジェクトの技術的な実施はどうでしたか?

私たちはSQLデータベースを作りたかったのですが、時間の制約から my-json-serverを使って JSON オブジェクトをデータベースとして作成して GitHub に置き、my-json-server を使ってそのデータを提供します。

私たちのフロントエンドはHTMLとバニラJSでした。JavaScriptでAPIを呼び出し、JSONのレスポンスを返してもらい、それをフロントエンドに表示する。全体の流れはこうだ:

  1. ユーザーがメッセージを送信

  2. メッセージはAI Studioに送られ、AI StudioはHTTPエージェントを通してそれを処理し、どのようなレスポンスを返すべきかを決定する。

  3. 私たちの音声合成機能に応答を渡して話してください。

  4. 発話された内容に従って、どのアクションを実行するかをトーキングボットに伝える。

AI Studioの機能で驚いたものはありますか?

ジェーソン"インテンスがどれだけ良かったか"。ここは何のイベントなんだろう?-というクエリがあった。だから、"この場所はどこですか?"という表現を加えて、代わりに "目的地 "のような別のキーワードを尋ねることができるようにしたんだ。そうすると、「そうだ。そう、"destination "がそこにあり、"where is "がそこにある。そして、そのようなコンテキストを引き出すことができる。

サニア「表現の提案は本当に的確でした。一つ入れると、あなたが探しているものを認識した候補がたくさん出てくる。本当にいいものです」。

グループとして、そして個人として、次の目標は?

私たちは 大学テックフェストWhatsAppのボットで人々がコミュニケーションできるインターフェイスを作りたかったんです。でも今は、人々がTech Festで探しているものを見つけられるようなインタラクティブな方法を作ることができます。

シュリーシュ:「卒業までまだ3年あります。今回のハッカソンのように、実社会の経験を積むためにもっと多くの活動に参加しようと思っています。そして、もう2、3回優勝したいですね

ジェイソン「卒業まであと数ヶ月しかない。就職市場もあまり良くなさそうだし。でも、就活を始めないと。機械学習とシステム工学の修士課程にも応募しているんだ。"

サニア「間違いなく機械学習と人工知能の修士号ね。私もあと数カ月でジェイソンと一緒に修了するわ"

チェックアウト ジェイソンをLinkedInでチェックしてください!

The quadKernals team accepting their victory trophy.The quadKernals team accepting their victory trophy.

ループにとどまる

Vonageデベロッパーリレーションズチームが参加する開発者向けイベントについては、デベロッパーコミュニティ ページをご覧ください。.

他のVonage開発者をお探しですか?私たちの Vonage コミュニティ Slackまたは ツイッター.

シェア:

https://a.storyblok.com/f/270183/384x384/e4e7d1452e/benjamin-aronov.png
Benjamin Aronovデベロッパー・アドボケイト

Benjamin AronovはVonageの開発者支援者です。彼はRuby on Railsのバックグラウンドを持つ実績のあるコミュニティ・ビルダーです。Benjaminは故郷であるテルアビブのビーチを楽しんでいる。テルアビブを拠点に、世界最高のスタートアップの創設者たちと出会い、学ぶことができる。技術以外では、完璧なパン・オ・ショコラを求めて世界中を旅するのが好き。