31時間耐久ハッカソン記

はじめに

少し前の話ですが、IVSというスタートアップのイベントでハッカソンにボスと参加しました。
テーマは「AI活用」です。

ボスはマーケチームの方々と一緒に東京から京都に行ってリアル参戦、私は影武者のつもりでしたがいつの間にか参加メンバーに名前入れてもらっていたようで公式に参加したことになっていました。

就労時間以外は家事育児など日常があるので自宅から参加です。

すごく楽しくていい経験だったので少し前の出来事ですが振り返ります。

ハッカソンとは

限られた時間内にチームでアイデアを形にする開発イベントです。

マーケチームのボス(CEOです。マーケコンサルするような強強マーケター)が出したアイデアを形にすべく開発しました。

アイデア

普段開発しているのがECアプリで、そこに案内役としてアバター(店員的な)を表示させて画面の前にいる時は音声で買い物の案内をする、画面から離れても音声流す、チャットでも買い物のサポートをするというものです。

ちなみに案確定は当日で事前情報もなしです。
つまり、、

必要な技術要素

• 音声認識

• 映像認識

• アバター表示

• AIチャット

• ECサイトUI

スケジュール

水曜の11時開会式〜翌木曜の18時発表というスケジュールでした。

つまり、寝ずに稼働して31時間です。

いけるん？？経験ないことばっかりなのに、、ってなりました。

普通に勤務時間だけでやるの無理なので、夜中もMeet繋いで駄弁りながら2時半まで書いてました。もちろん私は平日なので6時起きです。
「明日10時始業でいいっすよ〜」って言われたんですが、朝6時から8時前までは家のことでフル稼働なので、普通に8時に始業してほんとにタフですねって言われてます。

実質、ハッカソンは気力・体力の勝負

技術スタック

Next.js✖️TypeScriptです。

バックエンドも含めてです。私の得意でやらせてもらいました。

私の役割

私の役割は以下の通りです

• ログイン機能(supabaseで楽々)

• アバター

• AIチャットのベース

• AIチャットエンドポイントのベース

• 音声連携処理(映像認識はボスが実装)

• EC UI構築

AIチャットのベース機能と、音声出力する内容と間隔などの調整、ECのUIとアバターが私の役目でした。

出来なかったこと

終わる数時間前に出力する音声を人っぽく、機械的なのはNGって言われまして、いろんな音声APIを探していたのですが、最終的にこのブログで実装されているopenAIのText-to-Speech APIを使おうとしましたが、なんか謎に429エラー返ってきまくって出来ませんでした。
チャットでも結構429エラー返ってきて、なんとか動いたとしても発表するときに429エラー出たら最悪だよねってことで、機械的な音声のままでいくことになりました。

ざっくりですが、

音声検知
⇨文字に変換
⇨リクエスト(通信)
⇨AIで回答のリクエスト(通信)
⇨音声に変換リクエスト(通信)
⇨レスポンスでFEに音声データを返す
⇨音声流す

こんな流れになるので、どうしても処理に時間かかっちゃうんですよね、、
このロジックだと会話してる風にはできないよねってなって諦めました。
時間制限が厳しかったので諦めたのですが、どうするのが良かったのか気になっています。

苦労したこと

最初の課題が「アバターってどうやって動かすん？」
調べた中にはよさげなサービスもありましたが、会話には向かず断念。

最終的には、fbxファイル形式のアバターを作ってもらい、@react-three/fiberで表示させました。
でも、「元々動かないアバター」を「動かそう」としていて動かないという沼にハマり…
アバター作成するツール使っているから動かす処理書けば動くと思ってたら、元々動かないアバターは動かないと後で知りました。

原因がわかるまで深夜2時半でしたｗ

ボスは画面前に人がいるいないの判断して人がいたら「へい、らっしゃい！」と言わせるようなのを夜な夜な作っていました。
ちょくちょくお互いできたものを見せ合いながら共に頑張りました。

感想

新しい技術と向き合い、短時間で形にするハッカソンは技術力と体力の総合戦だと思いました。

寝る時間とってたらできんやろこれって思いました！

普段8時〜17時まで仕事していますが、17時になったら「すみません、抜けます〜！諸々片付けてきます〜」と出ていき、子供たちを迎えに行きご飯を用意し、たべさせ片付けて、お風呂に入れて歯磨きして寝かせ、21時頃に「もどりました〜」って復活しました。
そこから2時半まで😂

楽しいと感じることを仕事にしているんだなって本当に感じます。
じゃなかったら普通に苦痛だと思います。
私は楽しめているので頼まれなくてもやってると思います。(そもそも夜中までやることは頼まれてはない、終わらないからやっているだけw)

わかんねぇ、動かねぇ、こうと違うんか、、あぁハゲそうだ。って言いながら😌
claudeもフル活用でしたが、AIが生成するコードには雑さもあって、自分の理想とのギャップに悶絶しながらも、時間との勝負で動けば良し！と割り切る経験もできました。

まとめ

ハッカソン、本当にいい経験でした。
参加したってポートフォリオにかけるよって言われたので私の実績として誇ろうと思います。

ボスからは後日京都のお土産が自宅に届きました。
多少貢献できたようで嬉しかったです。

開発って楽しいなぁ〜〜と改めて感じました。