ActionCableなら簡単? 生成 AIの応答をタイピングアニメーションで表示。実装、コスト削減、テスト、運用まで。
kaibadash • October 25, 2024 • Tokyo, Japan • Japanese • Talk

https://kaigionrails.org/2024/talks/kaibadash/

【発表概要】
ChatGPT をはじめとする LLM API は、レスポンスを全て受け取るのには時間がかかりますが、ストリーミングでデータを受け取ることができます。ストリーミングで得た結果をタイピングアニメーション風に表示することで、Web API としては遅い LLM を使いつつも UX を向上させることができます。
Rails でこれを実現するには ActionCable を使うのが簡単そうな一方で、本番環境での運用例は少なく、以下のような不安が生まれてきました。

生成結果が数文字ごとに大量に渡されるがそのままフロントエンドに返して大丈夫か
LLM へのプロンプト作成が重い処理の場合、非同期で動作させたいがどんな構成にすべきか
コネクションを長時間占有するがアプリケーションサーバで ActionCable を動作させてよいのか
高い API なので開発環境のコストが気になる
テストしづらい
本トークでは、LLM と ActionCable を用いた実装、テスト、インフラ構成のポイントと、各フェーズでの課題解決方法について紹介します。

【発表者】
kaiba
GitHub https://github.com/kaibadash

Kaigi on Railsは、初学者から上級者までが楽しめるWeb系の技術カンファレンスです。
https://kaigionrails.org/

Kaigi on Rails 2024