iroiro

ChatGPT

マサチューセッツ工科大学の学生が、オープンソースの70億パラメータの大規模言語モデル「Alpaca」がiPhone14でローカルで動作することを確認した。Alpacaはスタンフォード大学のコンピュータ科学者のグループが微調整したモデルであり、同様に一般人が基礎となるソースコードにアクセスすることで自分のハードウェアで画像生成モデルを実行できる「StableDiffusion」と比較された。Metaはオープンソースで公開された新しいLLM「LLaMA」を発表し、3日後にリリースされた微調整版の対話モデル「ChatLLaMA」は、人間によるフィードバックを用いた強化学習を採用し、学習時間がChatGPTより15倍速いと主張している。さらに、軽量版の「llama.cpp」がGitHubで公開され、LLaMA7Bのチューニング版「Alpaca7B」がリリースされた。これらのモデルは、OpenAIの"text-davinci-003"に似た挙動を示すが、より性能の低いハードウェアでも動作する。

Bing AIの説明

「Alpaca」とは、Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行った、オープンソースでよりよい命令追従性を実現した大規模言語モデルです。先日、日本の研究者が「Alpaca」を使用して、GPT-3.5に匹敵するチャットAIを構築可能であることを発表しました。
「Alpaca」は、先に述べたように、Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行ったものであり、オープンソースでありながら、より良い命令追従性を実現しています。また、低コストで生成された命令追従型の学習データを使用して学習しています。

https://www.axion.zone/ai-38/

日経サイエンス2023年5月号 [雑誌]【電子書籍】 価格：1,466円 (2023/3/31時点) 楽天で購入