iroiro

ChatGPT

MosaicMLは、商用利用可能なオープンソースのLLM最新モデル「MPT-7B」を発表しました。MPT-7Bは、トランスフォーマーモデルで、デコーダーのみを備えており、67億のパラメータを持っています。MPTモデルは、GPTスタイルのデコーダーに特化し、パフォーマンスの最適化やトレーニングの安定性を高めるための改良が施されています。MPTモデルの訓練は効率的に行えます。MPT-7BとLLaMA-7Bは、12のタスクのうち6つで最高のスコアを獲得しており、ほぼ同等の品質を持っています。MPT-7Bは、MosaicMLプラットフォームとA100-80GBを搭載した単一のノードを使用してファインチューニングが可能であり、最大6万5000トークンの長いコンテキストを処理できます。これに対して、GPT-4は最大8000トークン、別のモデルでは最大32000トークンまで処理可能です。MPT-7Bの機能を示すために、『グレート・ギャツビー』の6万8000トークンからなる小説を使用してエピローグを生成するデモが行われました。LLMのプレトレーニングでは、モデルが入力に基づいてテキストを生成するように学習されます。MPT-7B-Chatでは、「Keras」というニューラルネットワークライブラリを使用して、絶滅の危機に瀕する野生動物の保護についての提案がなされています。

Bing AIの説明

「MPT-7B」とは、オープンソースで商用利用可能な大規模言語モデル（LLM）の新基準で、MosaicMLが導入したものです。このモデルは、GPT-4の2倍の長さの文章を受け付けることができます。
他のLLMモデルには、GPT-3、GPT-4、LaMDA（Bard）、BLOOM、LLaMAなどがあります。

https://atmarkit.itmedia.co.jp/ait/articles/2305/24/news060.html

LLM Dissertation How To Maximise Marks For Your Practice Focused Dissertation【電子書籍】[ Suzanne Reece ] 価格：550円 (2023/6/4時点) 楽天で購入