Category: NEWS

セレブラス・システムズ、世界初の脳規模の人工知能ソリューションを発表

カリフォルニア州サニベール–(BUSINESS WIRE)–(ビジネスワイヤ) — 人工知能(AI)の計算を加速するソリューションのパイオニアであるセレブラス・システムズは、本日、世界初の脳規模のAIソリューションを発表しました。 人間の脳には、100兆個のシナプスがあります。最大のAIハードウェア・クラスターは、人間の脳規模の1%のオーダー、つまりパラメータと呼ばれる約1兆個のシナプス程でした。人間の脳の数分の1の規模であるにもかかわらず、これらのグラフィックスプロセッサーのクラスターは、広大なスペースとメガワットの電力を消費し、運用には専門のチームが必要となります。 本日、セレブラスは、小型冷蔵庫ほどの大きさのCS-2アクセラレーター1台を、120兆を超えるパラメータサイズのモデルをサポート可能にする技術を発表いたします。セレブラスの新しい技術ポートフォリオには、業界をリードする4つのイノベーションが含まれています – 新しいソフトウェア実行アーキテクチャであるCerebras Weight Streaming、メモリ拡張技術であるCerebras MemoryX、高性能インターコネクト・ファブリック技術であるCerebras SwarmX、そしてダイナミックなスパース性の採取技術であるSelectable Sparsityです。 Cerebras Weight Streamingテクノロジーは、モデルのパラメータをオフチップに保存しながら、オンチップの場合と同等の学習・推論性能を実現することを初めて可能にしました。この新しい実行モデルでは、計算機とパラメータストレージが分離されているため、研究者は柔軟にサイズと速度を個別に調整することができ、小型プロセッサの大規模クラスターで問題となっていたレイテンシーやメモリ帯域幅の問題が解消されます。これにより、ワークロードの分散モデルが劇的に簡素化され、ユーザーはソフトウェアを変更することなく、CS-2を1台から最大192台まで拡張できるように設計されています。 Cerebras MemoryXは、メモリ拡張技術です。MemoryXは、第2世代のCerebras Wafer Scale Engine (WSE-2)に最大2.4ペタバイトの高性能メモリを提供し、そのすべてがオンチップであるかのように動作します。CS-2はMemoryXにより、120兆個のパラメータを持つモデルをサポートすることができます。 Cerebras SwarmXは、Cerebras Swarmのオンチップ・ファブリックをオフチップに拡張した、高性能でAIに最適化された通信ファブリックです。SwarmXは、Cerebrasが最大192台のCS-2にまたがって最大1億6300万個のAIに最適化されたコアを接続し、協調して1つのニューラルネットワークを学習できるように設計されています。 Selectable Sparsityは、ユーザーがモデルのウェイトスパースのレベルを選択することができ、FLOPsと解決までの時間を直接短縮することができます。重みのあるスパース性は、ML研究のエキサイティングな分野ですが、グラフィックス・プロセッシング・ユニットでは非常に効率が悪いため、これまで研究が困難でした。選択可能なスパース性により、CS-2は作業を高速化し、非構造化スパース性や動的ウェイトスパース性など、利用可能なあらゆるタイプのスパースを使用して、より短時間で解答を得ることができます。 これらの技術の組み合わせにより、ユーザーはブレインスケールのニューラルネットワークを解き放ち、AIに最適化されたコアの巨大なクラスターに作業を分散させることが、ボタン一つで簡単にできるようになります。これにより、セレブラスは、モデルサイズ、コンピュートクラスターの馬力、および大規模でシンプルなプログラミングの新たなベンチマークとなります。 Cerebras Systemsの共同設立者であるアンドリュー・フェルドマンは、「本日、セレブラスは可能な限り最大のネットワークのサイズを100倍にすることで、業界を前進させました」と述べ、さらに「GPT-3のような大規模なネットワークは、これまで想像もできなかったことを可能にし、自然言語処理(NLP)の状況をすでに変えています。GPT-3のような大規模なネットワークは、すでに自然言語処理(NLP)の分野に変革をもたらし、これまで想像もできなかったことを可能にしています。業界では、1兆個のパラメータを持つモデルが登場していますが、私たちはその境界を2桁拡大し、120兆個のパラメータを持つブレインスケールのニューラルネットワークを実現します」と、コメントしています。 アルゴンヌ国立研究所のアソシエイトディレクターであるリック・スティーブンスは、「ここ数年、NLPモデルでは、洞察力はパラメータに比例して大きくなり、パラメータが多いほど結果が良くなることがわかっています。パラメータの容量を100倍にするCerebrasの発明は、業界を一変させる可能性を秘めています。初めて脳の大きさのモデルを探索できるようになり、研究と洞察の広大な新しい道が開かれるでしょう」と、述べています。…