Appleは、AIアプリケーションに適用される速度を大幅に向上させる新しいテキスト生成技術を使用してLLMまたは大規模言語モデルを強化するために、コンピュータ技術企業NVIDIAと提携することに関する情報を公開した。
11月にAppleはReDrafter（オープンソースのRecurrent Drafter）をリリースしました。これは、動的ツリーアテンションとビームサーチを組み合わせた技術で、テキスト生成を高速化します。ツリーアテンションはシーケンス内の不要な重複を排除して効率を高め、ビームサーチは可能性のあるテキストシーケンスをナビゲートしてより良い結果を探します。
Appleは、NVIDIAが開発したTensorRT-LLM構造に必要な技術を活用し、NVIDIAのGPU上で実行される大規模言語モデルを改善しました。これにより、ユーザーが経験するレイテンシ、消費電力、GPU使用量が削減されます。ご興味のある開発者の方は、NVIDIA開発者ブログとAppleのウェブサイトで詳細情報をご覧ください。
