GKE gaat voor gigantisch: 65.000 nodes voor LLM’s met biljoen parameters

Google ondersteunt vanaf nu tot wel 65.000 Kubernetes-nodes om generatieve AI-modellen te trainen. Dat is naar eigen zeggen een tienvoud van wat concurrerende diensten aankunnen. Naar verluidt bevat GPT-4 van OpenAI 1,8 biljoen parameters, maar met 405 miljard parameters bereikt Llama 3’s grootste variant het hoogste aantal op dit gebied met openlijk beschikbare informatie erover. […]
techzine
14-11-2024 16:38