💻Apple M5 Max: Llama 70B no Café da Esquina
O novo MacBook Pro com M5 Max roda Llama 70B - um modelo que precisava de $40.000 em GPUs há 18 meses - a 20-30 tokens por segundo. Por $3.499. 128GB de memória unificada, 4x mais rápido em IA que o M4 Max. A revolução da IA local acabou de ficar portátil.
Apple M5 Max MacBook Pro - 4x faster AI, 128GB unified memory, run Llama 70B local at 20-30 tokens/sec for 3499
— @JoshKale View on X
