איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

עושים תוכנה עם חן פלדמן ועמית בן דור Osim Tochna by PI Media

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה...View more