הרכישה מדגישה את מחויבותה של רד האט לאפשר ללקוחות לספק כל יישום או עומס עבודה – כולל AI – לכל אורך הענן ההיברידי, החל מאתרים מקומיים, עננים ציבוריים ועד לקצה. Neural Magic מתמחה בתחום הנדסת ביצועי Gen AI, אופטימיזציה מתקדמת של מודלי שפה גדולים וניצול מקסימלי של משאבי GPU ו-CPU.
רד האט (Red Hat Inc), הספקית המובילה בעולם של פתרונות קוד פתוח, הודיעה על רכישת חברת Neural Magic, חלוצה בתחום התוכנה והאלגוריתמים המאיצים עומסי עבודה באמצעות Gen AI. מומחיותה של Neural Magic בהנדסת ביצועים ומחויבותה לקוד פתוח עולות בקנה אחד עם החזון של רד האט בדבר עומסי עבודה מבוססי AI עתירי-ביצועים, בכל מקום ברחבי הענן ההיברידי.
בעוד כי ההבטחה של Gen AI שולטת בחלק גדול מהנוף הטכנולוגי של ימינו, מודלי השפה הגדולים (LLMs) העומדים בבסיס מערכות אלה ממשיכים לגדול. כתוצאה מכך, בניית שירותי LLM חסכוניים, מאובטחים ואמינים דורשת כוח מחשוב משמעותי, משאבי אנרגיה ומיומנויות תפעוליות מיוחדות. אתגרים אלו מרחיקים מארגונים את היתרונות של AI פרטי מותאם אישית, מוכן לפריסה ומודע יותר לאבטחה.
רד האט מתכוונת להתמודד עם אתגרים אלו על ידי הנגשת עולם ה-Gen AI לארגונים רבים באמצעות החדשנות הפתוחה של vLLM. vLLM הוא פרויקט קוד פתוח מונחה-קהילה להנגשת מודלים כשירות. פרויקט vLLM מאפשר הנגשת שירותים מולטי-מודאליים (טקסט, עיבוד תמונה וכו׳) עם תמיכה בכל משפחות המודלים המרכזיים. ההובלה של Neural Magic בפרויקט vLLM בשילוב עם פורטפוליו טכנולוגיות AI בענן ההיברידי של רד האט יספקו לארגונים בסיס מהימן לבניית אסטרטגיות AI העונות על הצרכים הייחודיים שלהם, בכל מקום שבו הנתונים שלהם נמצאים – בעלות אופטימלית ובאופן מאובטח.
עתיד Gen AI המוכן לענן ההיברידי
Neural Magic נוסדה ב-2018 במטרה לבצע אופטימיזציה למודלי למידה עמוקה. עם המומחיות של Neural Magic בהנדסת ביצועים, רד האט שואפת להאיץ את חזונה לעתיד ה-AI, המופעל על ידי פורטפוליו טכנולוגיות ה-AI שלה. רד האט, שנבנתה כדי לפרוץ את אתגרי ה-AI הארגוני בקנה מידה רחב, משתמשת בחדשנות בקוד פתוח כדי לקדם את הדמוקרטיזציה של הגישה לכוח הטרנספורמטיבי של ה-AI באמצעות מודלים בעלי רישיון קוד פתוח שיכולים לרוץ בכל מקום שנדרש ברחבי הענן ההיברידי – במרכזי נתונים ארגוניים, על עננים מרובים ובקצה.
זאת בנוסף ליכולות כוונון (Fine-Tuning) המאפשרות לארגונים להתאים אישית בקלות רבה יותר LLMs לנתונים פרטיים ומקרי השימוש שלהם עם טביעת רגל אבטחתית חזקה יותר; מומחיות באופטימיזציה והנדסת ביצועים וכתוצאה מכך, יעילות תפעולית ותשתיתית גבוהות יותר; אקו-סיסטם של שותפים מבוסס קוד פתוח ומבני תמיכה המאפשרים ללקוחות סט אפשרויות גדול יותר – החל מפלטפורמות וכלים, ל-LLMs ועד חומרת שרתים מאושרת מול ספקי החומרה.
המובילות של vLLM לשיפור Red Hat AI
Neural Magic משתמשת במומחיות ובידע שלה ב-vLLM כדי לאפשר ללקוחות לייעל, לפרוס ולהרחיב עומסי עבודה של LLM בסביבות ענן היברידי עם שליטה מלאה על בחירת התשתית, מדיניות האבטחה ומחזור החיים של המודל. Neural Magic מפתחת גם מחקר אופטימיזציה של מודלים, בונה מדחס LLM ומתחזקת מאגר של מודלים ממוטבים מראש המוכנים לפריסה עם vLLM.
Red Hat AI תסייע ללקוחות להפחית את עלויות ה-AI ואת מחסומי המיומנות באמצעות טכנולוגיות עוצמתיות, כולל:
Red Hat Enterprise Linux AI (RHEL AI) – פלטפורמת כוונון למודלי שפה גדולים, המאפשרת בדיקה והרצה בצורה חלקה של משפחת מודלי השפה הגדולים IBM Granite ומנגישה את עולם ה-GenAI בצורה פשוטה לכל משתמש קצה.
Red Hat OpenShift AI – פלטפורמת AI המספקת כלים לפיתוח, אימון, שירות וניטור מהירים של מודלים של למידת מכונה בסביבות Kubernetes מבוזרות באתרים מקומיים, בענן הציבורי או בקצה.
ההובלה הטכנולוגית של Neural Magic בתחום ה-vLLM תשפר את יכולתה של Red Hat AI לתמוך בפריסות LLM בכל מקום ברחבי הענן ההיברידי עם יכולות אופטימיזציה, חיסכון בעלויות ואבטחה.
מאט היקס, נשיא ומנכ"ל רד האט, אמר כי, "עומסי עבודה של AI צריכים לרוץ בכל מקום בו נתוני הלקוחות נמצאים ברחבי הענן ההיברידי; זה הופך פלטפורמות וכלים גמישים, מתוקננים ופתוחים להכרח, מאחר והם מאפשרים לארגונים לבחור את הסביבות, המשאבים והארכיטקטורות המתאימים ביותר לצרכי התפעול והנתונים הייחודיים שלהם. אנו נרגשים להשלים את פורטפוליו ה-AI ממוקד-הענן ההיברידי שלנו עם חדשנות ה-AI פורצת הדרך של Neural Magic ולקדם את היוזמה שלנו להיות לא רק 'רד האט' של הקוד הפתוח, אלא גם 'רד האט' של ה-AI".
בריאן סטיבנס, מנכ"ל Neural Magic, הוסיף כי, "הקוד הפתוח הוכיח שוב ושוב שהוא מניע חדשנות באמצעות הכוח של שיתוף פעולה קהילתי. ב-Neural Magic קיבצנו כמה מהכישרונות המובילים בתעשייה בהנדסת ביצועי AI עם משימה ייחודית של בניית יכולות שירות LLM פתוחות, חוצות-פלטפורמות ויעילות במיוחד. ההצטרפות לרד האט היא לא רק התאמה תרבותית, אלא תועיל לחברות גדולות וקטנות במסעות טרנספורמציית ה-AI שלהן".
דריו גיל, סגן נשיא בכיר ומנהל המחקר ב-IBM, ציין כי, "כאשר הלקוחות שלנו מחפשים להרחיב את ה-AI בסביבות ההיברידיות שלהם – LLMs וירטואליים ומוטי-ענן הבנויים על יסודות פתוחים יהפכו לסטנדרט בתעשייה. ההובלה של רד האט בקוד פתוח בשילוב עם הבחירה במודלים יעילים בקוד פתוח כמו IBM Granite וההיצע של Neural Magic להרחבת AI על פני פלטפורמות, מעצימים עסקים עם השליטה והגמישות שהם צריכים כדי לפרוס AI ברחבי הארגון".
