Технология компанияләре яисә GPUлар өчен көрәшәләр, яисә аларны алу юлында. Апрель аенда Тесла генераль директоры Элон Маск 10,000 GPU сатып алды һәм компаниянең NVIDIAдан күп санлы GPU сатып алуын дәвам итәчәген әйтте. Предприятие ягында, IT-персонал шулай ук GPU'ларның инвестицияләр керемен максимальләштерү өчен гел кулланылуларын тәэмин итү өчен бик тырышалар. Ләкин, кайбер компанияләр GPU саны артса да, GPU эшсезлеге тагын да кискенләшә ала.
Әгәр дә тарих безгә югары җитештерүчән исәпләү (HPC) турында берәр нәрсә өйрәткән булса, бу исәпләүгә артык игътибар итү хисабына саклау һәм челтәр корбаннары булырга тиеш түгел. Саклау мәгълүматны исәпләү берәмлекләренә эффектив күчерә алмаса, дөньяда иң күп GPU булса да, сез оптималь эффективлыкка ирешә алмассыз.
Кече Дөнья Зур Мәгълүмати аналитик Майк Матчетт әйтүенчә, кечерәк модельләр хәтердә (RAM) башкарылырга мөмкин, бу исәпләүгә күбрәк игътибар бирергә мөмкинлек бирә. Ләкин, миллиардлаган төеннәр белән ChatGPT кебек зуррак модельләр, зур бәя аркасында хәтердә саклана алмый.
"Сез миллиардлаган төенне хәтердә урнаштыра алмыйсыз, шуңа күрә саклау тагын да мөһимрәк була", ди Матчетт. Кызганычка каршы, планлаштыру процессында мәгълүмат саклау еш игътибарсыз калдырыла.
Гомумән, куллану очракларына карамастан, модель укыту процессында дүрт уртак пункт бар:
1. Модель укыту
2. Белешмә кушымта
3. Мәгълүматны саклау
4. Тизрәк исәпләү
Модельләр төзегәндә һәм урнаштырганда, күпчелек таләпләр тиз дәлилләү концепциясенә (POC) яки модель тренингны башлау өчен сынау мохитенә өстенлек бирәләр, мәгълүмат саклауга игътибар ителми.
Ләкин, проблема шунда ки, укыту яки инфраструктура урнаштыру айлар, хәтта еллар дәвам итә ала. Күпчелек компанияләр бу вакыт эчендә модель зурлыкларын тиз арада киңәйтәләр, һәм үскән модельләрне һәм мәгълүматлар базасын урнаштыру өчен инфраструктура киңәйтелергә тиеш.
Google-ның миллионлаган ML эш йөкләмәләре буенча үткәрелгән тикшеренүләре шуны күрсәтә: укыту мәгълүматларының торбасына уртача 30% вакыт сарыф ителә. Элеккеге тикшеренүләр тренингны тизләтү өчен GPUларны оптимальләштерүгә юнәлтелгән булса да, мәгълүмат торбасының төрле өлешләрен оптимальләштерүдә күп проблемалар кала. Сездә зур исәпләү көче булганда, нәтиҗә ясау өчен исәпләүләргә мәгълүматны тиз арада ашатып була.
Аерым алганда, мәгълүмат саклау һәм идарә итүдә булган проблемалар мәгълүмат үсешен планлаштыруны таләп итә, алга киткәндә мәгълүматның кыйммәтен өзлексез чыгарырга мөмкинлек бирә, аеруча тирән өйрәнү һәм нейрон челтәр кебек алдынгы куллану очракларына күчкәндә, алар зур таләпләр куялар. сыйдырышлык, эш башкару, масштаблылык ягыннан саклау.
Аерым алганда:
Масштаб
Машина өйрәнү бик күп мәгълүматны эшкәртү таләп итә, һәм мәгълүмат күләме арта барган саен, модельләрнең төгәллеге дә яхшыра. Димәк, предприятияләр көн саен күбрәк мәгълүмат җыярга һәм сакларга тиеш. Саклау масштаблый алмаганда, мәгълүмат таләп итә торган эш йөкләнеше комачаулый, эшне чикли һәм нәтиҗәдә GPU буш вакытка китерә.
Эчлек
Берничә протокол өчен сыгылмалы ярдәм (шул исәптән NFS, SMB, HTTP, FTP, HDFS, S3) бер система белән чикләнмичә, төрле системалар ихтыяҗларын канәгатьләндерү өчен кирәк.
Ялкау
Модельләр төзү һәм куллану өчен I / O яшеренлеге бик мөһим, чөнки мәгълүматлар берничә тапкыр укыла һәм яңадан укыла. I / O тоткарлыгын киметү модельләрнең күнегү вакытын яки айга кыскартырга мөмкин. Тизрәк модель үсеше турыдан-туры бизнес өстенлекләренә тәрҗемә ителә.
Керү
Эффектив модель укыту өчен саклау системаларын үткәрү бик мөһим. Укыту процесслары күп санлы мәгълүматны үз эченә ала, гадәттә сәгатенә терабайтта.
Параллель керү
Highгары үткәрүчәнлеккә ирешү өчен, укыту модельләре эшчәнлекне берничә параллель эшкә бүләләр. Бу еш кына машина өйрәнү алгоритмнары бер үк файлларга берничә процесстан (потенциаль берничә физик серверда) керә дигәнне аңлата. Саклау системасы эшне бозмыйча бер үк таләпләрне эшләргә тиеш.
Түбән тоташу, югары үткәрүчәнлек һәм зур масштаблы параллель I / Oдагы искиткеч мөмкинлекләре белән, Dell PowerScale GPU-тизләштерелгән исәпләү өчен идеаль саклагыч. PowerScale күп терабайтлы мәгълүматлар базасын өйрәнә торган һәм сынаучы анализ модельләре өчен кирәкле вакытны эффектив кыскарта. PowerScale бөтен флэш саклагычта, киңлек киңлеге 18 тапкыр арта, I / O шешәләрен бетерә, һәм күп санлы структурасыз мәгълүматларның кыйммәтен тизләтү һәм ачу өчен булган Isilon кластерларына өстәп була.
Моннан тыш, PowerScale-ның күп протоколга керү мөмкинлекләре эш йөкләрен эшләтеп җибәрү өчен чиксез сыгылучылык тәэмин итә, мәгълүматны бер протокол ярдәмендә сакларга һәм икенчесен кулланып рөхсәт итәргә мөмкинлек бирә. Аерым алганда, PowerScale платформасының көчле үзенчәлекләре, сыгылмалылыгы, масштаблылыгы, предприятия дәрәҗәсендәге функциональлеге түбәндәге проблемаларны чишәргә ярдәм итә:
- Модель укыту циклын киметеп, инновацияне 2,7 тапкырга кадәр тизләтегез.
- I / O авырлыкларын бетерегез һәм тизрәк модель укыту һәм раслау, модель төгәллеген яхшырту, мәгълүмат фәненең җитештерүчәнлеген арттыру, предприятия дәрәҗәсендәге функцияләрне, югары җитештерүчәнлекне, туры килүчәнлекне һәм масштаблылыкны кулланып, исәпләү инвестицияләрен максималь керем белән тәэмин итү. Бер кластерда эффектив саклау сыйдырышлыгының 119 ПБ кадәр кулланып, тирәнрәк, югары резолюцияле мәгълүматлар базасы белән модель төгәллеген арттыру.
- Кечкенә һәм мөстәкыйль рәвештә исәпләү һәм саклауны башлап, мәгълүматны саклау һәм куркынычсызлык вариантларын китереп масштабта урнаштыруга ирешегез.
- Аналитика һәм тизрәк, аз рисклы урнаштыру өчен алдан расланган карарлар белән мәгълүмат фәненең җитештерүчәнлеген күтәрү.
- NVIDIA GPU тизләнешен һәм NVIDIA DGX системалары белән белешмә архитектурасын кертеп, иң яхшы технологияләргә нигезләнгән исбатланган конструкцияләрне куллану. PowerScale-ның югары җитештерүчәнлеге һәм туры килүе машинаны өйрәнүнең һәр этабында, мәгълүмат туплау һәм әзерләнүдән алып, модель тренингына һәм инференциягә кадәр саклауны саклау таләпләренә туры килә. OneFS операцион системасы белән берлектә, барлык төеннәр дә бер үк OneFS идарә итүче кластер эчендә эшли алалар, эш башкару, мәгълүмат белән идарә итү, куркынычсызлык һәм мәгълүмат саклау кебек предприятия дәрәҗәсендәге функцияләр, бизнес-модель тренингларын тизрәк тәмамларга мөмкинлек бирәләр.
Пост вакыты: Июль-03-2023
