ნუ მისცემთ საშუალებას, რომ შენახვა გახდეს მოდელის ტრენინგის მთავარი პრობლემა

ნათქვამია, რომ ტექნოლოგიური კომპანიები ან იბრძვიან GPU-ებისთვის ან მათი შეძენის გზაზე. აპრილში Tesla-ს აღმასრულებელმა დირექტორმა ილონ მასკმა იყიდა 10000 GPU და განაცხადა, რომ კომპანია გააგრძელებს NVIDIA-სგან დიდი რაოდენობით GPU-ს შეძენას. საწარმოს მხრივ, IT პერსონალი ასევე ცდილობს უზრუნველყოს, რომ GPU-ები მუდმივად გამოიყენონ ინვესტიციის მაქსიმალური ანაზღაურების მიზნით. თუმცა, ზოგიერთმა კომპანიამ შეიძლება აღმოაჩინოს, რომ სანამ GPU-ების რაოდენობა იზრდება, GPU უმოქმედობა უფრო მძიმე ხდება.

თუ ისტორიამ რაიმე გვასწავლა მაღალი ხარისხის გამოთვლების (HPC) შესახებ, ეს არის ის, რომ შენახვა და ქსელი არ უნდა შეიწიროს გამოთვლებზე ზედმეტი ფოკუსირების ხარჯზე. თუ შენახვა ვერ შეძლებს მონაცემების ეფექტურად გადაცემას გამოთვლით ერთეულებზე, თუნდაც გქონდეთ მსოფლიოში ყველაზე მეტი GPU, თქვენ ვერ მიაღწევთ ოპტიმალურ ეფექტურობას.

Small World Big Data-ის ანალიტიკოსის მაიკ მაჩეტის თქმით, პატარა მოდელების შესრულება შესაძლებელია მეხსიერებაში (RAM), რაც საშუალებას იძლევა მეტი ფოკუსირება გამოთვლებზე. თუმცა, უფრო დიდი მოდელები, როგორიცაა ChatGPT, მილიარდობით კვანძით, არ შეიძლება შეინახოს მეხსიერებაში მაღალი ღირებულების გამო.

„თქვენ ვერ მოათავსებთ მილიარდობით კვანძს მეხსიერებაში, ამიტომ შენახვა კიდევ უფრო მნიშვნელოვანი ხდება“, - ამბობს Matchett. სამწუხაროდ, მონაცემთა შენახვა ხშირად შეუმჩნეველი ხდება დაგეგმვის პროცესში.

ზოგადად, გამოყენების შემთხვევის მიუხედავად, მოდელის ტრენინგის პროცესში ოთხი საერთო წერტილია:

1. მოდელის ტრენინგი
2. დასკვნის განაცხადი
3. მონაცემთა შენახვა
4. დაჩქარებული გამოთვლა

მოდელების შექმნისა და დანერგვისას, მოთხოვნების უმეტესობას პრიორიტეტად ენიჭება კონცეფციის სწრაფი დადასტურება (POC) ან ტესტირების გარემო, რათა დაიწყოს მოდელის ტრენინგი, მონაცემთა შენახვის საჭიროებები არ არის გათვალისწინებული.

თუმცა, გამოწვევა მდგომარეობს იმაში, რომ ტრენინგი ან დასკვნის განლაგება შეიძლება გაგრძელდეს თვეების ან თუნდაც წლების განმავლობაში. ბევრი კომპანია ამ დროის განმავლობაში სწრაფად აფართოებს თავისი მოდელის ზომებს და ინფრასტრუქტურა უნდა გაფართოვდეს, რათა მორგებული იყოს მზარდი მოდელები და მონაცემთა ნაკრები.

Google-ის კვლევა მილიონობით ML ტრენინგის დატვირთვაზე ცხადყოფს, რომ ტრენინგის დროის საშუალოდ 30% იხარჯება შეყვანის მონაცემთა მილსადენზე. მიუხედავად იმისა, რომ წარსული კვლევა ფოკუსირებული იყო GPU-ების ოპტიმიზაციაზე ტრენინგის დასაჩქარებლად, მრავალი გამოწვევა კვლავ რჩება მონაცემთა მილსადენის სხვადასხვა ნაწილის ოპტიმიზაციაში. როდესაც თქვენ გაქვთ მნიშვნელოვანი გამოთვლითი ძალა, რეალური შეფერხება ხდება იმაზე, თუ რამდენად სწრაფად შეძლებთ მონაცემების შეტანა გამოთვლებში შედეგების მისაღებად.

კონკრეტულად, მონაცემთა შენახვისა და მენეჯმენტის გამოწვევები მოითხოვს მონაცემთა ზრდის დაგეგმვას, რაც საშუალებას მოგცემთ განუწყვეტლივ ამოიღოთ მონაცემების მნიშვნელობა პროგრესის დროს, განსაკუთრებით მაშინ, როდესაც თქვენ მიიღებთ უფრო მოწინავე გამოყენების შემთხვევებს, როგორიცაა ღრმა სწავლა და ნერვული ქსელები, რაც უფრო მეტ მოთხოვნებს აყენებს. შენახვა ტევადობის, შესრულების და მასშტაბურობის თვალსაზრისით.

კერძოდ:

მასშტაბურობა
მანქანათმცოდნეობა მოითხოვს მონაცემთა დიდი მოცულობის დამუშავებას და მონაცემთა მოცულობის მატებასთან ერთად, მოდელების სიზუსტეც უმჯობესდება. ეს ნიშნავს, რომ ბიზნესებმა უნდა შეაგროვონ და შეინახონ მეტი მონაცემი ყოველდღე. როდესაც საცავი ვერ მასშტაბირებს, მონაცემთა ინტენსიური დატვირთვა ქმნის შეფერხებებს, ზღუდავს შესრულებას და იწვევს ძვირადღირებულ GPU-ს უმოქმედობის დროს.

მოქნილობა
მრავალი პროტოკოლის მოქნილი მხარდაჭერა (მათ შორის NFS, SMB, HTTP, FTP, HDFS და S3) აუცილებელია სხვადასხვა სისტემის მოთხოვნილებების დასაკმაყოფილებლად, ვიდრე შემოიფარგლება ერთი ტიპის გარემოთი.

შეყოვნება
I/O შეყოვნება გადამწყვეტია მოდელების შესაქმნელად და გამოყენებისთვის, რადგან მონაცემები მრავალჯერ იკითხება და ხელახლა იკითხება. I/O შეყოვნების შემცირებამ შეიძლება შეამციროს მოდელების ტრენინგის დრო დღეებით ან თვეებით. მოდელის უფრო სწრაფი განვითარება პირდაპირ ნიშნავს ბიზნესის უფრო დიდ უპირატესობებს.

გამტარუნარიანობა
შენახვის სისტემების გამტარუნარიანობა გადამწყვეტია მოდელის ეფექტური ტრენინგისთვის. სასწავლო პროცესები მოიცავს დიდი რაოდენობით მონაცემებს, როგორც წესი, ტერაბაიტებში საათში.

პარალელური წვდომა
მაღალი გამტარუნარიანობის მისაღწევად, ტრენინგის მოდელები ყოფენ აქტივობებს მრავალ პარალელურ დავალებად. ეს ხშირად ნიშნავს, რომ მანქანათმცოდნეობის ალგორითმები წვდებიან ერთსა და იმავე ფაილებს მრავალი პროცესიდან (პოტენციურად მრავალ ფიზიკურ სერვერზე) ერთდროულად. შენახვის სისტემამ უნდა გაუმკლავდეს ერთდროულ მოთხოვნებს მუშაობის კომპრომისის გარეშე.

თავისი გამორჩეული შესაძლებლობებით დაბალი შეყოვნებით, მაღალი გამტარუნარიანობით და ფართომასშტაბიანი პარალელური I/O-ით, Dell PowerScale იდეალური საცავია GPU-ით დაჩქარებული გამოთვლისთვის. PowerScale ეფექტურად ამცირებს ანალიზის მოდელებისთვის საჭირო დროს, რომლებიც ავარჯიშებენ და ამოწმებენ მრავალ ტერაბაიტიან მონაცემთა ნაკრებებს. PowerScale სრულ ფლეშ საცავში, გამტარუნარიანობა იზრდება 18-ჯერ, აღმოფხვრის I/O ბოსტნეულს და შეიძლება დაემატოს არსებულ Isilon კლასტერებს, რათა დააჩქაროს და განბლოკოს დიდი რაოდენობით არასტრუქტურირებული მონაცემების მნიშვნელობა.

უფრო მეტიც, PowerScale-ის მრავალპროტოკოლიანი წვდომის შესაძლებლობები უზრუნველყოფს შეუზღუდავი მოქნილობას სამუშაო დატვირთვისთვის, რაც საშუალებას იძლევა შეინახოს მონაცემები ერთი პროტოკოლით და წვდომა სხვა პროტოკოლით. კერძოდ, PowerScale პლატფორმის ძლიერი ფუნქციები, მოქნილობა, მასშტაბურობა და საწარმოს დონის ფუნქციონალობა დაგეხმარებათ შემდეგი გამოწვევების მოგვარებაში:

- დააჩქარეთ ინოვაციები 2,7-ჯერ, შეამცირეთ მოდელის ტრენინგის ციკლი.

- აღმოფხვრა I/O შეფერხებები და უზრუნველყოს მოდელის უფრო სწრაფი ტრენინგი და დადასტურება, მოდელის გაუმჯობესებული სიზუსტე, გაუმჯობესებული მონაცემთა მეცნიერების პროდუქტიულობა და გამოთვლითი ინვესტიციების მაქსიმალური ანაზღაურება საწარმოს დონის მახასიათებლების, მაღალი შესრულების, კონკურენტულობისა და მასშტაბურობის გამოყენებით. გააუმჯობესეთ მოდელის სიზუსტე უფრო ღრმა, უფრო მაღალი გარჩევადობის მონაცემთა ნაკრებით 119 PB-მდე ეფექტური შენახვის სიმძლავრის გამოყენებით ერთ კლასტერში.

- მიაღწიეთ მასშტაბურ განლაგებას მცირე და დამოუკიდებლად მასშტაბური გამოთვლებისა და შენახვის დაწყებით, მონაცემთა დაცვისა და უსაფრთხოების ძლიერი ვარიანტების მიწოდებით.

- გააუმჯობესეთ მონაცემთა მეცნიერების პროდუქტიულობა ადგილზე ანალიტიკით და წინასწარ დადასტურებული გადაწყვეტილებებით უფრო სწრაფი, დაბალი რისკის განლაგებისთვის.

- საუკეთესო ტექნოლოგიებზე დაფუძნებული დადასტურებული დიზაინის გამოყენება, მათ შორის NVIDIA GPU აჩქარება და საცნობარო არქიტექტურები NVIDIA DGX სისტემებით. PowerScale-ის მაღალი შესრულება და კონკურენტულობა აკმაყოფილებს მეხსიერების მუშაობის მოთხოვნებს მანქანური სწავლის ყველა ეტაპზე, მონაცემთა შეგროვებიდან და მომზადებიდან მოდელის სწავლებამდე და დასკვნამდე. OneFS ოპერაციულ სისტემასთან ერთად, ყველა კვანძს შეუძლია შეუფერხებლად იმუშაოს ერთსა და იმავე OneFS-ზე ორიენტირებულ კლასტერში, საწარმოს დონის ფუნქციებით, როგორიცაა შესრულების მართვა, მონაცემთა მენეჯმენტი, უსაფრთხოება და მონაცემთა დაცვა.