Cerebras Systems

Материал из Wikibrand
Cerebras Systems
Cerebras Systems
Тип бизнес и компания
Дата основания 2016
Расположение Сан-Франциско, Калифорния, США Саннивейл, США
Отрасль полупроводниковая промышленность и ИИ
Продукция аппаратное обеспечение
Сайт https://ieee.org; https://venturebeat.com

Cerebras Systems — американская компания, занимающаяся искусственным интеллектом, с офисами в Кремниевой долине, Сан-Диего, Торонто и Токио. Cerebras создает компьютерные системы для сложных приложений искусственного интеллекта, требующих глубокого обучения.

История

Cerebras была основана в 2015 году Эндрю Фельдманом, Гэри Лаутербахом, Майклом Джеймсом, Шоном Ли и Жан-Филиппом Фрикером. Эти пять основателей работали вместе в SeaMicro, которая была основана в 2007 году Фельдманом и Лаутербахом и позднее была продана AMD в 2012 году за 334 миллиона долларов.

В мае 2016 года Cerebras завоевала 27 миллионов долларов в виде финансирования серии А под руководством Benchmark Foundation Capital и Eclipse Ventures. В декабре 2016 года финансирование серии B обеспечила компания Coatu Management Llc, а в январе 2017 года финансирование серии C обеспечила компания VY Capital. В ноябре 2018 года Cerebras завершили раунд серии D с 88 миллионами долларов, превратив компанию в единорога. Среди инвесторов этого раунда были Altimeter, VY Capital, Coatue, Foundation Capital, Benchmark и Eclipse.

19 августа 2019 года Cerebras анонсировала свой Wafer-Scale Engine (WSE). В ноябре 2019 года Cerebras завершила раунд серии E с более чем 270 миллионами долларов при оценке в 2,4 миллиарда долларов.

В 2020 году компания объявила об открытии офиса в Японии и партнерстве с Tokyo Electron Devices. В апреле 2021 года Cerebras анонсировала CS-2, основанную на процессоре Wafer Scale Engine Two (WSE-2), который имеет 850 000 ядер. В августе 2021 года компания анонсировала свою технологию масштабирования нейровычислений, которая может управлять нейронной сетью с более чем 120 триллионами соединений.

В марте 2024 года Cerebras показала вычислительную платформу CS-3, основанную на суперчипе WSE-3, который имеет 900 000 ядер. Система масштабируется до 2048 устройств. Последние годы Cerebras Systems готовилась выйти на IPO, однако в последний момент без явных объяснений компания отозвала свою заявку на публичное размещение акций. По предположению сторонних наблюдателей правительство США заблокировало IPO опасаясь утечки новейших технологий в Китай через инвесторов ОАЭ.

Технология

Cerebras Wafer Scale Engine (WSE) — это единый интегрированный процессор масштаба кремниевой пластины, который охватывает в себя вычислительные ресурсы, память и межкомпонентную матрицу соединений. WSE-1 является основой Cerebras CS-1, компьютера первого поколения с искусственным интеллектом Cerebras. Это устройство, устанавливаемое в 19-дюймовую стойку, предназначено для обучения ИИ и поддержке рабочих вычислений на основе нейросетей в центрах обработки данных. CS-1 охватывает в себя один центральный процессор WSE с 400 000 процессорных ядер, а также двенадцать соединений 100 Gigabit Ethernet для передачи и передачи данных. WSE-1 содержит 1,2 триллиона транзисторов, 400 000 вычислительных ядер и 18 гигабайт оперативной памяти.

В апреле 2021 года Cerebras анонсировала систему искусственного интеллекта CS-2, основанную на процессоре Wafer Scale Engine 2-го поколения (WSE-2), производимом по 7-нм техпроцессу TSMC. Вычислительный комплекс имеет высоту 26 дюймов и умещается в одну треть стандартной стойки центра обработки данных. Процессор Cerebras WSE-2 обладает 850 000 ядрами, на пластине-процессоре размещаются 2,6 триллиона транзисторов. WSE-2, по сравнению с предыдущей версией, расширил объём встроенной SRAM до 40 гигабайт, пропускную способность памяти до 20 петабайт в секунду и общую пропускную способность фабрики соединений до 220 петабит в секунду. В августе 2021 года компания объявила о своем решении для масштабирования нейровычислений, которое объединяет несколько интегральных схем (зачастую называемых «чипами») в нейронную сеть с множеством соединений. Это позволяет единой системе поддерживать модели ИИ с более чем 120 триллионами параметров. Такое решение включает четыре нововведения: Cerebras Weight Streaming, новую архитектуру исполнения программного обеспечения; Cerebras MemoryX, технология расширения памяти; Cerebras SwarmX, оптимизированная для ИИ коммуникационная ткань; и Selectable Sparsity, технология динамического сбора разреженных частиц.

Использование

Сообщается, что технологии Cerebras используют клиенты, работающие в фармацевтическом и медико-биологическом секторах. Исследовательская группа GSK смогла повысить сложность моделей кодировщиков, которые они могли генерировать, одновременно сократив время обучения. В 2020 году GlaxoSmithKline (GSK) начала использовать систему искусственного интеллекта Cerebras CS-1 в своем лондонском центре искусственного интеллекта для моделирования нейронных сетей, чтобы ускорить генетические и геномные исследования и сократить время, необходимое для открытия лекарств. Среди других клиентов фармацевтической отрасли — компания AstraZeneca, которая смогла сократить время обучения с двух недель на кластере графических процессоров до двух дней с помощью системы Cerebras CS-1. Аргоннская национальная лаборатория использует CS-1 с 2020 года в исследованиях COVID-19 и раковых опухолях на основе крупнейшей в мире базы данных по лечению рака. Серия моделей, запущенных на CS-1 для прогнозирования реакции лекарств от рака на опухоли, достигла ускорения во много сотен раз на CS-1 по сравнению с исходным уровнем производительности, обеспечиваемым GPUВ августе 2021 года Cerebras объявила о партнерстве с компанией Peptilogics, занимающейся биотехнологической платформой, по разработке решений искусственного интеллекта для ускорения цикла разработки пептидных терапевтических средств..

Суперкомпьютер Lassen Национальной лаборатории Лоуренса Ливермора использовал CS-1 как для классифицированных, так и в несекретных задач для физического моделирования. По словам разработчиков, в полномасштабном режиме, использующем 2048 систем, WSE-3 может обучить модель Llama 70B с нуля за один день, энергопотребление всего кластера из 2048 ускорителей составит 48 МВт.

Примеры выпущенных устройств

Система Cerebras CS-1 на процессоре WSE-1 (2020 год). Техпроцесс 16 нм TSMC, количество транзисторов 1,2 триллиона, количество AI-ядер 400 000, внутренняя SRAM-память 18 ГБ, площадь чипа 46 225 (215x215 мм), пропускная способность памяти 9 ПБ/с, общая пропускная способность чипа 100 Пбит/с, энергопотребление системы 17 КВт, максимальное количество в кластере — неизвестно, максимальное количество параметров нейросети, обрабатываемое максимальным количеством ускорителей в кластере — ограничено размером внутренней памяти, возможность использовать внешнюю память не поддерживается. Система Cerebras CS-2 на процессоре WSE-2 (2022 год). Техпроцесс 7 нм TSMC, количество транзисторов 2,6 триллиона, количество AI-ядер 850 000, внутренняя SRAM-память 40 ГБ, площадь чипа 46 225 (215x215 мм), пропускная способность памяти 20 ПБ/с, общая пропускная способность чипа 220 Пбит/с, энергопотребление системы 23 КВт, максимальное количество в кластере 192 шт., максимальное количество параметров нейросети, обрабатываемое максимальным количеством ускорителей в кластере — 1 трлн, возможность использовать внешнюю память MemoryX с помощью технологии Weight Streaming. Система Cerebras CS-3 на процессоре WSE-3 (2024 год). Техпроцесс 5 нм TSMC, количество транзисторов 4 триллиона, количество AI-ядер 900 000, внутренняя SRAM-память 44 ГБ, площадь чипа 46 225 (215x215 мм), пропускная способность памяти 21 ПБ/с, общая пропускная способность чипа 220 Пбит/с, энергопотребление системы 23 КВт, максимальное количество в кластере — 2048 шт., максимальное количество параметров нейросети, обрабатываемое максимальным количеством ускорителей в кластере — 24 трлн, возможность использовать внешнюю память до 1,2 Пбайт.

См. также

Технологический процесс в электронной промышленности

Примечания

Источник — https://wikibrand.ru/index.php?title=Cerebras_Systems&oldid=52026