中国移动智算中心（哈尔滨）位于哈尔滨市平房区的中国移动哈尔滨数据中心园区内，于2024年8月正式投产，是全球运营商规模最大的单集群智算中心。核心规模与算力指标算力规模：智能算力总规模达到 6.9EFLOPS 至 7.15EFLOPS，相当于300多万台高性能计算机的算力总和。智算卡量：单集群部署超过 1.8万张AI加速卡，首次通过国产网络设备探索出万卡级别单集群部署的规模上限。国产化率：AI芯片国产化率达 100%，是业内首个端到端全面使用全国产设备的超大规模智算集群。存储能力：国内智能融合分级存储达 150PB，是业内首个大规模应用该技术的集群。

Das China Mobile Smart Computing Center (Harbin) befindet sich auf dem Gelände des China Mobile Harbin-Rechenzentrums im Bezirk Pingfang der Stadt Harbin und wurde im August 2024 offiziell in Betrieb genommen. Es ist das weltweit größte Smart-Computing-Center eines Netzbetreibers, das aus einem einzigen Cluster besteht. Kernkennzahlen und Rechenleistungskennzahlen: Rechenleistung: Die gesamte intelligente Rechenleistung erreicht 6,9 EFLOPS bis 7,15 EFLOPS, was der Summe der Rechenleistung von mehr als 3 Millionen Hochleistungscomputern entspricht. Anzahl der KI-Beschleunigungskarten: In einem einzelnen Cluster sind mehr als 18.000 KI-Beschleunigungskarten im Einsatz. Damit wurde erstmals mit in China hergestellten Netzwerkgeräten die Obergrenze für die Bereitstellung von 10.000 Karten in einem einzelnen Cluster ermittelt. Lokalisierungsgrad: Der Lokalisierungsgrad der KI-Chips beträgt 100 %; es handelt sich um den branchenweit ersten hyperskaligen intelligenten Rechencluster, der durchgängig ausschließlich mit in China hergestellten Geräten ausgestattet ist. Speicherkapazität: Die Kapazität des in China entwickelten intelligenten, konvergenten und mehrstufigen Speichers beträgt 150 PB; es ist der branchenweit erste Cluster, der diese Technologie in großem Maßstab einsetzt.

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there’s still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.