速 ，徐曉在不同模態(tài)混合計(jì)算注重力時(shí) ，徐曉顯著下降掩碼構(gòu)建和計(jì)算開消，大幅提拔練習(xí)性能；推小金方面 ，多模態(tài)流式分塊預(yù)填充機(jī)制，削減首耗時(shí)，同時(shí)減小推小金計(jì)算的顯存峰值，提拔推小金批次大小，提拔吞吐性能