وی گفت: “اخیراً ، در دستیابی به موفقیت در درک زبان طبیعی با نوعی از مدل به نام ترانسفورماتورها (همانطور که توسط نمایندگان رمزگذار Bidirectional از ترانسفورماتورها ، BERT محبوبیت یافته است) رخ داده است. برخلاف معماری های شبکه عصبی عمیق قبلی (DNN) که کلمات را بصورت جداگانه پردازش می کند ، ترانسفورماتورها متن و رابطه بین هر کلمه و تمام کلمات اطراف آن را در یک جمله می فهمند.

با شروع از آوریل سال جاری ، ما از مدل های بزرگ ترانسفورماتور استفاده کردیم تا بیشترین پیشرفت کیفیت را در سال گذشته به مشتریان بینگ ارائه دهیم. (…) جستجوی ما با استفاده از این مدل ها اکنون می تواند قصد کاربر را درک کرده و نتیجه مفیدتری را ارائه دهد. مهمتر از همه ، این مدل ها اکنون در مورد هر جستجوی بینگ در سطح جهان اعمال می شود که نتایج بینگ را مرتبط تر و هوشمندانه تر می کند. “