Swift 5'ten önce, String türü, Objective-C ve Foundation çerçeveleri ile sorunsuz bir birlikte çalışabilirlik sağlamak için UTF-16'yı temel temsil olarak kullanıyordu. Bu tasarım seçeneği, NSString'ye köprü kurmayı kolaylaştırdı ancak ASCII metinler için önemli verimsizlikler ve Unicode doğruluğunda karmaşıklıklar getirdi; çünkü UTF-16 ikincil çiftler, Temel Çok Dilli Yerel Dışındaki karakterler için özel bir işlem gerektiriyordu. UTF-16 temsili, gereksiz bellek hizalama kısıtlamaları getirdi ve bu da belirli derleyici optimizasyonlarının önünde engel oldu.
UTF-16 temsili, her ASCII karakteri için iki bayt harcıyor, bu da çoğunlukla İngilizce metinler için bellek kullanımını iki katına çıkarıyor ve önbellek yerelliğini azaltıyordu. Ayrıca, UTF-16 kod birimlerine O(1) erişim sağlarken, genişletilmiş grafik kümelerine (kullanıcı tarafından algılanan karakterler) yalnızca O(N) erişim sağlıyordu çünkü karakter sınırlarını belirlemek için ikincil çiftler için tarama gerektiriyordu. Kod birimleri ve kullanıcı tarafından algılanan karakterler arasındaki bu fark, sabit genişlik kodlaması varsayımlarını kullanan metin işleme algoritmalarında birçok bir-off hatasına neden oldu.
Swift, yerel kodlama olarak UTF-8'e geçiş yaparken, String.Index'in hem bayt ofsetini hem de önbelleğe alınmış grafik kümesi sınırı bilgilerini sakladığı karmaşık bir indeksleme stratejisi uyguladı. Standart kütüphane, önbelleğe alınmış dizin olduğunda gerçek O(1) alt dizin erişimi sağlayarak, tek baytlı ASCII ile çok baytlı dizileri ayırt etmek için UTF-8 öncü baytlarının yüksek bitini kontrol eden hızlı bir optimizasyon kullanıyor. ASCII dışındaki metinler için, dizin önceden hesaplanmış grafik sınır mesafelerini saklayarak, amortize edilmiş sabit zaman içinde çift yönlü geçişe izin veriyor, Unicode 14.0 kanonik eşdeğerliliğini koruyor ve ASCII içeriği için bellek ayak izini %50'ye kadar azaltıyor.
Bir finansal teknoloji girişimi, saniyede milyonlarca piyasa verisi mesajı işleyen yüksek frekanslı bir ticaret günlük analizörü geliştirdi. Her biri karışık ASCII hisse senedi sembolleri ve Unicode şirket adlarını içeriyordu. İlk uygulama, içsel olarak UTF-16 temsilerini 64-bit mimarilerde koruyan Foundation'dan NSString köprülemesine büyük ölçüde dayanıyordu. Yük testleri sırasında kritik bir problem ortaya çıktı: UTF-16 kodlaması, çoğunlukla ASCII günlük verileri için bellek tüketimini %80 artırıyor, bu da sık sık çöp toplama döngüleri ve önbellek daralmasına neden olarak, ayrıştırma verimliliğini 100,000 mesajdan 12,000 mesaja düşürüyordu.
Mühendislik ekibi, ilk olarak tüm dizeleri ham Data nesnelerine dönüştürmeyi ve bayt dizilerini manuel olarak ayrıştırmayı düşündü; bu da tamamen kodlama yükünü ortadan kaldırırdı. Ancak bu yaklaşım, Unicode doğruluğundan ödün verecek ve grafik kümeleri için sınır tespiti için binlerce hata yapmaya açık manuel kod yazarak, biçimsiz uluslararası metinleri işlerken güvenlik açığı yaratabilecekti. Ayrıca, ekip, Swift'in zengin dize manipülasyonu API'lerine erişimini kaybedecekti, temel algoritmaların (örneğin, durum katlama ve normalleştirme) yeniden uygulanmasını zorunlu kılacaktı.
İkinci yaklaşım, mevcut Objective-C birlikte çalışabilirliğini korurken bellek ayak izini azaltmak için her API sınırında NSString'in UTF-8 dönüştürme yöntemlerini kullanmaktı. Ancak bu strateji, her dizgi işleme sırasında UTF-16 ve UTF-8 temsilleri arasında sürekli yeniden kodlama nedeniyle önemli bir CPU yükü getirdi, bu da bellek kullanımındaki azalmadan herhangi bir performans kazancını etkisiz hale getirdi. Bu yaklaşım ayrıca, her Swift ve Objective-C sınırında açık kodlama yönetimini gerektirerek kod tabanını karmaşık hale getirdi.
Üçüncü yaklaşım, tamamen yerel Swift.String'e geçmeyi önerdi ve bunun UTF-8 destekli, standart kütüphanenin küçük dize optimizasyonunu ve hızlı yolları kullanmasını sağladı. Bu çözüm, manuel müdahale olmadan uluslararası şirket adları için doğru Unicode işlemlerini korurken, ASCII ağırlıklı iş yükleri için sıfır maliyetli bir soyutlama sağladı. Ekip bu yaklaşımı seçti çünkü performans, güvenlik ve sürdürülebilirlik açısından en iyi dengeyi sundu, köprüleme maliyetlerini ortadan kaldırırken tam Unicode doğruluğunu korudu.
Geçiş sonrası sistem, bellek kullanımında %55'lik bir azalma sağladı ve verimliliği tekrar 95,000 mesaj/sn seviyesine getirdi; çünkü UTF-8 önbellek satırları, artık UTF-16'ya göre iki kat daha fazla karakter paketliyordu. Swift standart kütüphanesinin ASCII metin için hızlı yolları, daha önce %15 CPU döngüsünü tüketen ikincil çift yükünü ortadan kaldırdı. Mühendislik ekibi, bellek baskısı olmadan zirve ticaret hacimlerini başarıyla işledi, bu da kodlama değişikliğinin sistem güvenilirliğini artırarak ölçülebilir bir iş değeri sağladığını gösterdi.
String.Index neden basit bir tamsayı yerine hem bir UTF-8 ofseti hem de bir dönüştürülmüş ofset saklar?
Swift, bir String.Index'in, dizenin sonuna karakter ekledikten sonra geçerli kalacağını garanti eder; bu özellik RangeReplaceableCollection uyumluluğu için gereklidir. Eğer dizinler sadece bayt ofsetlerini saklamış olsaydı, bir dizinin önünde içerik eklemek, tüm sonraki bayt pozisyonlarını kaydırırdı, bu da dizinin yanlış bir grafik kümesine veya geçersiz belleğe işaret etmesine neden olabilirdi. UTF-8 ofsetini ve grafik kümelerindeki başlangıça olan önbelleğe alınmış mesafeyi (karakter adımı) saklayarak, Swift, alt dizin işlemleri sırasında dizin konumlarını doğrulayabilir ve sadece ekleme işlemleri sırasında kararlılığı sürdürebilir. Adaylar sıklıkla String dizinlerinin Array dizinleri (basit tamsayılar) gibi davrandığını varsayıyor, ancak String'in BidirectionalCollection ile uyumlu olduğunu ve değişiklikler arasında dizin kararlılığının bu karmaşık meta veri yapısını gerektirdiğini gözden kaçırıyorlar.
Swift'in küçük dize optimizasyonu, UTF-8 geçişi ile nasıl etkileşiyor ve performansı artırıyor?
Swift, 15 UTF-8 kod birimine kadar olan dizelerin içeriğini doğrudan String yapısının satır içi tamponuna sakladığı bir küçük dize optimizasyonu uygular; bu sayede yığın tahsisini tamamen önler. UTF-8 geçişinden sonra, bu optimizasyon çok daha etkili hale geldi çünkü UTF-8, aynı alanda daha önce yalnızca 7 UTF-16 kod biriminin tutulduğu alanı tamamen kullanarak 15 ASCII karakterini saklar. Uygulama, satır içi küçük dizeler ile yığın tahsis edilen büyük dizeler arasında ayırt etme için işaretçi bit paketlemesi kullanır; bu, türün bellek düzenini değiştirmeden temsil arasında sıfır maliyetli köprülemeye izin verir. Adaylar sıklıkla bu optimizasyonun yalnızca yerel String örneklerine uygulandığını ve köprülenmiş NSString nesneleri için geçerli olmadığını gözden kaçırıyorlar; bu, kasıtsız Objective-C köprülemesinin, aksi halde satır içi tampon içinde kalabilecek kısa dizelerin bile yığın tahsisine neden olabileceği anlamına gelir.
Karakter yerine Unicode.Scalar ile yineleme yaptığınızda hangi özel önbellek yerelliği ticareti gerçekleşiyor?
Karakter (genişletilmiş grafik kümeleri) ile yineleme yapmak, emoji dizileri veya bölgesel belirteçler gibi sınırları belirlemek için önceden bakmayı gerektiren Unicode bölümlendirme algoritmalarını uygulamayı gerektirir. Bu önceden bakma, grafik kümesinin önbellek satırı sınırları (genellikle 64 bayt) boyunca yayılması durumunda önbellek hatalarına neden olabilir, özellikle karmaşık yazılar veya emoji modifikatörleri için. Tersine, Unicode.Scalar ile yineleme düz bir şekilde bellekte ilerler; bu da donanım önceden alma birimlerinin erişim desenlerini doğru bir şekilde tahmin etmesini ve yüksek önbellek vuruş oranlarını sürdürmesini sağlar. Swift, performans için unicodeScalars ve doğruluk için Character yinelemesi gibi farklı görünümler sağlayarak bunu hafifletir, ancak adaylar sıklıkla Character görünümünün anlamsal doğruluğunun karmaşık Unicode dizileri için potansiyel önbellek yerelliği ihlalleri pahasına geldiğini gözden kaçırıyorlar.