Bir sonraki patlama CI/CD pipeline’larında yaşanacak.

Yapay zeka deli gibi kod yazıyor. Ama koddan belki daha hızlı test yazıyor.

Bunun sonucu kontrolsüz bir test enflasyonu.

Ben şu anda bu problemle bizzat savaşıyorum. Bir backend sürümünün test, release ve deployment süresi 90 dakikaya dayanmış durumda.

Asıl problem test sayısı da değil.

Bu testlerin önemli bir bölümü sistemin davranışını değil, implementasyonunu test ediyor. Yani bir işlemin kod içinde hangi adımlarla gerçekleştirildiğini tek tek doğruluyor.

Bunun uzun vadede değeri düşük. Çünkü implementasyon, sistemin o anki modelinin yalnızca bir temsilidir ve değişebilir.

Implementasyon değiştiğinde bu testlerin de değişmesi gerekir. Değişmediğinde ise binlerce test her entegrasyonda ve her sürümde aynı implementasyon detaylarını tekrar tekrar doğrular. Test sayısı büyür ama sağladığı güven aynı oranda büyümez.

Yapay zeka çağında test stratejisinin de değişmesi gerekiyor.

Ben çözümü giderek daha fazla iki noktaya odaklanmakta görüyorum:

Kabul kriterleri ve sistem invariantları.

Yani:

“Bu metot şu üç fonksiyonu şu sırayla çağırıyor mu?” yerine,

“Bu işlem tamamlandığında sistemde doğru sonuç ortaya çıkıyor mu?”

ve:

“Sistemin hiçbir koşulda bozmaması gereken kurallar hala geçerli mi?”

Bu yaklaşımla test sayısı drastik şekilde azaltılabilirken sistemin gerçek davranışı ve dogruluk seviyesi korunabilir.

Yapay zeka çağında hedef maksimum test coverage olmamalı. Hedef, minimum test maliyetiyle maksimum davranışsal güven olmalı.

Aksi takdirde yapay zekanin kod üretim hızının bedelini CI/CD pipeline’larında ödeyeceğiz.

Bu tempo devam ederse bugün 90 dakika süren bir release yarın saatler, daha sonra günler sürebilir.

Kod üretimindeki darboğazı kaldırırken yeni darboğazı CI/CD tarafında yaratıyoruz.