NVIDIA'ın 3D Mark 2003 ile ilgili görüşlerini nasıl yorumlarsanız yorumlayın, ağızda kötü bir tat bıraktığı açık. 3D Mark'ın 2001 sürümünde verdiği toplam sonuç, önceki sürümlerde verdiği toplam sonuçlar ile kıyaslandığında bile tartışma yaratıyordu; ama her bir teste ayrı ayrı bakarak grafik kartları ile ilgili bazı çıkarımlara varmak mümkündü. Ancak Futuremark 2003 sürümünde bu testleri de azaltmış. Örneğin Polygon Count (poligon sayımı) ve Light (aydınlatma) testleri eksik. Hatta CPU performansı puanları bile tartışılabilir, çünkü grafik kartına göre değişiyorlar. Görüntü Kalitesi testleri, yakalanan ekran görüntüleri ile sınırlı - her kartın belirli FSAA uygulamalarındaki avantaj ve dezavantajlarını gösterecek özel sahneler verilmemiş.
Futuremark'ın bu eleştirilere, özellikle de Pixel Shader 1.4 ile ilgili olanlara nasıl tepki vereceğini merakla bekliyoruz. Londra'da düzenlenen NVIDIA Geliştiriciler Etkinliği 'Dawn Till Dusk'da, adını gizli tutmak isteyen bir geliştirici ile karşılaştım ve oldukça ilginç şeyler söyledi. Bir grafik sürücüsünün özel ve çok iyi bilinen bir shader kodunu tanımakta sorun çekmeyeceğini; bu sayede oyun veya test çalışırken özel, optimize edilmiş bir kodu bunun yerine geçirebileceğini açıkladı. Yazılım bu küçük hileyi fark etmiyormuş. Bu yüzden 3D Mark'ın kullandıkları gibi sabit (ve iyi bilinen) pixel ve vertex shader testleri anlamını tamamen kaybediyor. Bunun sonucunda, bir kartın performansını test etmenin en iyi yolu da hala "gerçek" bir oyun kullanmak oluyor. Artık NVIDIA da aynı fikirde:
Öyleyse oyuncunun gerçek testini nerede bulacağız? Gerçek oyunları kullanmaya ne dersiniz? Çoğu popüler oyuna bu amaçla bir benchmark modu konuyor. Doom3, Unreal Tournament 2003 ve Serious Sam Second Encounter, mevcut ve gelecek oyunların performansını ölçmek için çok daha iyi göstergeler. Ve bu oyunların üreticileri oyun motorlarını diğer üreticilere de lisansladıkları için, gelecek nesil oyunların çekirdeklerinde de aynı oyun motorlarının olmasını bekleyebilirsiniz. Günümüzde tüketiciler artık oyunları taklit eden yapay testlere güvenmek zorunda değil. Çoğu kez tüketicinin en sevdiği oyunda zaten hazır bir benchmark bulunuyor.
NVIDIA'nın ani görüş değişikliği kafa karıştırıcı - şimdiye dek 3D Mark, NVIDIA dahil tüm üreticiler arasında saygın bir yere sahipti. Başta bu tepki FX'in zayıf test performansını gizlemek için getirilmiş gibi görünse de, yeni sürücülerle aynı şey geçerli değil. Belki de NVIDIA, 3DMark'ın gelişimi üzerinde yıpratıcı bir etkide bulunmaktan korktu. NVIDIA özellikle yeni 'Tam oyunseverlerin istediği gibi' - "The way it´s meant to be Played" programıyla,oyun geliştiricileri üzerindeki etkisini artırmak istiyor. Elbette NVIDIA kartlara sahip oyunseverler, gerçek oyunlarda daha iyi grafikler ve daha iyi performans elde edecekleri için, NVIDIA'nın bu müdahalesinden fayda sağlayacaklar. Ancak NVIDIA harici kartların sahiplerinin de söyleyecek sözleri olabilir. NVIDIA Geliştiriciler Forumunda, Pixel Shader (2.0) kodunun tüm donanımlar üzerinde eşit ölçüde iyi çalışmadığı ortaya çıktı. Nihayetinde gelinen nokta, geliştiricilerin, tüm olası platformlarda iyi bir performans sunacaklarsa, her bir grafik yongası için özel kodlar kullanmaları gerektiğiydi. Bu durum NVIDIA'nın geliştircilere verdiği özel önemi açıklıyor NVIDIA''nın 3D Mark 2003 ile ilgili eleştirilerinin ana nedeni, Futuremark'ın optimize edilmiş kod kullanmayı reddetmesi mi? Bu kez NVIDIA 3D Mark'ın gerçekçi olmadığını söylemekte haklı - birincisi, NVIDIA'nın katkıları olmadan geliştirildi; ikincisi, performans değerlendirmesi açısından "doğal" kodun kullanılması pek akla yatkın değil.
