AI ajanları için ürün analitiği, klasik "kaç kişi kullandı?" sorusuyla başlayıp orada bitemez. Çünkü ajanlar bir buton gibi çalışmıyor. Bir kullanıcı tıklıyor, ajan yorumluyor, bağlam topluyor, karar veriyor, bazen aksiyon alıyor, bazen de yanlış güvenle ilerliyor. Bu yüzden AI ürünlerinde PM'in ölçmesi gereken şey artık sadece kullanım değil; kararın nasıl oluştuğu.
Son birkaç gündeki sinyaller aynı yere işaret ediyor. TechCrunch, AI güvenliğinin artık platform, veri ve auditability meselesi olduğunu yazdı. Product Hunt'ta çıkan yeni AI PM ürünleri, takım içi kararları, standup'ları ve follow-up'ları otomatikleştirmeye çalışıyor. Hacker News tarafında ise coding agent'ların karmaşık constraint'ler altında nasıl dağıldığı tartışılıyor. Bunların ortak mesajı basit: AI ajanı üretime almak kolaylaşıyor, ama onu anlamak zorlaşıyor.
Kullanım metriği yetmez
Klasik SaaS refleksiyle bakarsak şunu ölçeriz: kaç kullanıcı ajanı açtı, kaç task tamamlandı, kaç dakika kazandırdı, kaç mesaj üretildi. Bunlar hala önemli. Ama eksik.
Çünkü bir AI ajanı aynı task'ı iki farklı yoldan tamamlayabilir. Biri doğru bağlamla, düşük riskle ve iyi bir kullanıcı kontrolüyle ilerler. Diğeri aynı sonucu verir gibi görünür ama yanlış kaynağa dayanır, eski bir kararı referans alır veya güven seviyesini olduğundan yüksek varsayar. Sonuç ekranında ikisi de "başarılı" görünebilir.
PM için risk burada başlıyor. Eğer sadece çıktı başarısını ölçüyorsak, ürünün gerçekten güvenilir mi yoksa şanslı mı çalıştığını ayıramayız.
Yeni metrik: karar izi
AI ajanları için en kritik ürün analitiği katmanı "decision trace" olmalı. Ajan hangi veriyi gördü? Hangi kaynağı daha güvenilir saydı? Hangi alternatifi eledi? Kullanıcıya nerede sordu, nerede sormadan ilerledi? Sonradan yapılan düzeltme hangi kararı etkiledi?
Bu teknik bir log meselesi gibi görünebilir ama aslında ürün tasarımı meselesi. Çünkü kullanıcıya her şeyi göstermek de kötü deneyimdir. Hiçbir şeyi göstermemek de güven problemidir. İyi ürün, karar izini gerektiği anda görünür kılar.
Burada Product Hunt'taki Cleo örneği ilginç. Ürün kendini "AI PM" olarak konumlandırıyor ama asıl dikkat çeken vaat, her öğrendiği fact için kaynak, confidence ve düzeltme imkanı sunması. Bu, AI ürünlerinde yeni bir UX katmanının habercisi: hafıza sadece çalışmamalı, denetlenebilir olmalı.
PM'in bakması gereken dört sinyal
Bence AI ajanı olan her üründe PM dashboard'una dört yeni sinyal girmeli.
Birincisi confidence dağılımı. Ajan hangi tür aksiyonlarda yüksek, orta ve düşük güvenle çalışıyor? Eğer kritik aksiyonların çoğu orta güvenle yapılıyorsa, sorun model kalitesinden çok ürün sınırlarında olabilir.
İkincisi correction load. Kullanıcı ajanı ne kadar düzeltiyor? Daha önemlisi, düzeltme yükü zamanla azalıyor mu? Eğer ürün öğreniyor gibi görünmesine rağmen kullanıcı her hafta aynı şeyleri düzeltiyorsa, bu adoption değil bakım maliyetidir.
Üçüncüsü source coverage. Ajan karar verirken doğru veri kaynaklarına erişiyor mu? Yoksa en kolay eriştiği kaynağı "gerçek" sanarak mı ilerliyor? Sağlık SaaS gibi regülasyonun yüksek olduğu alanlarda bu fark kritik hale gelir.
Dördüncüsü autonomy boundary. Ajan nerede öneri modunda kalıyor, nerede aksiyon alıyor? Bu sınır ürün içinde açıkça tasarlanmadıysa, güven problemi kaçınılmaz olur. Kullanıcı "bana yardım etti" hissinden "benim adıma ne yaptı?" endişesine çok hızlı geçebilir.
AI ajanı ürün değil, çalışma arkadaşı gibi ölçülür
Bir butonun performansını conversion ile ölçebilirsin. Bir rapor ekranını okunma ve kullanım sıklığıyla ölçebilirsin. Ama ajan daha çok junior bir takım arkadaşı gibidir. Hızına değil, karar kalitesine, eskalasyon refleksine ve öğrenme hızına bakarsın.
Bu yüzden AI ajanı geliştiren PM'lerin analitik sözlüğü değişmeli. "Feature usage" yerine "decision quality", "session duration" yerine "intervention rate", "task completion" yerine "verified completion" demeye başlamalıyız.
Bence önümüzdeki dönemde güçlü AI ürünlerini ayıran şey model seçimi değil, bu ölçüm katmanı olacak. Çünkü model herkesin erişebildiği bir şeye dönüşüyor. Ama ürünün ajanı nasıl denetlediği, kullanıcıya ne zaman kontrol verdiği ve hatadan nasıl öğrendiği hala ürün ekibinin işi.
AI ajanları gerçekten iş yapmaya başladığında, PM'in görevi onları sadece yayına almak değil. Onları ölçülebilir, düzeltilebilir ve güvenilir hale getirmek.