Sınırsız AI: Mitler vs Gerçekler

Efsane: Sınırsız olması sonsuz hız demektir

Sınırsız API kullanımı, sonsuz işleme hızı anlamına gelmez. Zaman içinde sınırsız token üretebilirsiniz ancak gerçek işleme hızınız (throughput) donanım limitleri ve eşzamanlılık kısıtlamaları tarafından sınırlandırılır. Uygulamanızın hız düşüşü olmadan saniyede binlerce isteği yönetmesini bekliyorsanız, yalnızca token sayılarına bakmak yeterli değildir.

Hacim ile hız arasındaki farkı değerlendirin. Hesabınızda sınırsız tokenınız olabilir, ancak sunucu ana başına dakikada yalnızca 300 isteği işleyebiliyorsa, uygulamanız zirveler sırasında trafiği kuyruğa alabilir veya reddedebilir. Bu temel bir mimari kısıtlamadır, bir faturalandırma kısıtlaması değildir. Geliştiricler, yeterli kredinin yeterli bant genişliği olduğu ile sıklıkla karıştırılır.

• Dakikadaki istek sayısı: genellikle API anahtarı başına 300 ile sınırlıdır.
• Eşzamanlı istekler: anahtar başına eşzamanlı 8 bağlantı ile sınırlıdır.
• Yanıt süresi: model yükü ve bağlam uzunluğuna göre değişir.

Bu, uygulamanızı geri baskıyı (backpressure) yönetecek şekilde tasarlamanız gerektiği anlamına gelir. İstekleri art arda göndermek yerine, kuyruk mekanizmaları kullanın. Bu, yoğun kullanım zamanlarında düzensiz zaman aşımıları yerine stabil performans sağlar.

Gerçek: Eşzamanlılık ve hız sınırları vardır

Rate limitler sunucu stabilitesini korumak için tasarlanmış katı kısıtlamalardır, büyümenize engel olan keyfi engeller değildir. Her API anahtarının dakikada maksimum 300 isteği ve aynı anda yalnızca 8 eş zamanlı bağlantıyı koruyabilme kapasitesi vardır. Bu limitler kredi bakiyenizden veya abonelik seviyenizden bağımsız olarak geçerlidir.

Eşzamanlı istek sınırını aştığınızda API, çok fazla paralel iş parçacığı gönderdiğinize dair bir hata döndürür. Bu, kullanıcıların anında yanıt beklediği sohbet botları gibi gerçek zamanlı uygulamalar için kritiktir. 9 bağlantı açarsanız, dokuzuncu ilk sekizinden biri tamamlanana kadar başarısız olur.

Karmaşık çok ajanlı sistemler veya toplu işleme boruhatları geliştirenler bunu hesaba katmalıdır. İplikleri (thread) sınırsız şekilde başlatamazsınız. Bunun yerine, 300 RPM ve 8 eşzamanlı bağlantı kurallarına saygı duyan bir yarıçubuk (semaphore) veya hız sınırlama ara yazılımı uygulayın. Bu, uygulamanızın uç noktayı aşırı yüklemesini önler ve öngörülebilir gecikme süresi sağlar.

Bu sınırları anlamak, tek bir anahtar üzerinde eşzamanlılığı artırarak dikey olarak değil, daha fazla API anahtarı ekleyerek yatay olarak ölçeklendirmenize olanak tanır.

Efsane: Sınırsız tokenlar bağlam penceresi olmadığı anlamına gelir

Faturalandırma hesabınızda sınırsız token olması, modelin sonsuz miktarda metni hatırlayabileceği anlamına gelmez. Bağlam penceresi, modelin tek bir istekte işleyebileceği veri miktarına yönelik katı bir teknik sınırdır. Uncensored modelimiz için bu limit, hem girdi hem de çıktı için birlikte 100,000 token olarak ayarlanmıştır.

Bu ayrım, uzun formatlı içerik üretimi veya belge analizi için kritiktir. Prompt'unuz ve modelin yanıtı 100.000 token'ı aşarsa, istek başarısız olur. Bu, sistem talimatlarını, konuşma geçmişini ve son oluşturulan metni içerir. Geliştiriciler, çok adımlı konuşmalarda token sayılarının ne kadar hızlı biriktiğini genellikle hafife alır.

Örneğin, tek bir uzun belge 80,000 token tüketebilir, modelin yanıtı için yalnızca 20,000 token bırakır. Kırılmayı önlemek için bağlam pencerenizi dikkatli bir şekilde yönetmelisiniz. Daha eski konuşma geçmişini kısaltmak veya önceki dönüşleri özetlemek, bu sınırlar içinde kalmak için yaygın bir uygulamadır.

Her istekten en iyi değeri elde ederken 100k sınırında kaldığınızdan emin olmak için token kullanımınızı her zaman izleyin.

Gerçek: 100k token katı sınırı

Bağlam penceresi, hem girdi hem de çıktı birlikte kesinlikle 100.000 token ile sınırlıdır. Bu, model mimarisinin fiziksel bir kısıtlamasıdır, ayarlayabileceğiniz değişken bir ayar değildir. Çok büyük bir prompt gönderirseniz API hemen reddeder.

Ayrıca, her istek için maksimum çıktı sınırı 16,000 token'dır. Belirtmezseniz max_tokens, varsayılan değer 2.048 token'dır. Bu, tek bir büyük belgenin tek seferde oluşturulamayacağı anlamına gelir. Daha uzun çıktılar oluşturmak için parçalama yapmanız veya akış kullanarak artımlı oluşturma yapmanız gerekir.

Bu limitler uygulamanızın bellek sınırlarını belirler. Veri yapılarınızı bu kısıtlamalara uygun şekilde tasarlayın; böylece uygulama mantığınız kısmi yanıtları veya parçalı girdileri etkili bir şekilde işleyebilir.

Efsane: Sansürsüz olması denetim olmadığı anlamına gelmez

Uncensored (sansürsüz) olması, moderasyonsuz olduğu anlamına gelmez. Model, siyasi doğruluk veya yaratıcı stil gibi öznel kriterlere dayanarak içeriği reddetmezken, yine katı yasal ve güvenlik sınırlarını uygular. En önemli katı sınır, küçük yaşlı cinsel içeriğin reddedilmesidir.

Bu, çıkarım düzeyinde uygulanan bir ikili filtredir. İsteminiz açıkça bir minor'ü cinsel bir bağlamda betimliyor veya tanımlıyorsa API bir reddetme yanıtı döndürür. Bu, uncensored durumlarına bakılmaksızın çoğu modern LLM'de tutarlıdır. Bu bir tercih meselesi değil, uyumluluk meselesidir.

Şiddet, küfür veya tartışmalı konular gibi diğer içerikler genellikle izin verilir. Model, bu konularda tereddüt etmeden yanıt verecek şekilde ayarlanmıştır. Ancak, temel model davranışının ötesinde belirli marka kılavuzları veya yasal gereklilikleriniz varsa, kendi uygulama düzeyinde denetim mekanizmanızı uygulamanız gerekir.

Bu ayrımı anlamak, uygulamanızın kullanıcı deneyimini tasarlamanıza yardımcı olur. Olgun temalara izin verebilirken API tarafından otomatik olarak saygı gösterilen sert yasal sınırların sağlandığından emin olabilirsiniz.

Gerçek: Küçük cinsel içerik için katı sınır

API, reşit olmayanlarla ilgili cinsel içerik konusunda sıkı bir katı sınır uygular. Bu, modelin sansürsüz doğasına rağmen tutarlı bir şekilde reddedilen tek içerik türüdür. İsteğiniz, cinsel bir bağlamda bir reşit olmayanı açıkça gösteriyorsa API bir reddetme yanıtı döndürür.

Bu sınır müzakere edilemez ve tüm kullanıcılar için geçerlidir. Parametreler aracılığıyla yapılandırılabilir değildir. temperature ou top_p. Model bu kalıpları tanımak üzere eğitilmiştir ve buna göre üretimi engelleyecektir. Bu, dijital içerik için küresel standartlara uyumu sağlar.

Geliştiriciler için bu, bu belirli kategori için karmaşık denetim katmanları oluşturmanıza gerek olmadığı anlamına gelir. API bunu sizin için halleder. Ancak, belirli girdiler için geçerli ve beklenen bir sonuç olan reddetme yanıtlarını zarif bir şekilde işleyecek şekilde uygulamanızı tasarlamaya devam etmelisiniz.

Bu katı sınır, uygulamanızın içerik politikası için net bir sınır sağlar ve küçük yaş içerikleriyle ilgili yasal riskler konusunda endişelenmeden ürününüzün diğer yönlerine odaklanmanıza olanak tanır.

Efsane: Sınırsız erişim için abonelik gerekir

Sınırsız erişim için aylık abonelik ücreti gerekmez. API'yı kullandığınız token'lar için ödeme yaparak, tükettiğiniz token'lar için yalnızca ödeme yaparak kullanabilirsiniz. Hesabınızı aktif tutmak veya modele erişmek için tekrarlayan bir maliyet yoktur.

Bu model, aylık fatura taahhüdü olmadan esneklik isteyen geliştiriciler için idealdir. Küçük bir kredi miktarıyla başlayabilir, kullanımınız arttıkça büyüme sağlayabilirsiniz. Gizli ücretler veya ay sonu sürpriz faturalar yoktur.

Ancak istek yapmaya devam etmek için pozitif bir kredi bakiyesi sürdürmeniz gerekir. Kredi bakiyeniz tükendiğinde, API çağrılarınız üst ödeme yapana kadar başarısız olur. Bu, sadece kullandığınız şey için ödeme yaptığınızınızı sağlayan maliyetleri yönetmek için basit ve şeffaf bir yoldur.

Bu yaklaşım, sabit bir aboneliğin düşük kullanım dönemlerinde çok pahalı veya artış dönemlerinde yetersiz kalabileceği, değişken kullanım desenlerine sahip projeler için özellikle faydalıdır.

Gerçek: Ön ödemeli kredi ile kullanım başına ödeme

Fiyatlandırma şaffaf ve kullanım bazlıdır. Giriş tokenları başına 1 milyon başına $0.15 ve çıktı tokenları başına 1 milyon başına $0.50 ödersiniz. Hatalar ve reddetmeler ücretsizdir, bu nedenle yalnızca başarılı tamamlamalar için ödeme yaparsınız. Kredi kripto para birimi kullanılarak yüklenir, özellikle TRC20 üzerinde USDT veya Base üzerinde USDC.

Minimum yükleme tutarı 20 $'dır ve maksimum tutar 500 $'dır. Daha büyük yüklemeler için bonus kredi alabilirsiniz: 50 $ için +%5, 100 $ için +%10 ve 200 $ için +%15. Bu bonus kredi hesabınıza eklenir ve gelecekteki istekler için kullanılabilir.

Kredi süresi dolmaz, bu nedenle bir kez yükleme yapabilir ve zaman içinde kullanabilirsiniz. Bu, faturalandırma döngüsünün sonunda kullanılmayan kredinin kaybolma riskini ortadan kaldırır. Hesabınızı web sitesi aracılığıyla yönetebilirsiniz; burada bakiyenizi ve işlem geçmişinizi görüntüleyebilirsiniz.

Bu model maliyet şeffaflığını sağlar. Ne için ödeme yaptığınızı tam olarak bilirsiniz, gizli ücretler veya sürprizler yoktur. API harcamaları üzerinde tam kontrol isteyen geliştiriciler için idealdir.

Gerçek: İstemleriniz eğitim için kullanılmaz

API'mizi kullandığınızda, promptlarınız model eğitimi için kullanılmaz. Bu, verilerini özel tutmak isteyen geliştiriciler için önemli bir gizlilik özelliğidir. Bazı diğer sağlayıcıların aksine, girdi verilerinizi modellerimizi geliştirmek için kullanmıyor veya üçüncü taraflarla paylaşmıyoruz.

Bu, hassas veya tescilli bilgileri API'ye gönderirken eğitim için kullanılmayacağından endişelenmeden çalışabileceğiniz anlamına gelir. Verileriniz size ait kalır ve girdi ile çıktılar üzerinde tam mülkiyet hakkını korursunuz. Bu, API'yi müşteri etkileşimleri veya iç araştırmalar için kullanan işletmeler için kritiktir.

API'yi kullanmak için bir hesabınızın olması gerekir. Google veya e-posta ve şifre ile kayıt olabilirsiniz. Telefon numarası gerekmez. Bir hesabınız olduktan sonra bir API anahtarı oluşturabilir ve hemen istek yapmaya başlayabilirsiniz.

Bu gizlilik garantisi, kurumsal düzeyde API hizmetleri için standarttır ve kritik uygulamalarınızda platformumuzu güvenle kullanmanızı sağlamak için sunuyoruz.