GPT-4 ve GPT-3.5 ile bir uygulama deneyimi
Garbadge Day’de uygulama geliştirme sürecine dair okuduğum yazıyı önererek başlamak istiyorum. Broderick, yalnızca tek bir butonun yer aldığı ve basıldığında ise onun kürasyonunda bir dizi ilginç mem ve paylaşımların rastgele gösterildiği bir uygulama oluşturmayı planladığını belirtiyor. Yazı, uygulama fikrini gerçekleştirmek için yaşanan zorlukları ve GPT-4’ün bu zorluklarla başa çıkma becerisini ortaya koyuyor. GPT-3.5 ile başlayan deneyimde yaşanan başarısızlıklar ve ardından GPT-4’ün devreye girmesiyle elde edilen sonuç, bu iki yapay zekâ modeli arasındaki farkı gösteriyor. Süreç boyunca, GPT-4’ün öğrenme eğrisini nasıl hızlandırdığı, karmaşık kodlama süreçlerini nasıl basitleştirdiği ve sonunda fikrin çalışan bir prototipine dönüşmesine nasıl yardımcı olduğu detaylı bir şekilde anlatılıyor. Bu deneyime ek olarak, New York Times’ta yayımlanan ve yapay zekâ modellerini günlük yaşamında çeşitli amaçlarla kullanan deneyimleri anlatan bir yazıyı da eklemek istiyorum.
GPT-4 ve bağlam penceresi
The Atlantic’te geçen ay yayımlanan ve henüz okuduğum, GPT-4’ün hafızası üzerine odaklanan bir yazıyı ekliyorum. Yazıda “context window” kavramı, dil modellerinin anlayabileceği ve kullanabileceği maksimum metin miktarını ifade eden “bağlam penceresi” olarak çevrilebilir. Örneğin, GPT-3’ün bağlam penceresi, önbelleği yaklaşık 2048 kelime iken GPT-4’ünki 4.000 ila 8.000 kelimeye ulaşıyor. Bu, modelin geçmiş konuşmaları veya önceki cümleleri ne kadar iyi hatırlayabileceği ve anlayabileceği konusunda önemli bir faktör oluşturuyor.
GPT-4 gibi yeni ve gelişmiş modeller yanlış hatırlama hatalarını sürdürüyor ve kısa süreli hafızaları balık kadar kısıtlı. Yazıda, ChatGPT’nin girdileri hatırlayıp bağlamlandırma yeteneğinin gerçek bir insan sohbetine benzer bir şey sürdürmesini sağlaması örnekleniyor:
ChatGPT’ye “Güneşli ve bulutsuz bir günde gökyüzünün rengi ne?” diye sorun. Onun yanıtı, “Güneşli ve bulutsuz bir günde gökyüzünün rengi genellikle derin bir mavi tonu olur” der. Ardından “Peki, kapalı bir günde ne renk?” diye sorarsanız, önceki sorunuzun devamı olarak “Kapalı bir günde gökyüzünün rengi ne?” demek istediğinizi anlıyor. Girdileri hatırlayıp bağlamlandırma yeteneği, ChatGPT’nin gerçek bir insan sohbetine benzer bir şey sürdürmesini sağlıyor. Fakat, kısa süreli hafızasındaki tüm gelişmelere rağmen, GPT-4 hâlâ bir oturumdan diğerine bilgi tutamıyor. Mühendisler bağlam penceresini ne kadar büyütürse büyütsün, her yeni GPT-4 konuşmasına sıfırdan başlamak zorundasınız. (İyi bir terapist gibi durmuyor)
Uzun vadeli hafıza sorununu çözmeden sadece bağlam penceresini uzatmak da kolay olmuyor. Bağlam penceresi genişletildikçe dil modelini çalıştırmak için gereken hesaplama gücü ve dolayısıyla işletme maliyeti üssel olarak artıyor. Bazı geliştiriciler, bağlam pencerelerini kestirme yoldan genişletti; bir yaklaşımda, model her konuşmanın özetini saklayacak şekilde programlandı ve konuşma uzadıkça özet sürekli güncellendi. Zeki bir düzeltme olsa da, daha çok bir yamaydı ve çok şeyi atlamak zorundaydı.
Özetle, mühendislerin önerdiği karmaşık çözümler hafıza sorununu çözmüyor ve asıl sorun, büyük dil modellerinin önemli olanı önemsizden ayırt edememesi ve neyi unutmaları gerektiğini anlayamamaları. Bu durum, daha radikal bir tasarım değişikliği gerektirebilir.
Yapay zekânın kara kutusu
Washington Post, yapay zekânın eğitim verilerinde yer alan içerik türlerini içeren veri görselleri ve metodolojisi ile detaylı bir analiz yayımladı. Post editörleri, yapay zekânın eğitim verilerine dâhil olan kişisel bilgiler içeren web sitelerini tamamen ortaya çıkarmak amacıyla Google’ın C4 veri setini inceledi. ChatGPT’nin eğitiminde hangi veri kümelerinin kullanıldığı açıklanmadığı için haberde Google’ın veri setini seçildiği not düşülüyor. Habere göre, veri setlerinde korsan kitap ve sahte içerik olarak etiketlenen çok sayıda site bulunuyor. Ayrıca, ABD seçmen verilerini içeren başka bir dikkat çeken site de mevcut. Seçmen verileri kamuya ait olsa da, modellerin bu kişisel bilgileri bilinmeyen yollarla kullanma tehlikesi doğuyor. İş odaklı ve endüstriyel web siteleri en büyük kategoriyi oluştururken, yatırım tavsiyeleri sunan ve kullanıcıların yaratıcı projeler için fon toplamasına izin veren platformlar da veri setinde yer alıyor. Bu tür içerikler, çok sayıda telif hakkı sorununa yol açacak gözüküyor.
Telif haklarıyla ilişkili olarak, MIT Technology Review’da yayımlanan bir diğer haberde OpenAI’ın Avrupa veri koruma yasalarına uymak için kısa süreye sahip olduğu belirtiliyor. Eğer uyum sağlayamazsa, ağır para cezalarıyla karşı karşıya kalabilir, verileri silinebilir ve hatta başka ülkelerde de yasaklanabilir. Yapay zekâ modellerini eğitmek için kullandığı veri toplama yöntemleri, OpenAI’ın kurallara uymasının neredeyse imkânsız olacağına işaret ediyor. ChatGPT’nin arkasındaki verileri nasıl topladığı ve işlediği konusunda birçok Batı veri koruma otoritesi soruşturma başlatmış durumda. İsimler veya e-posta adresleri gibi kişisel verilerin, izin olmadan kullanıldığı düşünülüyor. Bir önceki bültende de OpenAI’ın İtalya’da yaşadığı sorunlara değinmiştim.
İki eksenli grafiklerin doğru kullanımı üzerine
Flourish’te geçtiğimiz günlerde yayımlanan bir blog yazısı, iki eksenli grafiklerin kullanımıyla ilgili önemli bilgiler sunuyor. Bu grafikler, iki farklı veri kümesini karşılaştırarak aralarındaki ilişki veya eğilimleri göstermeye yarıyor. Ancak doğru şekilde kullanılmazsa, okuyucuları yanlış yönlendirerek yanıltıcı yorumlamalara sebep olabiliyor. Yazıda, askeri harcamalarla ilgili yanlış yorumlanan ve popüler olan iki eksenli grafik örnek olarak ele alınıyor. Hatalı kullanımın neden olduğu yanlış anlaşılmanın önlenmesi adına, bu grafik nasıl olması gerektiğiyle beraber düzeltiliyor. Ayrıca, iki eksenli grafiklerin ne tür veri setlerinde kullanılması gerektiği ve nasıl doğru bir şekilde oluşturulabileceğine dair öneriler sunuluyor. Bu bilgiler, okuyucuların ve veri görselleştirme ile ilgilenenlerin, iki eksenli grafikleri doğru ve etkili bir şekilde kullanarak anlaşılır ve doğru bilgi paylaşmalarına yardımcı olacaktır.
Haftanın okuma önerileri:
- AutoGPT, ChatGPT’yi otonom hâle getirip belirli görevleri kendi oluşturduğu istemlerle yerine getirerek bugünlerde sıkça konuşulan bir araca dönüştü. ChatGPT’yi otomatize eden AutoGPT ve benzeri diğer araçları tanıtan kısa bir yazı ekliyorum. AutoGPT’yi denemeyi düşünenler için ise, adım adım AutoGPT API entegrasyonunu anlatan ve aracın uygulama alanlarına dair bilgi veren yazıları ekledim.
- Hatalı, eksik, tutarsız, dağınık, uyumsuz dolayısıyla kirli veri setlerinin nasıl temizleneceği üzerine rehber niteliğinde olabilecek Simon Rogers’ın blog yazısını paylaşmak istiyorum. Hatalı veriler yanlış girilmiş veya yinelenen bilgileri, eksik veriler yalnızca belirli alanları veya zaman dilimlerini, tutarsız veriler ise aynı örneklerin farklı adlandırılmasını veya farklı veri türlerinin bir arada kullanılmasını kapsıyor. Sorunların dördüncüsü, analiz veya görselleştirmeyle uyumsuz olan verileri tanımlıyor. Veri temizleme stratejileri arasında bu verileri yeniden düzenlemek de bulunuyor. Rogers’ın blog yazısıyla birlikte, veri temizleme ve düzenleme odaklı bir diğer yazının bültenin sekizinci sayısında yer aldığını hatırlatalım.
- Sohbet botlarının ve diğer uygulamaların yaygınlaşmasıyla birlikte, Stack Overflow gibi blogların ve topluluk platformlarının öneminin azaldığı konuşuluyordu. Ancak, Stack Overflow’un son blog yazısı yapay zekâ ve makine öğrenimi alanları için güçlü bir topluluğun kritik önemine vurgu yaparak, ChatGPT gibi uygulamaların yaygınlaşmasına rağmen bu platformların değerini ve etkisini koruduğunu öne sürüyor. Ayrıca blog yöneticileri, içeriklerinin kullanıldığı yapay zekâ geliştiricilerinden ücret almayı planlıyor. Üretken yapay zekâ ve dil modelleri, özellikle GPT-4 gibi büyük ölçekli modellerin gelişimiyle beraber önemli bir ilgi odağı haline geldi. Elbette bu hızlı gelişimin bir bedeli olacak ki telif hakkı sorunları, alanın en büyük soru işaretlerinden biri olarak ortaya çıkıyor. İçerik üreticileri ve blog yöneticileri, yazılı eserlerinin yapay zekâ geliştiricileri tarafından izinsiz kullanılması ve bu süreçten elde edilen gelirlerin adil bir şekilde paylaşılmaması konusunda endişeler taşıyor. Bu nedenle, bu tür veri kullanımı için gerekli lisans ve telif hakkı anlaşmaları yaparak sektörün sürdürülebilirliğini sağlamayı amaçlıyor.
- Yapay zekâ araçlarının tasarımda kullanımının artmasıyla, herkesin estetik açıdan cazip şeyler yaratma imkânı giderek artıyor. The New Yorker’da, “Harry Potter by Balenciaga” ve “Papa Francis” içerikleri tartışılarak yapay zekâ ve pop kültürü ilişkisi üzerine keyifli bir okuma sunuyor.
- NBC News’te yayımlanan bir yazıda, içerik üreticilerinin ChatGPT’nin yardımıyla oluşturdukları popüler TikTok videolarından bazıları paylaşılıyor. Örneğin, bir kullanıcı gelecekteki sandviç tariflerini ChatGPT’ye danışarak oluşturuyor. Başka bir kullanıcı ChatGPT’ye şarkı sözleri yazdırıp, kendi sesiyle şarkı söylüyor. Bir diğer kullanıcı ise Gilmore Girls’ün ünlü diyaloglarına yenilerini ekliyor.
- Geçtiğimiz bültende Twitter öneri algoritmasının işleyişi hakkında paylaştığım birkaç yazıdan sonra bu sayıda, algoritmanın kullanıcı davranışlarına dayalı nasıl çalıştığına ve önerilerin nasıl yapılandırıldığına dair teknik bir yazı yer ekliyorum. Yazıda kullanıcı etkileşimleri, takip edilenler ve diğer faktörlerin nasıl değerlendirildiği açıklanıyor.
- Jack Dorsey destekli, merkezi olmayan Twitter klonu Bluesky, Android üzerinden de kullanılabilir durumda. Uygulamayı kullanmak için bekleme listesine katılmanız veya bir davet kodu almanız gerekiyor. Bluesky, kullanıcıların verileri ve içerikleri üzerinde daha fazla kontrol sahibi olmalarını sağlayan merkezi olmayan yapısıyla öne çıkıyor.
- Geçtiğimiz hafta yayımladığım bültende Substack Notes’a geniş yer ayırmıştım. Gözden kaçıranlar için tekrar linki ekliyorum. Bu hafta Notes üzerine okuduğum platform kültürü ve uygulamayı konumlandırma üzerine eleştirel bakış açısı sunan yazıyı bahsi geçmişken paylaşmak istiyorum.
- Açık Veri ve Teknoloji Derneği, Güneydoğu Anadolu depremi ile ilişkili açık verilerin ulaşılabileceği yerleri gösteren dinamik bir ağ haritası paylaştı.
- Dijital evrende doğan ve geleneksel haberciliğin son perdesini indireceği düşünülen Buzzfeed News, çevrimiçi reklam gelirlerindeki gerileme ve gerekli içerik adaptasyonun gerçekleştirilememesi olmak üzere çeşitli nedenlerle kapanıyor.
- Fox News, ABD’nin en çok tartışılan sunucularından Tucker Carlson ile ilişkisini sonlandırdı. Carlson, kongre baskınıyla ilgili geçen ay ortaya çıkan yeni görüntüler ve seçimlerde hile yapıldığı iddialarını gündeme getiren haberleriyle konuşuluyordu.
- Son yılların en etkileyici dramalarından biri olan Succession, final sezonunda da beklentileri karşılayarak heyecanı yükseltiyor. Vanity Fair’deki bir yazı, dizideki taht savaşlarını ve Logan Roy karakterini merkez alarak, gerçek hayattaki Murdoch hanedanı ile benzerlikler kuruyor. Waystar Royco’nun finansal yapısı, hisse değerleri ve aile üyelerine düşen paylar ise Financial Times ve Wall Street Journal‘da yayımlanan yazılarda detaylı bir şekilde inceleniyor. [Paylaşılan yazılar spoiler içerir]
- Kapanışı bir video paylaşımıyla yapabiliriz. TikTok dansları, yapay zekâ modellerinin insan hareketlerini tanımlamaması ve anlaması için büyük kaynak olabilir. Bu büyük veri setinin bir kısmının [600 video] analize uygun hâle getirilme sürecine dair Vox’ta yer alan ilgili videoyu ekliyorum.
Son olarak, Twitter’ın haber bülteni formatını destekleyen Revue uygulamasını kaldırması gibi ileride benzer durumun Substack’de yaşanması ihtimalini gözeterek bültenleri kişisel web sayfama eklediğimi belirtmek istiyorum. Burada paylaştığım çoğu içerik arşivleme içgüdüsüyle, aslında her dönem işime yarayabileceğini düşündüğüm; Evernote, Pocket ve sosyal medya hesaplarımın yer işaretlerinde biriktirdiğim haberlerin bir araya gelmesinden oluşuyor. Bu şekilde daha düzenli ve benimle benzer gündemi takip edenler için faydalı olacağını düşünüyorum. Buraya kadar okuduğunuza göre bülteni ilgi duyabileceğini düşündüğünüz arkadaşlarınıza tavsiye edebilirsiniz. Eleştiri ve önerilerinizi benimle paylaşabilirsiniz. Görüşmek üzere…
sedaterol.com 
Yorum bırakın