CRISP, büyük dil modellerindeki kimyasal bilgiyi doğrudan tahmin yapmak için kullanmak yerine, doğal dilde ifade edilen kimya ve kristal yapı kurallarını denetlenebilir, sayısal ve yürütülebilir betimleyicilere derleyen LLM destekli bir malzeme temsil çerçevesidir. Yöntemde LLM önce hedefe ilişkin kimyasal kuralları geniş bir kural uzayından örnekler; benzer kurallar birleştirilir; her temsilî kural kristal yapıyı sayısal bir değere dönüştüren programlanabilir bir fonksiyona çevrilir; ortaya çıkan descriptor kataloğu dondurulur ve nihai tahmini Random Forest gibi geleneksel bir makine öğrenmesi modeli yapar. LLM, malzeme başına nihai tahmin aşamasında yer almaz.

Çalışmanın ana test alanı inorganik kristallerin sentezlenebilirliğidir. Buradaki “sentezlenebilirlik”, laboratuvarda yeni malzemelerin sentezlenip başarıyla doğrulandığı bir deney değildir. Materials Project tabanlı benchmark'ta deneysel veya raporlanmış yapılar pozitif, varsayımsal veya henüz raporlanmamış yapılar ise negatif değil etiketsiz kabul edilmektedir. Bu nedenle kullanılan öğrenme problemi positive–unlabeled, yani pozitif–etiketsiz öğrenmedir.

MP30 benchmark'ı 100.194 kristal yapı içerir: 38.347 pozitif ve 61.847 etiketsiz yapı. Aynı bagged PU Random Forest tüketicisi altında yalnız temsil biçimi değiştirildiğinde, 50 yürütülebilir CRISP descriptor'ı α-kalibre edilmiş F1=0,856 elde etmiş; 18 uzman seçilmiş descriptor F1=0,834; CrystalNN F1=0,665; CFID F1=0,590; Robocrystallographer metin gömmesi F1=0,438 ve ham CIF metin gömmesi F1=0,388 elde etmiştir.

CRISP'in en belirgin avantajı yalnız aynı dağılımdaki benchmark'ta değil, test verisinin eğitim dağılımından uzaklaştığı durumlarda görülmüştür. Daha büyük hücreli yapılarda CRISP F1=0,420 ile uzman temsilin 0,384 değerinin üzerinde kalmıştır. Sekiz kimyasal ailenin tek tek eğitim dışı bırakıldığı testlerde CRISP'in makro ortalama F1 değeri 0,537, uzman descriptor setinin 0,373 olmuştur. CRISP sekiz ailenin sekizinde de uzman kontrolünden daha yüksek F1 göstermiş ve iki yönlü exact sign test için p=0,0078 raporlanmıştır.

Yöntem sürekli malzeme özelliklerine de uygulanmıştır. Formasyon enerjisinde CRISP MAE=0,130 eV/atom ve R²=0,961 ile uzman seçilmiş descriptor temsilini neredeyse eşlemiştir. Oda sıcaklığı iyonik iletkenlikte 503 katı elektrolit üzerinde MAE=1,229 log birim ve R²=0,570 elde edilmiş; 150 malzemelik bağımsız dış kohortta yeniden eğitim yapılmadan MAE=1,170, R²=0,476 ve Spearman ρ=0,721 korunmuştur.

Ancak kaynak yöntemi evrensel üstünlük olarak sunmamaktadır. İyonik iletkenlik için görev-özgü uzman descriptor'lar daha iyi performans göstermiş, kayma modülü tahmininde ise daha ince sürekli geometrik descriptor'lar CRISP'i geçmiştir. Dolayısıyla çalışmanın sonucu “LLM bilgisi her malzeme tahmini probleminde daha iyidir” değil; geniş bilimsel bilgi uzayının sayısal, denetlenebilir ve veri setinden bağımsız biçimde derlenmesinin özellikle dağılım kayması ve sınırlı veri koşullarında yararlı olabileceğidir.

CRISP Nedir ve Nasıl Çalışır?

CRISP, doğal dildeki hedefe ilişkin kimyasal kuralları LLM ile geniş ölçekte örnekleyen, benzer kuralları kavramsal ailelerde birleştiren, her aileyi kristal yapıdan tek bir skaler değer hesaplayan çalıştırılabilir programa dönüştüren ve bu dondurulmuş descriptor vektörünü klasik bir makine öğrenmesi modeline veren bir temsil oluşturma çerçevesidir; nihai malzeme tahminini LLM değil, bu sayısal descriptor'ları tüketen downstream model yapar.

Çalışmanın çözmeye çalıştığı temel problem

Malzeme tahmininde yalnız hangi makine öğrenmesi algoritmasının seçildiği değil, malzemenin modele hangi değişkenlerle temsil edildiği belirleyicidir. Formasyon enerjisi gibi bazı özellikler doğrudan sayısal bir hedef olarak tanımlanabilir. Buna karşılık bir kristalin sentezlenebilirliği tek bir sayısal fiziksel büyüklüğe indirgenemez.

Bir kristalin gerçekten elde edilebilir olması; termodinamik kararlılık, metastabilite, koordinasyon ortamı, atomların paketlenmesi, simetri, bileşim, rakip fazlar, kinetik olarak erişilebilir reaksiyon yolları ve uygun öncüllerin bulunması gibi birçok etkene bağlı olabilir. Bu düşüncelerin büyük bölümü kimya literatüründe “şu durum sentezi kolaylaştırabilir” biçiminde doğal dil kuralları olarak bulunur.

Geleneksel makine öğrenmesi modeli doğal dildeki bu kuralları doğrudan okuyamaz. Önce bunların sayısal değişkenlere dönüştürülmesi gerekir. Makalenin ana problemi tam olarak budur: geniş ve dağınık kimyasal bilgi uzayı sistematik biçimde nasıl keşfedilir ve hesaplanabilir descriptor'lara nasıl dönüştürülür?

Neden doğrudan LLM tahmini yapılmıyor?

Yazarlar doğrudan LLM tahmininin iki önemli sorununa işaret eder. Birincisi, model doğru sonuç üretse bile tahmin sırasında gerçekte hangi fiziksel veya kimyasal değişkenleri kullandığı açık olmayabilir. İkincisi, modelin tahmin sonrasında ürettiği doğal dil açıklaması, tahmini gerçekten belirleyen iç hesaplamanın güvenilir bir kaydı olmak zorunda değildir.

CRISP bu sorunu LLM'nin görevini sınırlandırarak ele alır. LLM:

1. kimyasal kural önerir,
2. kural ailelerinin birleştirilmesine yardım eder,
3. kuralı hesaplayan programın üretilmesine yardım eder.

Ancak descriptor kataloğu tamamlandıktan sonra katalog dondurulur. Nihai veri seti üzerinde tahmin klasik bir model tarafından yapılır. Böylece her giriş değişkeninin arkasında isimlendirilmiş bir kimya kuralı ve incelenebilir bir program bulunur.

CRISP kısaltmasının açılımı nedir?

Yüklenen ana PDF, CRISP adını yöntem adı olarak kullanmakta ancak kısaltmanın hangi İngilizce sözcüklerin baş harflerinden türetildiğini açıkça vermemektedir. Bu nedenle Verianla kısaltma için kaynakta bulunmayan bir açılım üretmemektedir.

Beş aşamalı CRISP akışı

Kural keşfi aşaması nasıl yapıldı?

Sentezlenebilirlik görevinde gpt-4.1-mini-2025-04-14 modeline bir inorganik kimya uzmanı gibi davranması ve kristal bilgisinden sentezlenebilirliği gösterebilecek on kimyasal veya yapısal kural önermesi istendi. Her kural açıklaması en fazla 100 kelime olacak biçimde sınırlandı.

Aynı istek 1.000 bağımsız kez gönderildi:

\[ 1000\;\text{çağrı}\times10\;\text{kural/çağrı}=10000\;\text{aday kural} \]

Araştırmacılar bu aşamada reasoning ağırlıklı bir model yerine hızlı ve çeşitlilik üreten non-reasoning modeli özellikle seçtiklerini belirtmektedir. Amaç tek bir cevaba yakınsamak değil, olabildiğince geniş bir kimya-kuralı uzayını örneklemektir.

Bu nedenle aynı fikir birçok kez üretilebilirken bazı kurallar yalnız az sayıda çağrıda ortaya çıkmıştır. Çalışmanın sonraki analizi, bir kuralın LLM tarafından sık üretilmesinin onun tahmin açısından mutlaka daha değerli olduğu anlamına gelmediğini göstermiştir.

10.000 doğal dil kuralı nasıl 50 descriptor'a indirildi?

Kural metinleri text-embedding-3-large kullanılarak sayısal metin gömmelerine dönüştürüldü. Embedding vektörleri önce L2 normalize edildi, PCA ile boyut azaltıldı ve yeniden normalize edildi.

Sentezlenebilirlik kataloğunda k-means için:

• küme sayısı: 50,
• centroid başlangıç sayısı: 50,
• maksimum iterasyon: 1.000,
• random seed: 42

kullanıldı.

Her kümedeki doğal dil kuralları daha sonra GPT-5'e verilerek ortak kimyasal anlamlarını temsil eden tek bir kural halinde birleştirildi. Kaynak, kural birleştirme aşamasında insan tarafından içerik düzenlemesi yapılmadığını belirtmektedir.

Formasyon enerjisi, kayma modülü ve iyonik iletkenlik için yine 1.000 çağrılık hedefe özgü kural keşfi yürütüldü; ancak bu görevlerde kurallar 25 aile halinde birleştirildi.

“Veri kümesine kör” ne anlama geliyor?

CRISP'in “dataset-blind” yani veri kümesine kör olarak adlandırılması, kural keşfi ve descriptor kataloğu oluşturulurken LLM'ye kristal örnekleri, gerçek hedef değerleri, eğitim/test bölünmeleri, model tahminleri veya performans metriklerinin verilmemesi anlamına gelir. Bu tasarım, descriptor'ların belirli benchmark etiketlerine bakılarak optimize edilmesini engellemeyi amaçlar.

Burada önemli bir ayrım vardır: descriptor fonksiyonları sonradan gerçek kristal yapıya uygulanarak değer hesaplar. “Veri kümesine kör” ifadesi descriptor'ların kristal yapıyı hiç kullanmadığı anlamına gelmez; descriptor fikrinin ve programının benchmark etiketlerinden geri besleme almadan oluşturulduğu anlamına gelir.

Doğal dil kuralı nasıl çalıştırılabilir descriptor oluyor?

Her birleştirilmiş kimya kuralı gpt-4.1-2025-04-14 ile, temperature=0 koşulunda tek bir kayan noktalı skaler değer döndüren Python fonksiyonuna çevrildi.

Kavramsal olarak her descriptor:

\[ f_k(x)\rightarrow z_k \]

biçiminde düşünülebilir.

Burada \(x\), CIF'den türetilmiş kristal yapı ve ilgili sabit fizikokimyasal girdileri; \(f_k\), k numaralı kimyasal kuralı hesaplayan programı; \(z_k\) ise bu kuralın ilgili kristal için ürettiği tek skaler değeri temsil eder.

Sentezlenebilirlik görevindeki toplam temsil:

\[ \mathbf{z}(x)= [f_1(x),f_2(x),\ldots,f_{50}(x)] \]

şeklinde 50 boyutlu bir descriptor vektörü olarak düşünülebilir. Bu matematiksel gösterim kaynak yönteminin öğretici formalizasyonudur; kaynakta ayrı numaralı denklem olarak verilmemiştir.

Descriptor kodlarının ne yapmasına izin verilmedi?

Sentezlenebilirlik descriptor'larının içinde pretrained synthesizability modellerinin, grafik sinir ağlarının veya hedef için öğrenilmiş surrogate modellerinin kullanılması yasaklandı.

Regresyon görevlerinde hedefe doğrudan erişim veya hedef sızıntısı yaratabilecek girdiler ayrıca yasaklandı. Kaynak örnek olarak malzeme bazında formasyon/toplam enerji, energy above hull, elastik tensörler, elastik sabitler, modüller, gerilme–şekil değiştirme yanıtları, veri tabanından hedef değer çekme ve hedef üzerinde eğitilmiş surrogate'ları saymaktadır.

Üretilen fonksiyonlar sözdizimi, importlar, yasak tokenlar ve target leakage açısından statik denetime tabi tutulmuştur. Son 25 fonksiyonluk regresyon kataloglarının tamamı bu kontrolleri geçmiştir.

İnsan müdahalesi ne kadar?

Kural birleştirme aşamasında insan tarafından kimyasal içerik düzenlemesi yapılmadığı belirtilmiştir. Kod hazırlama aşamasında insan müdahalesi yalnız kodun çalışmasını engelleyen:

• sözdizimi,
• tip,
• import,
• runtime

hatalarının düzeltilmesiyle sınırlandırılmıştır. Kaynak, bu düzeltmeler sırasında LLM'nin önerdiği kimyasal mantığın veya hesaplama yapısının değiştirilmediğini belirtmektedir.

50 descriptor neden seçildi?

Kapsama ve yakınsama analizleri 1.000 LLM çağrısının pratik bir doygunluk bütçesi olduğunu desteklemiştir. Descriptor sayısı arttıkça performans K=50'ye kadar yükselmiş, K=60 civarında ise plato oluşmuş ve semantik örtüşme artmıştır.

Bu nedenle K=50, kaynak tarafından kapsama ile gereksiz tekrar arasındaki denge olarak yorumlanmaktadır.

Pozitif–Etiketsiz Öğrenme Nedir?

Pozitif–etiketsiz öğrenme, veri kümesinde güvenilir pozitif örneklerin bulunduğu fakat geri kalan örneklerin gerçek negatif olarak kabul edilemediği öğrenme problemidir; bu çalışmada raporlanmış kristaller pozitif, varsayımsal veya henüz raporlanmamış kristaller ise “sentezlenemez” diye etiketlenmek yerine etiketsiz bırakılmıştır.

Neden etiketsiz bir kristal negatif değildir?

Bir kristalin bir veri tabanında henüz pozitif olarak görünmemesi onun fiziksel olarak sentezlenemeyeceğini kanıtlamaz. Malzeme henüz denenmemiş, doğru sentez koşulları bulunmamış veya veri tabanına henüz eklenmemiş olabilir.

Bu nedenle etiketsiz yapıları doğrudan negatif sınıf olarak kullanmak, gerçekte sentezlenebilir bazı malzemeleri yanlış negatif kabul etme riski taşır.

MP30 benchmark'ı

MP30, birim hücre temsilinde en fazla 30 atom içeren yapılarla sınırlandırılmıştır. Yapı açıklaması 10.000 veya daha fazla karakter olan bazı girdiler StructLLM pipeline'ıyla uyumluluğu korumak için dışlanmıştır.

Bagged PU Random Forest nasıl çalışıyor?

CRISP sentezlenebilirlik tahmininde 50 ayrı Random Forest modeli kullanmıştır. Her bag içinde bütün pozitif eğitim örnekleri alınmış ve etiketsiz havuzdan aynı sayıda rastgele örnek seçilmiştir.

Her dengeli alt kümede:

• RandomForestClassifier,
• 100 estimator/ağaç,
• bunun dışındaki scikit-learn varsayılan ayarları

kullanılmıştır.

Nihai CRISP skoru kaynak yönteminin matematiksel ifadesiyle şu şekilde düşünülebilir:

\[ s(x)=\frac{1}{50}\sum_{b=1}^{50}p_b(y=1\mid x) \]

Burada \(p_b(y=1\mid x)\), b numaralı Random Forest'ın x kristali için pozitif sınıfa verdiği olasılık benzeri skordur. \(s(x)\), 50 modelin ortalama pozitif-sınıf skorudur.

Bu skor gerçek dünyadaki “sentezlenme olasılığı” olarak yorumlanmamalıdır. PU benchmark'ına göre oluşturulan bir model skorudur.

α=0,0567 Kalibrasyonu Neyi İfade Eder?

α=0,0567, kaynakta etiketsiz U havuzunun içinde gizli gerçek pozitiflerin bulunduğu varsayımını temsil eden ve PU sınıflandırma metriklerinin çalışma noktasını kalibre etmek için kullanılan sabit prevalans değeridir; çalışma bu değeri önceki PU sentezlenebilirlik araştırmalarını izleyerek sabit tutmuştur.

Bu nedenle Table 1'deki precision ve F1 değerleri klasik tamamen etiketli veri kümesinde doğrudan hesaplanan sıradan supervised-classification metrikleri olarak okunmamalıdır. Kaynak bunları α koşullu PU değerlendirmesine göre raporlamaktadır.

F1 neyi ölçüyor?

F1, precision ile recall/TPR arasındaki harmonik ortalamadır. Genel matematiksel tanımı:

\[ F1= 2\frac{Precision\times Recall} {Precision+Recall} \]

şeklindedir.

Bu çalışmada \(Recall\), pozitif yapıların ne kadarının doğru biçimde yüksek pozitif sınıf tarafında yakalandığını temsil eden TPR ile ilişkilidir. Ancak precision bileşeni PU ortamında α'ya göre tahmin edilip kalibre edildiği için klasik tam etiketli sınıflandırma precision'ıyla bire bir aynı değerlendirme değildir.

TPR nedir?

True Positive Rate (TPR), pozitif olduğu bilinen örneklerin ne kadarının pozitif olarak yakalandığını ifade eder. Tam etiketli sınıflandırmadaki standart kavramsal biçimi:

\[ TPR=\frac{TP}{TP+FN} \]

şeklindedir.

TP, doğru pozitif; FN, yanlış negatif sayısını temsil eder.

CRISP'in ana benchmark sonucu

Karşılaştırma sınırı: Tablo iki farklı türde karşılaştırma içerir. CRISP, Expert-curated, CrystalNN, CFID, Robocrystallographer ve Raw CIF aynı PU Random Forest tüketicisi altında karşılaştırılmıştır; burada esas değişken temsil biçimidir. CSLLM, StructLLM, SynCry ve PU-CGCNN ise kendi özgün tahmin pipeline'larıyla karşılaştırıldığı için hem temsil hem de predictor değişmektedir. Bu nedenle bütün satırlar “yalnız descriptor farkı” olarak yorumlanamaz.

Daha fazla descriptor neden otomatik olarak daha iyi değil?

CRISP 50 boyut, Expert-curated temsil 18 boyut ve CFID 1.557 boyuttur. Buna rağmen aynı Random Forest altında F1 sırası CRISP > Expert-curated > CrystalNN > CFID olmuştur.

Bu sonuç descriptor sayısının tek başına bilgi kalitesini belirlemediğini göstermektedir. Çok sayıda genel özellik, hedef için anlamlı kimyasal bilginin daha küçük ama daha hedefe yönelik bir kataloğundan daha yararlı olmak zorunda değildir.

Az veri durumunda ne oldu?

Eğitim bölümünün yalnız %5'i kullanıldığında:

• CRISP F1 = 0,618,
• Expert-curated F1 = 0,577,
• dört genel temsilin F1 değerleri = 0,261–0,403

aralığında kalmıştır.

Bu sonuç, derlenmiş kimyasal önbilginin özellikle veri miktarının kısıtlı olduğu koşullarda yarar sağlayabileceğine ilişkin çalışma içi kanıttır. Bunun başka veri kümelerinde otomatik olarak aynı büyüklükte avantaj sağlayacağı gösterilmemiştir.

CIF nedir?

Crystallographic Information File (CIF), kristal yapı bilgisinin; birim hücre parametreleri, atom türleri, atom konumları ve simetri bilgileri gibi kristalografik verilerle temsil edildiği standartlaşmış metin biçimidir.

Raw-CIF karşılaştırmasında bu metnin tamamı text-embedding-3-large ile 256 boyutlu bir embedding'e dönüştürülmüştür.

CrystalNN, CFID ve Robocrystallographer neyi temsil ediyor?

• CrystalNN: 122 boyutlu yerel koordinasyon çevresi fingerprint'leri kullanır.
• CFID: 1.557 boyutta kimya, hücre, radyal, açısal, dihedral ve yük ilişkili dağılımları birleştirir.
• Robocrystallographer: kristal yapısından otomatik doğal dil yapı açıklaması üretir; bu çalışma açıklamayı 256 boyutlu embedding olarak kullanmıştır.
• Raw CIF: kristalografik dosyanın ham UTF-8 metnini 256 boyutlu embedding'e dönüştürür.

Dağılım Kayması Neden Bu Çalışmanın Merkezinde?

Dağılım kayması, test örneklerinin eğitim sırasında görülen yapı veya kimya dağılımından sistematik biçimde farklılaşmasıdır; CRISP'in temel iddiası yalnız normal benchmark F1'ini yükseltmek değil, derlenmiş kimyasal kuralların daha büyük kristal yapıları ve eğitimde hiç görülmeyen kimyasal aileler gibi dağılım dışı koşullarda daha fazla tahmin sinyali koruyabilmesidir.

Yapısal boyut kayması

MP30 üzerinde eğitilmiş modeller yeniden eğitilmeden 31–49 site içeren 23.525 Materials Project yapısına uygulanmıştır.

Bu değerlerin tamamı aynı MP30 eğitim dağılımından daha büyük kristal temsillerine yapılan aktarımı ölçmektedir.

Kimyasal aile kayması

İkinci aktarım deneyinde sekiz malzeme ailesinden biri tamamen eğitimden çıkarılmış, model diğer ailelerde eğitilmiş ve hiç görmediği aile üzerinde test edilmiştir.

“Makro ortalama” her kimyasal ailenin skorunun aile büyüklüğünden bağımsız olarak eşit ağırlıkla ortalanmasıdır:

\[ F1_{\mathrm{macro}} = \frac{1}{K} \sum_{k=1}^{K}F1_k \]

Bu deneyde \(K=8\) kimyasal aile vardır.

Exact sign test p=0,0078 neden çıktı?

CRISP sekiz önceden belirlenmiş kimyasal ailenin tamamında Expert-curated kontrolden daha yüksek F1 elde etmiştir.

Eğer iki yöntemin her ailede kazanma olasılığı eşit ve %50 kabul edilirse, sekiz karşılaştırmanın tamamının aynı yöntemin lehine çıkmasının iki yönlü exact sign test olasılığı:

\[ p= 2\left(\frac{1}{2}\right)^8 = \frac{2}{256} = 0.0078125 \]

olur. Kaynaktaki p=0,0078 değeri bu sonuçla uyumludur.

Bu test, F1 farklarının büyüklüğünü değil sekiz ailenin tamamında farkın aynı yönde olmasının tesadüfi olma olasılığını değerlendirir.

Intermetaliklerdeki fark

Kaynak intermetalik aileyi özellikle örnek vermektedir:

• CRISP F1 = 0,764,
• CrystalNN F1 = 0,508,
• Expert-curated F1 = 0,418.

Yazarlar bunu, geniş CRISP kataloğunun uzman tarafından kompakt biçimde seçilmiş özelliklerde yeterince temsil edilmeyen bazı aile-özgü kimyasal bilgileri koruyabildiğine ilişkin kanıt olarak yorumlamaktadır.

End-to-end modellerle dağılım dışı karşılaştırma

Daha büyük yapı testinde kalibre edilmiş TPR:

• CRISP = 0,839,
• CSLLM = 0,754,
• PU-CGCNN = 0,574.

Sekiz görülmemiş kimyasal aile üzerinde makro ortalama:

2022 → 2026 zamansal kontrol

Araştırmacılar Ekim 2022 Materials Project görüntüsünde etiketsiz olan fakat Nisan 2026'ya gelindiğinde pozitif kayıt haline gelmiş 334 yapı üzerinde retrospektif kontrol yapmıştır.

Bu yapıların CRISP skorlarının %94,6'sı nominal 0,5 eşiğinin üzerindedir.

Yorum sınırı: Bu sonuç CRISP'in 334 yeni malzemenin sentezini önceden bağımsız biçimde deneysel olarak keşfettiği anlamına gelmez. Analiz retrospektiftir ve veri tabanı statüsündeki zaman içindeki değişimle model skorunun ilişkisini inceler.

Çalışmanın Yöntemi ve Bulguları

Kural sıklığı tahmin önemini belirliyor mu?

Hayır. Kaynakta kural kümeleri LLM tarafından ne sıklıkta üretildiklerine göre indekslenmiş, ancak üretim sıklığı ile Random Forest önem değeri veya ortalama mutlak SHAP katkısı arasında anlamlı ilişki bulunmamıştır.

Örneğin daha seyrek üretilen:

• stokiyometri sapması — R42,
• antisite formation-energy proxy — R45

gibi kurallar dikkate değer tahmin katkıları göstermiştir.

Bu sonuç şu ayrımı ortaya koyar: bir kavramın LLM tarafından kolay ve sık hatırlanması ile onu hesaplayan descriptor'ın model için gerçekten yararlı olması aynı şey değildir.

Energy above hull neden önemli?

Energy above hull, bir malzemenin aynı toplam bileşime sahip olası kararlı faz kombinasyonlarına göre enerji olarak ne kadar yukarıda bulunduğunu ifade eden termodinamik kararlılık ölçüsüdür. Convex hull üzerinde bulunan yapıların energy-above-hull değeri sıfıra yakınken, daha yüksek değerler termodinamik metastabilitenin arttığını gösterebilir.

CRISP global descriptor önem analizinde energy above hull en önemli descriptor olmuştur. Ancak yalnız bu descriptor sınıfları belirlememiştir; kaynak hiçbir tek descriptor'ın neredeyse deterministik sınıf ayrımı sağlamadığını raporlamaktadır.

En önemli 10 descriptor ne kadar bilgi taşıdı?

Eğitim verisinden çıkarılan önem sıralamasına göre yalnız en üst 10 descriptor kullanıldığında F1=0,816 elde edilmiştir. Daha düşük önem sıralı descriptor'lardan başlayan alt kümeler performansı daha yavaş geri kazanmıştır.

Bu durum dağılım içindeki performansın büyük bölümünü kompakt bir çekirdeğin taşıdığını gösterir. Fakat kaynak ayrıca tam kataloğun yapısal boyut ve kimyasal aile kaymalarında daha güçlü olduğunu göstermektedir.

Başka bir deyişle, eğitim dağılımında gereksiz gibi görünen bazı kimya kuralları yeni malzeme ailesine geçildiğinde yararlı hale gelebilir.

Descriptor aileleri

Post hoc uzman sınıflandırması descriptor'lardaki bilgiyi başlıca şu fizikokimyasal ailelere ayırmıştır:

• termodinamik,
• graf-ilişkisel,
• geometrik,
• kompozisyonel.

GPT-5 başlangıçta A/B/C önem etiketleri önermiş, ardından iki alan uzmanı descriptor'ları birlikte inceleyerek nihai etiketleri uzlaşıyla belirlemiştir. Bağımsız puanlama yapılmadığından inter-rater agreement yani gözlemciler arası uyum metriği tanımlanmamıştır.

DFT Fiziksel Denetimi Neyi Gösteriyor ve Neyi Kanıtlamıyor?

DFT perturbasyon–gevşetme denetimi, yüksek CRISP skoruna sahip yapıların uygulanan küçük koordinat bozunumları altında yakın çevrede daha az enerji düşüren alternatif geometri bulmasıyla ilişkili olduğunu gösterir; bu, yerel yapısal sağlamlık için bağımsız bir fiziksel tutarlılık kontrolüdür fakat sentez kinetiğini, laboratuvarda üretilebilirliği veya deneysel kalıcılığı doğrudan kanıtlamaz.

DFT grupları

Üç grup seçilmiştir:

• 50 yüksek skorlu bilinen pozitif yapı,
• 50 yüksek skorlu etiketsiz yapı,
• 50 düşük skorlu etiketsiz yapı.

Her ana yapı için atomların kesirsel koordinatları %1 oranında rastgele ötelenerek 10 pertürbe yapı oluşturulmuştur. Aynı on random seed üç grup için de kullanılmıştır.

Yerel sağlamlık nasıl değerlendirildi?

Her pertürbe yapı DFT ile gevşetilmiş ve gevşeme sonrasında enerji ana yapının enerjisine göre atom başına karşılaştırılmıştır.

Ana eşik:

\[ \Delta E<-0.02\;\mathrm{eV/atom} \]

olarak kullanılmıştır.

Bir pertürbasyonun ana yapıdan en az 0,02 eV/atom daha düşük enerjiye gevşemesi, yakın konfigürasyon uzayında daha düşük enerjili bir geometrinin bulunabildiğini gösterir. Aynı ana yapı için bu olayın daha fazla pertürbasyonda görülmesi, kaynak tarafından daha düşük yerel yapısal sağlamlıkla ilişkilendirilmiştir.

0,01 ve 0,03 eV/atom eşikleri kullanıldığında da aynı nitel sıralama korunmuştur.

DFT hesaplama koşulları

Bu fiziksel kontrolün sınırı

Bir yapının küçük perturbasyonlara karşı yerel enerji çevresinde sağlam olması, gerçek sentez sırasında erişilebilir reaksiyon yolunun varlığını göstermez. Gerçek sentez; sıcaklık, basınç, öncüller, kinetik bariyerler, faz dönüşümleri ve deneysel prosedür gibi birçok ek etkene bağlı olabilir.

Bu nedenle çalışma DFT audit sonucunu “CRISP sentez kinetiğini öğrendi” şeklinde yorumlamamaktadır.

Formasyon enerjisi görevi

Formasyon enerjisi regresyonunda 99.186 sonlu formasyon enerjisi kaydı kullanılmıştır. CRISP katalog boyutu bu görevde 25 descriptor'dır.

Regresyon modellerinde RandomForestRegressor 100 ağaçla kullanılmıştır. Üç GroupShuffleSplit bölünmesinde yapıların %20'si test için ayrılmıştır. Eğitim oranları:

5%, 10%, 20%, 40%, 60%, 80% ve 100%

olacak biçimde iç içe alt kümeler olarak uygulanmıştır.

MAE neyi ifade eder?

Ortalama mutlak hata — Mean Absolute Error (MAE) — tahmin ile gerçek değer arasındaki mutlak farkların ortalamasıdır:

\[ MAE= \frac{1}{n} \sum_{i=1}^{n} |y_i-\hat{y}_i| \]

\(y_i\) gerçek değer, \(\hat{y}_i\) model tahmini ve \(n\) örnek sayısıdır. MAE küçüldükçe ortalama tahmin hatası azalır.

R² neyi ifade eder?

Belirleme katsayısının standart tanımı:

\[ R^2= 1- \frac{\sum_i(y_i-\hat{y}_i)^2} {\sum_i(y_i-\bar{y})^2} \]

şeklindedir. \(R^2\) değerinin 1'e yaklaşması tahminlerin hedef değişken varyasyonunun büyük bölümünü açıkladığını gösterir. Negatif R², modelin bazı test koşullarında basit ortalama tahmininden dahi daha kötü davranabileceğini gösterebilir.

Formasyon enerjisi sonuçları

CRISP için kaynak ayrıca R²=0,961 raporlamaktadır.

Sekiz görülmemiş kimyasal aileye aktarımda makro R²:

• CRISP = 0,564,
• Expert-curated = 0,474,
• CFID = 0,323.

Diğer temsiller sekiz aile üzerinde pozitif makro R² koruyamamıştır.

İyonik iletkenlik veri seti

Oda sıcaklığı iyonik iletkenlik görevi 503 inorganik katı elektrolitten oluşmaktadır.

Hedef:

\[ \log_{10}\left[\frac{\sigma}{\mathrm{S/cm}}\right] \]

biçiminde ifade edilmiştir.

Burada \(\sigma\) iyonik iletkenliktir. İletkenliğin S/cm birimine bölünmesi logaritmanın içine boyutsuz bir oran sokar; model doğrudan iletkenliğin 10 tabanındaki logaritmasını tahmin etmektedir.

Veri bölünmesi reduced-formula-group-disjoint olacak biçimde:

• 404 eğitim,
• 99 test

yapısından oluşmuştur.

İyonik iletkenlik sonuçları

CRISP test R² değeri 0,570'tir.

Ardından CRISP 503 geliştirme yapısının tamamında eğitilmiş ve bu koleksiyonda bulunmayan, manuel olarak derlenmiş 150 katı elektrolitlik dış kohort üzerinde yeniden eğitilmeden test edilmiştir:

Spearman ρ, iki değişkenin mutlak değerlerinden çok sıralamalarının ne kadar birlikte değiştiğini ölçen rank-correlation metriğidir. ρ=0,721, bu dış kohortta tahmin edilen iletkenlik sıralaması ile gözlenen sıralama arasında pozitif ilişki bulunduğunu gösterir.

Ancak kaynak, iyon taşınımına yönelik özel uzman önbilgileriyle elle seçilmiş 18 descriptor'lık kontrolün CRISP'ten daha iyi olduğunu açıkça belirtmektedir. Ana PDF'de bu uzman kontrolün tam sayısal sonuçları Figure S20'ye yönlendirilmiştir; destekleyici figürün kesin değerleri ana PDF'de verilmediği için Verianla bunları üretmemektedir.

Kayma modülü sonucu neden önemli bir sınır?

Kayma modülü görevi 10.794 uygun yapıyı kapsamaktadır. Kaynak bu görevde ince çözünürlüklü sürekli geometrik descriptor'ların CRISP'ten daha iyi performans gösterdiğini belirtmektedir.

Bu sonuç CRISP'in görevden bağımsız evrensel bir temsil olmadığını gösterir. Bir hedef, çok ince ve sürekli geometrik bilgiye güçlü biçimde bağlıysa doğal dil kimya kurallarından derlenen kompakt descriptor kataloğu gerekli çözünürlüğü taşımayabilir.

Çalışmanın ana sayısal özeti

Çalışmanın desteklediği sonuçlar

• LLM tarafından üretilen doğal dil kimya kuralları, denetlenebilir yürütülebilir descriptor'lara dönüştürülebilir.
• CRISP descriptor'ları MP30 benchmark'ında aynı PU Random Forest altında karşılaştırılan genel temsillerden ve uzman seçilmiş 18 descriptor'dan daha yüksek F1 elde etmiştir.
• CRISP'in avantajı yapısal boyut ve kimyasal aile dağılım kaymalarında büyümüştür.
• Nadir üretilen bazı kurallar önemli tahmin bilgisi taşıyabilir; LLM üretim sıklığı feature importance için güvenilir vekil değildir.
• Tam descriptor kataloğu dağılım kaymasında, dağılım içinde gereksiz görünebilecek tamamlayıcı bilgiler sağlayabilir.
• Yüksek CRISP skorları uygulanan DFT perturbasyon protokolü altında daha yüksek yerel yapısal sağlamlıkla ilişkili bulunmuştur.
• CRISP formasyon enerjisinde uzman kompakt temsil ile benzer dağılım-içi hata elde etmiştir.
• CRISP iyonik iletkenlikte genel kristal temsillerinden daha düşük MAE elde etmiş ve bağımsız 150 yapılık kohorta bilgi taşımıştır.
• Descriptor kataloğu oluşturulduktan sonra malzeme başına LLM inference gerekmez.
• Her descriptor isimlendirilmiş kimyasal kurala ve incelenebilir programa bağlanabildiği için temsil denetlenebilir ve ablate edilebilir.

Çalışmanın desteklemediği sonuçlar

• CRISP skoru bir kristalin laboratuvarda kesin olarak sentezlenebileceğinin garantisi değildir.
• Etiketsiz örnekler gerçek negatif değildir.
• 2026'da pozitif hale gelen yapıların CRISP tarafından deneysel olarak “keşfedildiği” gösterilmemiştir.
• DFT perturbasyon denetimi sentez kinetiğini veya deneysel kalıcılığı doğrudan ölçmez.
• CRISP bütün malzeme özellikleri için en iyi temsil değildir.
• İyonik iletkenlikte görev-özgü uzman descriptor kontrolünü geçmemiştir.
• Kayma modülünde ince geometrik descriptor'lardan daha iyi olduğu gösterilmemiştir.
• LLM'nin doğrudan son tahmin modeli olarak üstün olduğu gösterilmemektedir; CRISP'in ana katkısı knowledge compilation aşamasındadır.
• F1=0,856 gerçek dünya laboratuvar sentez başarı oranı değildir.
• PU precision değerleri tam etiketli klasik sınıflandırma precision'ı gibi doğrudan yorumlanmamalıdır.

Çalışmanın başlıca yöntemsel sınırları

PU etiket yapısı: Sentezlenebilirlik görevi gerçek negatif sınıfa sahip değildir. Sonuçlar pozitif/etiketsiz benchmark varsayımlarına ve α=0,0567 latent-positive prevalans kabulüne bağlıdır.

Hedefe bağımlılık: CRISP'in başarısı hedef özelliğin hangi bilgi çözünürlüğünü gerektirdiğine bağlıdır. Kayma modülü sonucu bu sınırı açıkça göstermektedir.

Uzman önbilgisinin hâlâ değeri vardır: Küçük iyonik iletkenlik veri setinde güçlü görev-özgü uzman descriptor'lar CRISP'i geçmiştir.

Proprietary LLM kullanımı: Mevcut uygulama kural üretimi, birleştirme ve kod üretimi aşamalarında proprietary dil modelleri kullanmaktadır. Yazarlar buna karşılık kullanılan nihai kural metinlerini, descriptor programlarını ve audit kayıtlarını yayımlayarak sonuçlarda kullanılan temsilin izlenebilirliğini koruduklarını belirtmektedir.

Katalog geliştirme kronolojisi: K=50 katalog, 1.000 çağrı bütçesi ve ilk MP30 bölünmesi erken geliştirme aşamasında belirlenmiştir. Kaynak Figure S4 katalog-boyutu ve Figure S3 classifier analizlerini prospective model-selection değil retrospektif duyarlılık analizleri olarak tanımlamaktadır.

Kimyasal aile testi element-disjoint değildir: Aile bazlı transfer taxonomy-level transferi ölçmektedir; test edilen ailedeki bütün elementlerin eğitimden çıkarıldığı anlamına gelmez.

Yeniden üretilebilirlik açısından güçlü taraflar

• Promptlar Supporting Information içinde paylaşılmıştır.
• Kural konsolidasyon prosedürü açıklanmıştır.
• Yürütülebilir descriptor kodları yayımlanmıştır.
• Code audit kayıtları paylaşılmıştır.
• Model eğitimi ve değerlendirme kodu GitHub üzerinden erişilebilir olarak bildirilmiştir.
• MP30 yapı verileri Materials Project üzerinden erişilebilir.
• 503 yapılık iyonik iletkenlik geliştirme setinin Zenodo DOI'si verilmiştir.
• Dondurulmuş benchmark ID'leri farklı modeller arasında ortak tutulmuştur.

Kaynak ve Yöntem Notu

Özgün çalışma: Compiling Chemical Knowledge into Executable Descriptors for Materials Prediction

Yazarlar: Jaehwan Choi; Kunik Jang; Seongmin Kim; Shuan Chen; Kyungju Nam; Seung Hyo Noh; Donghwi Kim; Yousung Jung.

Sorumlu yazar: Yousung Jung.

E-posta: yousung.jung@snu.ac.kr

Kurum 1: Department of Chemical and Biological Engineering (BK21 four), and Institute of Chemical Processes, Seoul National University, 1 Gwanak-ro, Gwanak-gu, Seoul 08826, Korea.

Kurum 2: Institute of Engineering Research, Seoul National University, 1 Gwanak-ro, Gwanak-gu, Seoul 08826, Korea.

Kurum 3: Materials Research & Engineering Center, Hyundai Motor Company, Uiwang-si, Gyeonggi-do, Republic of Korea.

Kaynak türü: arXiv preprint; hesaplamalı malzeme bilimi ve makine öğrenmesi çalışması.

arXiv kimliği: arXiv:2608.27587.

arXiv DOI biçimi: 10.48550/arXiv.2608.27587.

arXiv kayıt tarihi: 27 Ağustos 2026.

Alan: Materials Science / cond-mat.mtrl-sci.

Hakemlik durumu: İncelenen sürüm preprinttir. 4 Kasım 2026 itibarıyla ayrı bir hakemli dergi sürümü doğrulanmamıştır.

Resmî kayıt: arXiv:2608.27587.

Lisans: Yüklenen ana PDF metninde açık bir Creative Commons lisans beyanı görülmemektedir; lisans konusunda kaynakta bulunmayan bir sınıflandırma eklenmemiştir.

Eşit katkı: Ana PDF'de eşit katkı/eş birinci yazarlık beyanı bulunmamaktadır.

Ana yöntem: CRISP — LLM destekli kimyasal kural keşfi, kural birleştirme ve yürütülebilir skaler descriptor derleme çerçevesi.

CRISP kısaltması: Ana PDF'de açık bir açılım verilmemektedir.

Sentezlenebilirlik kural keşfi: gpt-4.1-mini-2025-04-14; 1.000 çağrı; çağrı başına 10 aday kural; toplam 10.000 doğal dil kuralı.

Kural embedding'i: text-embedding-3-large; L2 normalization → PCA → tekrar normalization.

Kümeleme: k-means; 50 cluster; 50 centroid initialization; maksimum 1.000 iterasyon; random seed 42.

Kural birleştirme: GPT-5; sentezlenebilirlik için 50 temsilî kural.

Regresyon kural katalogları: Formasyon enerjisi, kayma modülü ve iyonik iletkenlik için 25'er kural ailesi.

Descriptor kod üretimi: gpt-4.1-2025-04-14; temperature=0; her fonksiyon tek skaler floating-point çıktı üretmektedir.

İnsan müdahalesi: Kod hazırlamada yalnız syntax, type, import ve runtime hatalarını gideren execution repair; kaynak, kimyasal mantığın değiştirilmediğini belirtmektedir.

Hedef sızıntısı kontrolü: Descriptor üretiminde hedef değerlerin, target-trained surrogate'ların ve görev için yasaklanmış doğrudan proxy girdilerin kullanımı engellenmiştir.

MP30: 100.194 yapı; 38.347 P ve 61.847 U.

MP30 eğitim: 90.174 yapı; 34.512 P ve 55.662 U.

MP30 test: 10.020 yapı; 3.835 P ve 6.185 U.

Sentezlenebilirlik modeli: Bagged Positive–Unlabeled Random Forest.

Bag sayısı: 50.

Her Random Forest: 100 estimator; bunun dışında scikit-learn varsayılan ayarları.

α: 0,0567; etiketsiz havuz içindeki varsayılan gizli pozitif prevalansı.

CRISP MP30 sonucu: TPR=0,855; estimated precision=0,858; F1=0,856.

Yapısal boyut aktarımı: MP30'da eğitilmiş modeller 31–49 site içeren 23.525 yapı üzerinde yeniden eğitim olmadan değerlendirilmiştir; CRISP F1=0,420.

Kimyasal aile aktarımı: Sekiz aile leave-one-family-out düzeninde test edilmiştir; CRISP makro F1=0,537; Expert-curated=0,373; exact sign test p=0,0078.

Zamansal kontrol: 2022'de U olup 2026'da pozitif hale gelen 334 yapının %94,6'sında CRISP skoru 0,5'in üzerindedir; analiz retrospektiftir.

Feature attribution: Random Forest impurity importance, TreeSHAP, held-out permutation importance ve tekrarlı fit analizleri.

DFT audit grupları: 50 yüksek skorlu bilinen pozitif + 50 yüksek skorlu U + 50 düşük skorlu U; her yapı için 10 adet %1 coordinate perturbation.

DFT: VASP 5.4.4; PAW; PBE; spin-polarized; 520 eV plane-wave cutoff; Gaussian smearing 0,05 eV; Γ-centered k-point mesh.

DFT yorum sınırı: Perturbasyon–relaksasyon analizi yerel yapısal sağlamlıkla ilişkiyi inceler; sentez kinetiği veya deneysel gerçekleştirilebilirlik kanıtı değildir.

Formasyon enerjisi veri sayısı: 99.186 yapı.

Formasyon enerjisi CRISP: MAE=0,130 eV/atom; R²=0,961.

Formasyon enerjisi kimyasal aile aktarımı: Makro R²=0,564.

Kayma modülü veri sayısı: 10.794 yapı.

Kayma modülü sınırı: İnce sürekli geometrik descriptor'lar CRISP'ten daha iyi performans göstermiştir; ana PDF kesin skorları Supporting Information'a yönlendirmektedir.

İyonik iletkenlik geliştirme seti: 503 inorganik katı elektrolit; 404 eğitim / 99 test.

İyonik iletkenlik hedefi: log₁₀[σ/(S/cm)].

İyonik iletkenlik CRISP iç test: MAE=1,229 log birim; R²=0,570.

Dış iyonik iletkenlik kohortu: 150 yapı; geliştirme setindeki 503 yapının dışında manuel olarak derlenmiştir.

CRISP dış kohort: MAE=1,170 log birim; R²=0,476; Spearman ρ=0,721; dış kohortta refitting yapılmamıştır.

İyonik iletkenlik sınırı: 18 görev-özgü uzman descriptor'lık kontrol CRISP'ten daha iyi performans göstermiştir.

Regresyon learner: RandomForestRegressor; 100 ağaç; bunun dışında varsayılan scikit-learn ayarları.

Formasyon enerjisi / kayma modülü bölünmeleri: Üç GroupShuffleSplit; %20 test; material identifier grouping; eğitim oranları %5, %10, %20, %40, %60, %80 ve %100.

Regresyon ön işleme: Training data üzerinde median imputation ve zero-variance removal.

Regresyon metrikleri: MAE, RMSE, R² ve Spearman ρ.

Veri erişilebilirliği: MP30 kristal yapıları ve ilgili metadata Materials Project'ten; 503 yapılık iyonik iletkenlik geliştirme seti Zenodo DOI 10.5281/zenodo.17157647 üzerinden erişilebilir olarak bildirilmiştir.

Kod erişilebilirliği: Kaynak kodu, promptlar, frozen rule catalogs, executable descriptor functions, eğitim, değerlendirme ve figure-preparation kodlarının snu-micc/CRISP GitHub repository'sinde yayımlandığı belirtilmiştir.

Finansman: Hyundai Motor Group.

Çıkar çatışması: Kyungju Nam, Seung Hyo Noh ve Donghwi Kim Hyundai Motor Company çalışanıdır. Çalışma Hyundai Motor Group tarafından desteklenmiştir. Diğer yazarlar competing interest bildirmemiştir.

Yazar katkıları: Jaehwan Choi çalışmayı tasarladı; yöntem ve yazılımı geliştirdi; analiz, validasyon, veri kürasyonu ve şekilleri yürüttü; ilk taslağı yazdı. Kunik Jang DFT perturbasyon–relaksasyon analizini yürüttü, iyonik iletkenlik veri setlerini kürate ve valide etti ve yorum/yazıma katkıda bulundu. Seongmin Kim ve Shuan Chen ilk araştırma kavramının geliştirilmesine ve tartışmalara katkıda bulundu. Kyungju Nam, Seung Hyo Noh ve Donghwi Kim proje tartışmalarına katkıda bulunup makaleyi gözden geçirdi. Yousung Jung projeyi yönetti, kavramsallaştırma ve yorumlamaya katkıda bulundu, finansmanı sağladı ve makaleyi revize etti. Tüm yazarlar son metni onayladı.

Temel yorum sınırı: CRISP'in sentezlenebilirlik skoru gerçek laboratuvar sentez başarısı, kinetik erişilebilirlik veya deneysel üretim garantisi değildir.

Temel kapsam sınırı: Yöntemin avantajı hedefe bağlıdır; uzman önbilgisinin veya daha yüksek çözünürlüklü geometrik temsillerin üstün olduğu görevler kaynakta açıkça raporlanmıştır.