Changeset 1598


Ignore:
Timestamp:
Jun 7, 2010, 5:44:37 PM (12 years ago)
Author:
wiefels
Message:

crashbug fixed.

weight-tables extended.
results from weighted bi-/trigram analysis still unsatisfying.

File:
1 edited

Legend:

Unmodified
Added
Removed
  • trunk/CrypPlugins/CostFunction/CostFunction.cs

    r1476 r1598  
    305305            fwtMatthews.Add("AND", 5.0);
    306306            fwtMatthews.Add("EEE", -5.0);
     307            //extension:
     308            fwtToemehArumugam.Add("YYY", -5.0);
     309            fwtToemehArumugam.Add("BBB", -5.0);
     310            fwtToemehArumugam.Add("OOO", -5.0);
     311            fwtToemehArumugam.Add("III", -5.0);
     312            fwtToemehArumugam.Add("UUU", -5.0);
     313            fwtToemehArumugam.Add("DDD", -5.0);
     314            fwtToemehArumugam.Add("JJJ", -5.0);
     315            fwtToemehArumugam.Add("QQQ", -5.0);
     316            fwtToemehArumugam.Add("VVV", -5.0);
     317            fwtToemehArumugam.Add("GGG", -5.0);
     318
     319            fwtToemehArumugam.Add("KKK", -2.0);
     320            fwtToemehArumugam.Add("AAA", -2.0);
     321            fwtToemehArumugam.Add("CCC", -2.0);
     322            fwtToemehArumugam.Add("TTT", -2.0);
     323
     324            fwtToemehArumugam.Add("FFF", 0.0);
     325            fwtToemehArumugam.Add("SSS", 0.0);
     326            fwtToemehArumugam.Add("HHH", -5.0);
     327            fwtToemehArumugam.Add("MMM", -5.0);
     328            fwtToemehArumugam.Add("NNN", -5.0);
     329            fwtToemehArumugam.Add("PPP", 0.0);
     330            fwtToemehArumugam.Add("RRR", -5.0);
     331            fwtToemehArumugam.Add("ZZZ", -5.0);
     332            fwtToemehArumugam.Add("XXX", 5.0);
     333            fwtToemehArumugam.Add("WWW", 5.0);
     334
     335            fwtToemehArumugam.Add("AUI", -5.0);
     336            fwtToemehArumugam.Add("UAI", -5.0);
     337            fwtToemehArumugam.Add("IAU", -5.0);
     338            fwtToemehArumugam.Add("AIU", -5.0);
     339            fwtToemehArumugam.Add("UUU", -5.0);
     340            fwtToemehArumugam.Add("WV", -5.0);
     341            fwtToemehArumugam.Add("VW", -5.0);
     342            fwtToemehArumugam.Add("HC", -5.0);
     343            fwtToemehArumugam.Add("ZR", -5.0);
     344            fwtToemehArumugam.Add("RZ", -5.0);
     345            fwtToemehArumugam.Add("ZX", -5.0);
     346            fwtToemehArumugam.Add("XZ", -5.0);
     347            fwtToemehArumugam.Add("J ", -5.0);
     348            fwtToemehArumugam.Add("X ", -5.0);
     349            fwtToemehArumugam.Add("Q ", -5.0);
     350            fwtToemehArumugam.Add("QC", -5.0);
     351            fwtToemehArumugam.Add("QJ", -5.0);
     352            fwtToemehArumugam.Add("QW", -5.0);
     353            fwtToemehArumugam.Add("QZ", -5.0);
     354            fwtToemehArumugam.Add("QX", -5.0);
     355            fwtToemehArumugam.Add("QY", -5.0);
     356            fwtToemehArumugam.Add("QE", -5.0);
     357            fwtToemehArumugam.Add("QI", -5.0);
     358            fwtToemehArumugam.Add("QU", -5.0);
     359            fwtToemehArumugam.Add("QO", -5.0);
     360            fwtToemehArumugam.Add("JX", -5.0);
     361            fwtToemehArumugam.Add("QV", -5.0);
     362            fwtToemehArumugam.Add("ZJ", -5.0);
     363
    307364
    308365            fwtToemehArumugam.Add("EEE", -5.0);
     
    384441
    385442            double bigramscore = calculateNGrams(input, 2, 0, true);
    386            // double trigramscore = calculateNGrams(input, 3, 0, true);
    387 
    388             return -1.0*betaToemehArumugam * bigramscore;
     443            double trigramscore = calculateNGrams(input, 3, 0, true);
     444            //testweise
     445            return 1.0*betaToemehArumugam * bigramscore +  betaToemehArumugam*trigramscore;
     446            // return -(4*(betaToemehArumugam * bigramscore) + 6*(betaToemehArumugam * trigramscore));
     447            //return betaToemehArumugam * bigramscore;
    389448
    390449            /*
     
    661720        public double calculateNGrams(string input, int length, int valueSelection, bool weighted)
    662721        {
     722
    663723            this.statistics = new Dictionary<int, IDictionary<string, double[]>>();
    664724            double score = 0;
     
    683743                        if (weighted) { weights(g, 2); }
    684744                    }
    685                     if (corpusTrigrams.ContainsKey(g) && length == 3)
     745                    if (length == 3 )
    686746                    {
    687                         score += corpusTrigrams[g][valueSelection];
    688                         if (weighted) { weights(g, 3); }
     747                        if (corpusTrigrams.ContainsKey(g))
     748                        {
     749                            score += corpusTrigrams[g][valueSelection];
     750                            if (weighted) { weights(g, 3); }
     751                        }
    689752                    }
    690753                }
     
    721784                case 2:
    722785                    return calculateAbsolutes(this.settings.customFilePath, length);
    723 
    724             }
    725             return calculateAbsolutes(txtList["Statistics (DE)"].DataFile.FullName, length); //default
     786                //to prevent a poss. initial-err
     787                //default:
     788                //    return calculateAbsolutes(txtList["statisticscorpusen"].DataFile.FullName, length);
     789
     790            }
     791            return calculateAbsolutes(txtList["statisticscorpusde"].DataFile.FullName, length); //default
    726792           
    727793        }
Note: See TracChangeset for help on using the changeset viewer.