public class DocumentVector
{
//محتوی سند یا عنصری که قرار است خوشهبندی گردند
public string Content { get; set; }
// tf*idf برای هر سند
public float[] VectorSpace { get; set; }
}
class DocumentCollection
{
public List<String> DocumentList { get; set; }
}
private static float FindTFIDF(string document, string term)
{
float tf = FindTermFrequency(document, term);
float idf = FindInverseDocumentFrequency(term);
return tf * idf;
}
private static float FindTermFrequency(string document, string term)
{
int count = r.Split(document).Where(s => s.ToUpper() == term.ToUpper()).Count();
return (float)((float)count / (float)(r.Split(document).Count()));
}
private static float FindInverseDocumentFrequency(string term)
{
int count = documentCollection.ToArray().Where(s => r.Split(
s.ToUpper()).ToArray().Contains(term.ToUpper())).Count();
return (float)Math.Log((float)documentCollection.Count() / (float)count);
}
public static float FindCosineSimilarity(float[] vecA, float[] vecB)
{
var dotProduct = DotProduct(vecA, vecB);
var magnitudeOfA = Magnitude(vecA);
var magnitudeOfB = Magnitude(vecB);
float result = dotProduct / (magnitudeOfA * magnitudeOfB);
if (float.IsNaN(result))
return 0;
else
return (float)result;
}
public class Centroid
{
public List<DocumentVector> GroupedDocument { get; set; }
}
public static List<Centroid> PrepareDocumentCluster(int k,
List<DocumentVector> documentCollection,ref int _counter)
{
globalCounter = 0;
List<Centroid> centroidCollection = new List<Centroid>();
Centroid c;
HashSet<int> uniqRand = new HashSet<int>();
GenerateRandomNumber(ref uniqRand,k,documentCollection.Count);
foreach(int pos in uniqRand)
{
c = new Centroid();
c.GroupedDocument = new List<DocumentVector>();
c.GroupedDocument.Add(documentCollection[pos]);
centroidCollection.Add(c);
}
Boolean stoppingCriteria;
List<Centroid> resultSet;
List<Centroid> prevClusterCenter;
InitializeClusterCentroid(out resultSet, centroidCollection.Count);
do
{
prevClusterCenter = centroidCollection;
foreach (DocumentVector obj in documentCollection)
{
int index = FindClosestClusterCenter(centroidCollection, obj);
resultSet[index].GroupedDocument.Add(obj);
}
InitializeClusterCentroid(out centroidCollection, centroidCollection.Count());
centroidCollection = CalculateMeanPoints(resultSet);
stoppingCriteria = CheckStoppingCriteria(prevClusterCenter, centroidCollection);
if (!stoppingCriteria)
{
InitializeClusterCentroid(out resultSet, centroidCollection.Count);
}
} while (stoppingCriteria == false);
_counter = counter;
return resultSet;
}
private static void InitializeClusterCentroid(out List<Centroid> centroid,int count)
{
Centroid c;
centroid = new List<Centroid>();
for (int i = 0; i < count; i++)
{
c = new Centroid();
c.GroupedDocument = new List<DocumentVector>();
centroid.Add(c);
}
}
private static int FindClosestClusterCenter(List<Centroid> clusterCenter,DocumentVector obj)
{
float[] similarityMeasure = new float[clusterCenter.Count()];
for (int i = 0; i < clusterCenter.Count(); i++)
{
similarityMeasure[i] =
SimilarityMatrics.FindCosineSimilarity(
clusterCenter[i].GroupedDocument[0].VectorSpace, obj.VectorSpace);
}
int index = 0;
float maxValue = similarityMeasure[0];
for (int i = 0; i < similarityMeasure.Count(); i++)
{
if (similarityMeasure[i] >maxValue)
{
maxValue = similarityMeasure[i];
index = i;
}
}
return index;
}
private static List<Centroid> CalculateMeanPoints(List<Centroid> _clusterCenter)
{
for (int i = 0; i < _clusterCenter.Count(); i++)
{
if (_clusterCenter[i].GroupedDocument.Count() > 0)
{
for (int j = 0; j < _clusterCenter[i].GroupedDocument[0].VectorSpace.Count(); j++)
{
float total = 0;
foreach (DocumentVector vSpace in _clusterCenter[i].GroupedDocument)
{
total += vSpace.VectorSpace[j];
}
_clusterCenter[i].GroupedDocument[0].VectorSpace[j] =
total / _clusterCenter[i].GroupedDocument.Count();
}
}
}
return _clusterCenter;
}
مطلب جالبی بود استاد.
و صد البته بسیار کاربردی
بسیار مطلب پر کابر و قابل استفاده می باشد با تشکر
با سلام من توضیحات شما رو در رابطه باclustering اسناد متنی خوندم و جالب بود اما یک سوال برام پیش اومده و اون اینه که الگوریتم k _ means میتونه تمام اسناد متنی رو توی سازمانهای مختلف کلاستر کنه؟ و اینکه از دیدگاه نظری چطور میشه به این قضیه نگاه کرد چون تو رشته های مهندسی به جنبه پیاده سازی اون توجه میشه.ممنون میشم توضیح بدید.
با سلام
اگر إسناد شما متنی باشند و بر پایه تصویر نباشند، الگوریتم کا مینز اونها رو بر پایه محتوی با تشکیل خوشه بندی کلمات طبقه بندی میکنه و بر اساس کثرت واژه ها گروه هایی رو تشکیل میده مثلا “اسناد موقوفه” بعد تمام إسنادی که توی اونها کثرت این واژه زیاد هست در این گروه خوشه بندی میشن
ممنون بسیار آموزنده بود
مطالبتون خیلی مفید بود