快捷搜索:

LogParser分析exchange日志教程

LogParser微软开拓的一个强大年夜的日志阐发软件,他的大年夜名照样在和微软相助项目的时刻据说的,但当时只是为了阐发iis日志应用,可以很方便的把iis日志导入数据库中。

近来做的一个exchange监控系统时刻必要阐发log日志又把他拎了出来具体钻研了一下。

LogParser主用分为以下几块:

Input Formats

Output Formats

Query Syntax

Input Formats 可根据阐发log文件款式不合选用内置的一些解析器,此中最常用的CSV款式。

Output Formats 输出文件的款式,主用用在敕令行模式下把处置惩罚的数据进行导出处置惩罚时应用。

Query Syntax 在用logparser阐发日志文件时可把文件理解成数据库的表,可以履行一些基础的sql语句来对日志文件进行查询过滤等操作。

LogParser另一个强大年夜之处是可以转换成COM+,使其他说话可以进行调用,例如exchange日志进行阐发时,我便是用.net来对日志进行二次处置惩罚的。

本次Exchange日志阐发思路:

因为exchange办事器是多台集群,以这天志会分散在多台办事器上,并且日志是不重复的,以是使用.net经由过程收集邻居造访多台办事器日志目录,然后对目录进行准时抓取日志,使用LogParser对日志进行简单过滤,然后倒入到数据库中。前台经由过程倒入的原始数据进行数据阐发。

基础代码实现:

using (IdentityScope c = new IdentityScope("mossadmin", "inet", "password")) //经由过程收集邻居造访时供给域中号密码

{var logs = System.IO.Directory.GetFiles(LogPath, "*.log") //遍历目录内所有文件,筛选出大年夜于即是上次更新文件

.Where(f => int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8)) >= _config.fileDT).OrderBy(f => int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8)))

.ToList();

if (logs.Count > 0){

DelOldLog(_config);logs.ForEach(f =>

{bind(f,_config.MacName);

_config.fileDT = int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8));_config.modifyDT = new FileInfo(f).LastWriteTime;

});}

}

LogParser处置惩罚:

static void bind(string logPath,string macName)

{LogQuery oLogQuery = new LogQuery();//调用LogPaser日志查询类库

TsvInputFormat oTsvInputFormat = new TsvInputFormat();//声嫡志款式类型

LogRecordSet oRecordSet;string query = string.Empty;

DataTable dt = new DataTable();

#region 所有的条数--Log中包孕“reccode=”的行数query = @"select * from '" + logPath + "' where [event-id]='RECEIVE'";

oTsvInputFormat.nSkipLines = 4;

oTsvInputFormat.iCodepage = 65001;

oRecordSet = oLogQuery.Execute(query, oTsvInputFormat);for (int i = 0; i

{dt.Columns.Add(oRecordSet.getColumnName(i));

}dt.Columns.Add("MacName");

//取得所有的資料for (; !oRecordSet.atEnd(); oRecordSet.moveNext())

{DataRow dr = dt.NewRow();

for (int i = 0; i{

dr[oRecordSet.getColumnName(i)] = oRecordSet.getRecord().getValue(oRecordSet.getColumnName(i));}

dr["MacName"] = macName;dt.Rows.Add(dr);

}

oRecordSet.close();#endregion

SqlBulkCopy sqlbulkcopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction);

sqlbulkcopy.DestinationTableName = "LM_webLog";//数据库中的表名sqlbulkcopy.WriteToServer(dt);

Console.WriteLine(dt.Rows.Count + ":" + logPath);

}

Exchange日志款式:

#Software: Microsoft Exchange Server

#Version: 14.0.0.0#Log-type: Message Tracking Log

#Date: 2012-12-19T00:02:50.276Z#Fields: date-time,client-ip,client-hostname,server-ip,server-hostname,source-context,connector-id,source,event-id,internal-message-id,message-id,recipient-address,recipient-status,total-bytes,recipient-count,related-recipient-address,reference,message-subject,sender-address,return-path,message-info,directionality,tenant-id,original-client-ip,original-server-ip,custom-data

Exchange的日志款式和标准的csv稍有不合,可看到文件头部都有一些注释的文件,在使用LogParser处置惩罚时不停没法子读掏出精确的列来,然后在钻研自带的赞助文档时才发明原本它可以指定跳过若干行进行处置惩罚。在统统都google的年代越来越少卖力的去看自带的赞助文档了,这个今后要改掉落不能太依附google了。

oTsvInputFormat.nSkipLines = 4; //跳过前四行进行处置惩罚

oTsvInputFormat.iCodepage = 65001;//文件编码款式

总结:

Logparser在文本类型日志处置惩罚时确凿足够强大年夜,基础上能识别任何款式的数据,结合.net统统应用在做数据阐发,数据导入时是很强大年夜的对象,并且速率飞快。

您可能还会对下面的文章感兴趣: