開源展示型網站沈陽seo優(yōu)化新勢力
C# .NET 8實現Windows下批量壓縮csv文件為zip文件,然后異步上傳到box企業(yè)云服務網盤路徑,實現異常處理和寫入運行狀態(tài)日志,參數來自ini配置文件。
C# .NET 8代碼示例,包含INI配置讀取、CSV文件壓縮、Box上傳、異步處理和日志記錄功能:
using System.Collections.Concurrent;
using System.IO.Compression;
using IniParser;
using IniParser.Model;
using Box.V2;
using Box.V2.Auth;
using Box.V2.Config;
using Box.V2.Models;class Program
{private static readonly object _logLock = new object();private static string _logPath;static async Task Main(string[] args){try{// 讀取配置文件var config = LoadConfiguration("config.ini");// 初始化Box客戶端var boxClient = InitializeBoxClient(config);// 處理文件await ProcessFilesAsync(config, boxClient);}catch (Exception ex){Log($"全局異常: {ex.Message}");}}static Configuration LoadConfiguration(string configPath){var parser = new FileIniDataParser();IniData iniData = parser.ReadFile(configPath);return new Configuration{ClientId = iniData["BoxConfig"]["ClientId"],ClientSecret = iniData["BoxConfig"]["ClientSecret"],AccessToken = iniData["BoxConfig"]["AccessToken"],UploadFolderId = iniData["BoxConfig"]["UploadFolderId"],SourceFolder = iniData["FileConfig"]["SourceFolder"],ZipFolder = iniData["FileConfig"]["ZipFolder"],LogPath = iniData["FileConfig"]["LogPath"]};}static BoxClient InitializeBoxClient(Configuration config){_logPath = config.LogPath;var auth = new OAuthSession(config.AccessToken, "N/A", 3600, "bearer");var boxConfig = new BoxConfigBuilder(config.ClientId, config.ClientSecret, new Uri("http://localhost")).Build();return new BoxClient(boxConfig, auth);}static async Task ProcessFilesAsync(Configuration config, BoxClient boxClient){try{Directory.CreateDirectory(config.ZipFolder);Directory.CreateDirectory(Path.GetDirectoryName(_logPath));var csvFiles = Directory.GetFiles(config.SourceFolder, "*.csv");Log($"找到 {csvFiles.Length} 個CSV文件需要處理");var tasks = new ConcurrentBag<Task>();Parallel.ForEach(csvFiles, csvFile =>{tasks.Add(ProcessSingleFileAsync(csvFile, config, boxClient));});await Task.WhenAll(tasks);Log("所有文件處理完成");}catch (Exception ex){Log($"文件處理異常: {ex.Message}");}}static async Task ProcessSingleFileAsync(string csvFile, Configuration config, BoxClient boxClient){try{string zipFileName = $"{Path.GetFileNameWithoutExtension(csvFile)}_{DateTime.Now:yyyyMMddHHmmss}.zip";string zipPath = Path.Combine(config.ZipFolder, zipFileName);// 壓縮文件CreateZipFile(csvFile, zipPath);Log($"文件 {Path.GetFileName(csvFile)} 壓縮成功");// 上傳到Boxawait UploadToBoxAsync(boxClient, zipPath, config.UploadFolderId);Log($"文件 {zipFileName} 上傳成功");// 清理臨時壓縮文件(可選)File.Delete(zipPath);}catch (Exception ex){Log($"處理文件 {Path.GetFileName(csvFile)} 失敗: {ex.Message}");}}static void CreateZipFile(string sourceFile, string zipPath){using (var zipArchive = ZipFile.Open(zipPath, ZipArchiveMode.Create)){zipArchive.CreateEntryFromFile(sourceFile, Path.GetFileName(sourceFile));}}static async Task UploadToBoxAsync(BoxClient client, string filePath, string folderId){using (var fileStream = new FileStream(filePath, FileMode.Open)){var fileRequest = new BoxFileRequest{Name = Path.GetFileName(filePath),Parent = new BoxRequestEntity { Id = folderId }};await client.FilesManager.UploadAsync(fileRequest, fileStream);}}static void Log(string message){string logEntry = $"{DateTime.Now:yyyy-MM-dd HH:mm:ss} - {message}";lock (_logLock){File.AppendAllText(_logPath, logEntry + Environment.NewLine);}}
}public class Configuration
{public string ClientId { get; set; }public string ClientSecret { get; set; }public string AccessToken { get; set; }public string UploadFolderId { get; set; }public string SourceFolder { get; set; }public string ZipFolder { get; set; }public string LogPath { get; set; }
}
實現說明:
-
配置管理:
- 使用
IniParser
包讀取INI配置文件 - 配置參數包括Box認證信息、文件路徑和日志路徑
- Configuration類用于存儲配置參數
- 使用
-
Box客戶端初始化:
- 使用OAuth 2.0認證
- 需要有效的訪問令牌(AccessToken)
-
文件處理:
- 使用并行處理加速文件壓縮(Parallel.ForEach)
- 每個文件生成帶時間戳的唯一ZIP文件名
- 自動清理臨時壓縮文件(可選)
-
異步上傳:
- 使用Box官方SDK的異步上傳方法
- 支持大文件分塊上傳(SDK自動處理)
-
日志記錄:
- 線程安全的日志寫入機制
- 包含時間戳和詳細操作記錄
- 支持并發(fā)寫入時的文件鎖定
-
異常處理:
- 多層異常捕獲(全局、文件處理、單個文件)
- 詳細的錯誤信息記錄
配置示例(config.ini):
[BoxConfig]
ClientId = your_client_id
ClientSecret = your_client_secret
AccessToken = your_access_token
UploadFolderId = 0[FileConfig]
SourceFolder = C:\CSVFiles
ZipFolder = C:\TempZips
LogPath = C:\Logs\upload.log
注意事項:
-
Box認證:
- 需要有效的Box開發(fā)者賬號和企業(yè)配置
- 建議使用JWT認證代替直接訪問令牌(需修改認證邏輯)
-
性能優(yōu)化:
- 根據網絡情況調整并行處理數量
- 添加重試邏輯處理網絡波動
-
安全增強:
- 敏感信息(如ClientSecret)建議加密存儲
- 使用配置文件權限控制
-
擴展功能:
- 添加文件校驗(MD5校驗和)
- 實現增量上傳功能
- 添加壓縮密碼保護
-
錯誤處理:
- 添加不同異常類型的處理邏輯
- 實現死信隊列處理持續(xù)失敗文件
使用時需要安裝以下NuGet包:
ini-parser
Box.V2
安裝包和發(fā)布Release版程序的腳本:
cd <.csproj文件所在的目錄>
dotnet add package Box.V2
dotnet add package ini-parser
dotnet build <.csproj文件完整路徑> /property:GenerateFullPaths=true /consoleloggerparameters:NoSummary /p:Configuration=Release /p:Platform="AnyCPU"