应大家的强烈要求，现在开源该项目：http://git.oschina.net/weir/weirWQ package com.weirq.db; import java.io.IOException; import java.io.Serializable; import java.util.ArrayList; import java.util.Date; import java.util.HashSet; import java.util.List; import java.util.Set; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HConnection; import org.apache.hadoop.hbase.client.HConnectionManager; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.filter.BinaryComparator; import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp; import org.apache.hadoop.hbase.filter.Filter; import org.apache.hadoop.hbase.filter.QualifierFilter; import org.apache.hadoop.hbase.filter.SubstringComparator; import org.apache.hadoop.hbase.util.Bytes; import com.weirq.util.DateUtil; import com.weirq.util.SiteUrl; import com.weirq.vo.FileSystemVo; import com.weirq.vo.Menu; import com.weirq.vo.ShareVo; import com.weirq.vo.bookVo; public class HbaseDB implements Serializable{ private static final long serialVersionUID = -7137236230164276653L; static HConnection connection; private static class HbaseDBInstance{ private static final HbaseDB instance = new HbaseDB(); } public static HbaseDB getInstance() { return HbaseDBInstance.instance; } private HbaseDB() { Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", SiteUrl.readUrl("host")); try { connection = HConnectionManager.createConnection(conf); } catch (IOException e) { e.printStackTrace(); } } private Object readResolve(){ return getInstance(); } /** * 获取所有表 * @return * @throws Exception */ public static TableName[] listTable() throws Exception { HBaseAdmin admin = new HBaseAdmin(connection); TableName[] tableNames = admin.listTableNames(); admin.close(); return tableNames; } /** * 删除所有表 */ public static void deleteAllTable() throws Exception{ HBaseAdmin admin = new HBaseAdmin(connection); TableName[] tableNames = admin.listTableNames(); for (int i = 0; i < tableNames.length; i++) { admin.disableTable(tableNames[i].getNameAsString()); admin.deleteTable(tableNames[i].getNameAsString()); } admin.close(); } /** * 创建表 * @param tableName * @param fams * @throws Exception */ public static void createTable(String tableName,String[] fams,int version) throws Exception { HBaseAdmin admin = new HBaseAdmin(connection); if (admin.tableExists(tableName)) { admin.disableTable(tableName); admin.deleteTable(tableName); } HTableDescriptor tableDescriptor = null; HColumnDescriptor hd = null; for (int i = 0; i < fams.length; i++) { tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName)); hd = new HColumnDescriptor(fams[i]); hd.setMaxVersions(version); tableDescriptor.addFamily(hd); admin.createTable(tableDescriptor); } admin.close(); } public static void delTable(String tableName) throws Exception { HBaseAdmin admin = new HBaseAdmin(connection); if (admin.tableExists(tableName)) { admin.disableTable(tableName); admin.deleteTable(tableName); } admin.close(); } public static long getGid(String row) throws Exception { HTable table_gid = new HTable(TableName.valueOf("gid"), connection); long id = table_gid.incrementColumnValue(Bytes.toBytes(row), Bytes.toBytes("gid"), Bytes.toBytes(row), 1); table_gid.close(); return id; } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, String rowKey, String family, String qualifier, String value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.toBytes(rowKey)); put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey, String family, Long qualifier, String value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.toBytes(rowKey)); put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey01,Long rowKey02, String family, String qualifier, Long value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.add(Bytes.toBytes(rowKey01), Bytes.toBytes(rowKey02))); if (qualifier!=null) { put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); }else{ put.add(Bytes.toBytes(family), null, Bytes.toBytes(value)); } table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey01,Long rowKey02,Long rowKey03, String family, String qualifier, Long value01, Long value02) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.add(Bytes.toBytes(rowKey01), Bytes.toBytes(rowKey02), Bytes.toBytes(rowKey03))); if (qualifier!=null) { put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.add(Bytes.toBytes(value01), Bytes.toBytes(value02))); }else{ put.add(Bytes.toBytes(family), null, Bytes.add(Bytes.toBytes(value01), Bytes.toBytes(value02))); } table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey01,Long rowKey02, String family, String qualifier, String value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.add(Bytes.toBytes(rowKey01), Bytes.toBytes(rowKey02))); if (qualifier!=null) { put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); }else{ put.add(Bytes.toBytes(family), null, Bytes.toBytes(value)); } table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey, String family, String qualifier, String value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.toBytes(rowKey)); put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, Long rowKey, String family, String qualifier, Long value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.toBytes(rowKey)); put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); table.put(put); table.close(); } /** * 添加数据 * @param tableName * @param rowKey * @param family * @param qualifier * @param value * @throws IOException */ public static void add(String tableName, String rowKey, String family, String qualifier, Long value) throws IOException { //连接到table HTable table = new HTable(TableName.valueOf(tableName), connection); Put put = new Put(Bytes.toBytes(rowKey)); put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); table.put(put); table.close(); } /** * 根据row删除数据 * @param tableName * @param rowKey * @throws Exception */ public static void deleteRow(String tableName, String[] rowKey) throws Exception { HTable table = new HTable(TableName.valueOf(tableName), connection); List<Delete> list = new ArrayList<Delete>(); for (int i = 0; i < rowKey.length; i++) { Delete delete = new Delete(Bytes.toBytes(Long.valueOf(rowKey[i]))); list.add(delete); } table.delete(list); table.close(); } public static void deleteColumns(String tableName,Long rowKey,String family, Long qualifier) throws Exception { HTable table = new HTable(TableName.valueOf(tableName), connection); Delete delete = new Delete(Bytes.toBytes(rowKey)); delete.deleteColumns(Bytes.toBytes(family), Bytes.toBytes(qualifier)); table.delete(delete); table.close(); } public static void deleteRow(String tableName,Long rowKey01,Long rowKey02) throws Exception { HTable table = new HTable(TableName.valueOf(tableName), connection); Delete delete = new Delete(Bytes.add(Bytes.toBytes(rowKey01), Bytes.toBytes(rowKey02))); table.delete(delete); table.close(); } public static long getIdByUsername(String name) { long id = 0; try { HTable table = new HTable(TableName.valueOf("user_id"), connection); Get get = new Get(Bytes.toBytes(name)); get.addColumn(Bytes.toBytes("id"), Bytes.toBytes("id")); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes("id"), Bytes.toBytes("id")); id = Bytes.toLong(value); table.close(); } catch (IOException e) { e.printStackTrace(); return id; } return id; } public boolean checkUsername(String name) { try { HTable table = new HTable(TableName.valueOf("user_id"), connection); Get get = new Get(Bytes.toBytes(name)); table.exists(get); if (table.exists(get)) { table.close(); return true; }else{ table.close(); return false; } } catch (IOException e) { e.printStackTrace(); return false; } } public static String getUserNameById(long id) { String name = null; try { HTable table = new HTable(TableName.valueOf("id_user"), connection); Get get = new Get(Bytes.toBytes(id)); get.addColumn(Bytes.toBytes("user"), Bytes.toBytes("name")); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes("user"), Bytes.toBytes("name")); name = Bytes.toString(value); table.close(); } catch (IOException e) { e.printStackTrace(); return null; } return name; } public static String getStringById(String tableName,Long rowKey,String family,String qualifier) { String name = null; try { HTable table = new HTable(TableName.valueOf(tableName), connection); Get get = new Get(Bytes.toBytes(rowKey)); get.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier)); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes(family), Bytes.toBytes(qualifier)); name = Bytes.toString(value); table.close(); } catch (IOException e) { e.printStackTrace(); return null; } return name; } /** * 通过目录名获取ID * @param name * @return */ public static long getIdByDirName(String name) { long id = 0; try { HTable table = new HTable(TableName.valueOf("hdfs_name"), connection); Get get = new Get(name.getBytes()); get.addColumn(Bytes.toBytes("id"), Bytes.toBytes("id")); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes("id"), Bytes.toBytes("id")); id = Bytes.toLong(value); table.close(); } catch (IOException e) { e.printStackTrace(); return id; } return id; } public static boolean checkEmail(String email) throws Exception { HTable table = new HTable(TableName.valueOf("email_user"), connection); Get get = new Get(Bytes.toBytes(email)); get.addColumn(Bytes.toBytes("user"), Bytes.toBytes("userid")); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes("user"), Bytes.toBytes("userid")); table.close(); if(value!=null){ return true; }else { return false; } } public long checkUser(String userName,String pwd) throws Exception { long id = getIdByUsername(userName); if (id==0) { return 0; } HTable table = new HTable(TableName.valueOf("id_user"), connection); Get get = new Get(Bytes.toBytes(id)); get.addColumn(Bytes.toBytes("user"), Bytes.toBytes("pwd")); Result rs = table.get(get); byte[] value = rs.getValue(Bytes.toBytes("user"), Bytes.toBytes("pwd")); if (pwd.equals(Bytes.toString(value))) { table.close(); return id; } table.close(); return 0; } public void queryAll(String tableName) throws Exception { HTable table = new HTable(TableName.valueOf(tableName), connection); ResultScanner rs = table.getScanner(new Scan()); for (Result result : rs) { System.out.println("rowkey" +result.getRow()); for (Cell cell : result.rawCells()) { System.out.println("family"+new String(cell.getFamilyArray())); System.out.println("Qualifier"+new String(cell.getQualifierArray())); System.out.println("value"+new String(cell.getValueArray())); } } table.close(); } public void queryAllHDFS(String username) throws Exception { HTable table = new HTable(TableName.valueOf("hdfs"), connection); ResultScanner rs = table.getScanner(new Scan()); for (Result result : rs) { System.out.println("rowkey" +result.getRow()); for (Cell cell : result.rawCells()) { System.out.println("family"+new String(cell.getFamilyArray())); System.out.println("Qualifier"+new String(cell.getQualifierArray())); System.out.println("value"+new String(cell.getValueArray())); } } table.close(); } public static List<Menu> qureyAllEmun() throws Exception { HTable table = new HTable(TableName.valueOf("emun"), connection); ResultScanner rs = table.getScanner(new Scan()); List<Menu> menus = new ArrayList<Menu>(); Menu m = null; for (Result r : rs) { m = new Menu(); byte[] name = r.getValue(Bytes.toBytes("emun"), Bytes.toBytes("name")); byte[] url = r.getValue(Bytes.toBytes("emun"), Bytes.toBytes("url")); m.setName(Bytes.toString(name)); m.setUrl(Bytes.toString(url)); m.setText(Bytes.toString(name)); menus.add(m); } table.close(); return menus; } public static void getAllUserTree(Long id) throws Exception { HTable table_hdfs = new HTable(TableName.valueOf("hdfs"), connection); HTable table = new HTable(TableName.valueOf("hdfs_cid"), connection); Get get = new Get(Bytes.toBytes(id)); Result rs = table.get(get); List<Menu> menus = new ArrayList<Menu>(); Menu menu = null; for (Cell cell : rs.rawCells()) { Get get1 = new Get(CellUtil.cloneValue(cell)); get1.addColumn(Bytes.toBytes("dir"), Bytes.toBytes("name")); Result rs1 = table_hdfs.get(get1); byte[] value = rs1.getValue(Bytes.toBytes("dir"), Bytes.toBytes("name")); String name = Bytes.toString(value); get1.addColumn(Bytes.toBytes("dir"), Bytes.toBytes("type")); Result rs2 = table_hdfs.get(get1); byte[] type = rs2.getValue(Bytes.toBytes("dir"), Bytes.toBytes("type")); String y = Bytes.toString(type); menu = new Menu(); menu.setId(Bytes.toString(CellUtil.cloneValue(cell))); menu.setName(name); } table.close(); } public static List<FileSystemVo> getFile(String dir) throws Exception { HTable fileTable = new HTable(TableName.valueOf("filesystem"), connection); Scan scan = new Scan(); Filter filter = new QualifierFilter(CompareOp.LESS_OR_EQUAL, new SubstringComparator(dir)); scan.setFilter(filter); ResultScanner rs = fileTable.getScanner(scan); List<FileSystemVo> fs = new ArrayList<FileSystemVo>(); FileSystemVo f = null; for (Result r : rs) { Cell cellName = r.getColumnLatestCell(Bytes.toBytes("files"), Bytes.toBytes("name")); Cell cellPdir = r.getColumnLatestCell(Bytes.toBytes("files"), Bytes.toBytes("pdir")); Cell cellType = r.getColumnLatestCell(Bytes.toBytes("files"), Bytes.toBytes("type")); Cell cellSize = r.getColumnLatestCell(Bytes.toBytes("files"), Bytes.toBytes("size")); f = new FileSystemVo(); f.setId(Bytes.toLong(r.getRow())); f.setDir(dir); f.setName(Bytes.toString(CellUtil.cloneValue(cellName))); if (cellSize!=null) { f.setSize(Bytes.toString(CellUtil.cloneValue(cellSize))); } if(cellPdir!=null){ f.setPdir(Bytes.toString(CellUtil.cloneValue(cellPdir))); } if (cellType!=null) { f.setType(Bytes.toString(CellUtil.cloneValue(cellType))); } f.setDate(DateUtil.longToString("yyyy-MM-dd HH:mm", cellName.getTimestamp())); fs.add(f); } fileTable.close(); return fs; } public static void delByDir(String dir) throws Exception { HTable fileTable = new HTable(TableName.valueOf("filesystem"), connection); Scan scan = new Scan(); Filter filter = new QualifierFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes(dir))); scan.setFilter(filter); ResultScanner rs = fileTable.getScanner(scan); for (Result r : rs) { fileTable.delete(new Delete(r.getRow())); } fileTable.close(); } public boolean follow(String oname,String dname) throws Exception { long oid = this.getIdByUsername(oname); long did = this.getIdByUsername(dname); if (oid == 0 || did == 0 || oid == did){ return false; } this.add("follow", oid, "name", did, dname); this.add("followed", did, oid, "userid", null, oid); return true; } public boolean unfollow(String oname,String dname) throws Exception { long oid = this.getIdByUsername(oname); long did = this.getIdByUsername(dname); if (oid == 0 || did == 0 || oid == did){ return false; } this.deleteColumns("follow", oid, "name", did); this.deleteRow("followed", did, oid); return true; } /** * 获取关注的用户 * @param username * @return * @throws Exception */ public Set<String> getFollow(String username) throws Exception { Set<String> set = new HashSet<String>(); long id = this.getIdByUsername(username); HTable table = new HTable(TableName.valueOf("follow"), connection); Get get = new Get(Bytes.toBytes(id)); Result rs = table.get(get); for (Cell cell : rs.rawCells()) { set.add(Bytes.toString(CellUtil.cloneValue(cell))); } return set; } /** * 分享文件及文件夹 * @param username * @param path * @param shareusername * @throws Exception */ public void share(String dir,String username,String[] path,String[] type,String shareusername) throws Exception { long uid = getIdByUsername(username); for (int i = 0; i < path.length; i++) { long id = getGid("shareid"); add("share", uid,id, "content", "dir", dir); add("share", uid,id, "content", "type", type[i]); add("share", uid,id, "content", "path", path[i]); add("share", uid,id, "content", "ts", DateUtil.DateToString("yyyy-MM-dd HH:mm", new Date())); long suid = getIdByUsername(shareusername); add("shareed", suid,uid,id, "shareid", null, uid,id); } } /** * 分享列表 * @param name * @return * @throws Exception */ public List<ShareVo> getshare(String name) throws Exception { long uid = getIdByUsername(name); Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes(uid)); scan.setStopRow(Bytes.toBytes(uid+1)); HTable share_table = new HTable(TableName.valueOf("share"), connection); ResultScanner rs = share_table.getScanner(scan); List<ShareVo> shareVos = new ArrayList<ShareVo>(); ShareVo share = null; for (Result r : rs) { Cell cellPath = r.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("path")); Cell cellTs = r.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("ts")); Cell cellType = r.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("type")); Cell cellDir = r.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("dir")); share = new ShareVo(); share.setShareid(Bytes.toString(r.getRow())); share.setPath(Bytes.toString(CellUtil.cloneValue(cellPath))); share.setTs(Bytes.toString(CellUtil.cloneValue(cellTs))); share.setType(Bytes.toString(CellUtil.cloneValue(cellType))); share.setDir(Bytes.toString(CellUtil.cloneValue(cellDir))); shareVos.add(share); } share_table.close(); return shareVos; } /** * 被分享 * @param username * @return * @throws Exception */ public List<FileSystemVo> getshareed(String username) throws Exception { long uid = getIdByUsername(username); Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes(uid)); scan.setStopRow(Bytes.toBytes(uid+1)); HTable shareed_table = new HTable(TableName.valueOf("shareed"), connection); ResultScanner rs = shareed_table.getScanner(scan); HTable share_table = new HTable(TableName.valueOf("share"), connection); List<FileSystemVo> fs = new ArrayList<FileSystemVo>(); FileSystemVo f = null; for (Result r : rs) { Result shareRs = share_table.get(new Get(r.getValue(Bytes.toBytes("shareid"), null))); Cell cellPath = shareRs.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("path")); Cell cellTs = shareRs.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("ts")); Cell cellType = shareRs.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("type")); Cell cellDir = shareRs.getColumnLatestCell(Bytes.toBytes("content"), Bytes.toBytes("dir")); f = new FileSystemVo(); // f.setShareid(Bytes.toString(shareRs.getRow())); f.setName(Bytes.toString(CellUtil.cloneValue(cellPath))); f.setDate(Bytes.toString(CellUtil.cloneValue(cellTs))); f.setType(Bytes.toString(CellUtil.cloneValue(cellType))); f.setDir(Bytes.toString(CellUtil.cloneValue(cellDir))); fs.add(f); } share_table.close(); shareed_table.close(); return fs; } /** * 新增记事本 * @param username * @param content * @throws Exception */ public void addbook(String username,String content) throws Exception { long uid = getIdByUsername(username); long id = getGid("bookid"); add("book", uid, id, "content", null, content); } /** * 查询记事本 * @param username * @return * @throws Exception */ public List<bookVo> listbook(String username) throws Exception { long uid = getIdByUsername(username); Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes(uid)); scan.setStopRow(Bytes.toBytes(uid+1)); HTable table = new HTable(TableName.valueOf("book"), connection); ResultScanner rs = table.getScanner(scan); List<bookVo> books = new ArrayList<bookVo>(); bookVo book = null; for (Result r : rs) { book = new bookVo(); book.setId(Bytes.toString(r.getRow())); book.setContent(Bytes.toString(r.getValue(Bytes.toBytes("content"), null))); books.add(book); } table.close(); return books; } public static void main(String[] args) throws Exception { // HbaseDB db = new HbaseDB(); System.out.println("ok"); } }
package com.weirq.db;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import com.weirq.util.BaseUtils;
import com.weirq.util.DateUtil;
import com.weirq.util.FileUtils;
import com.weirq.util.SiteUrl;
import com.weirq.vo.FileSystemVo;
import com.weirq.vo.Menu;
public class HdfsDB {
private static String[] suf = {"csv","txt","doc","docx","xls","xlsx","ppt","pptx"};
private static final String ROOT = "/";
static FileSystem fs;
static Configuration conf;
private static class HdfsDBInstance {
private static final HdfsDB instance = new HdfsDB();
}
public static HdfsDB getInstance() {
return HdfsDBInstance.instance;
}
private HdfsDB() {
conf = new Configuration();
conf.set("fs.defaultFS", SiteUrl.readUrl("hdfs"));
try {
fs = FileSystem.get(conf);
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* 上传文件
* @param filePath
* @param dir
* @throws Exception
*/
public void upload(String filePath, String dir) throws Exception {
InputStream in = new BufferedInputStream(new FileInputStream(filePath));
OutputStream out = fs.create(new Path(ROOT + dir), new Progressable() {
@Override
public void progress() {
//System.out.println("ok");
}
});
IOUtils.copyBytes(in, out, 4096, true);
}
/**
* 已流形式上传
* @param in
* @param dir
* @throws Exception
*/
public void upload(InputStream in, String dir) throws Exception {
OutputStream out = fs.create(new Path(dir), new Progressable() {
@Override
public void progress() {
//System.out.println("ok");
}
});
IOUtils.copyBytes(in, out, 4096, true);
}
/**
* 下载文件
* @param path
* @param local
* @throws Exception
*/
public void downLoad(String path,String local) throws Exception {
FSDataInputStream in = fs.open(new Path(path));
OutputStream out = new FileOutputStream(local);
IOUtils.copyBytes(in, out, 4096, true);
}
/**
* 重命名文件
* @param src
* @param dst
* @throws Exception
*/
public void rename(String src,String dst) throws Exception {
fs.rename(new Path(src), new Path(dst));
}
/**
* 创建文件夹
* @param dir
* @throws Exception
*/
public void mkdir(String dir) throws Exception {
if (!fs.exists(new Path(dir))) {
fs.mkdirs(new Path(dir));
}
}
/**
* 删除文件及文件夹
* @param name
* @throws Exception
*/
public void delete(String name) throws Exception {
fs.delete(new Path(name), true);
}
/**
* 查询文件夹
* @param dir
* @return
* @throws Exception
*/
public List<FileSystemVo> queryAll(String dir) throws Exception {
FileStatus[] files = fs.listStatus(new Path(dir));
List<FileSystemVo> fileVos = new ArrayList<FileSystemVo>();
FileSystemVo f = null;
for (int i = 0; i < files.length; i++) {
f = new FileSystemVo();
if (files[i].isDirectory()) {
f.setName(files[i].getPath().getName());
f.setType("D");
f.setDate(DateUtil.longToString("yyyy-MM-dd HH:mm", files[i].getModificationTime()));
f.setNamep(files[i].getPath().getName());
} else if (files[i].isFile()) {
f.setName(files[i].getPath().getName());
f.setType("F");
f.setDate(DateUtil.longToString("yyyy-MM-dd HH:mm", files[i].getModificationTime()));
f.setSize(BaseUtils.FormetFileSize(files[i].getLen()));
f.setNamep(f.getName().substring(0, f.getName().lastIndexOf(".")));
String s=FileUtils.getFileSufix(f.getName());
for (int j = 0; j < suf.length; j++) {
if (s.equals(suf[j])) {
f.setViewflag("Y");
break;
}
}
}
fileVos.add(f);
}
return fileVos;
}
/**
* 移动或复制文件
* @param path
* @param dst
* @param src true 移动文件;false 复制文件
* @throws Exception
*/
public void copy(String[] path, String dst,boolean src) throws Exception {
Path[] paths = new Path[path.length];
for (int i = 0; i < path.length; i++) {
paths[i]=new Path(path[i]);
}
FileUtil.copy(fs, paths, fs, new Path(dst), src, true, conf);
}
public List<Menu> tree(String dir) throws Exception {
FileStatus[] files = fs.listStatus(new Path(dir));
List<Menu> menus = new ArrayList<Menu>();
for (int i = 0; i < files.length; i++) {
if (files[i].isDirectory()) {
menus.add(new Menu(files[i].getPath().toString(), files[i].getPath().getName()));
}
}
return menus;
}
public static void main(String[] args) throws Exception {
HdfsDB hdfsDB = new HdfsDB();
// hdfsDB.mkdir(ROOT+"weir/qq");
// String path = "C://Users//Administrator//Desktop//jeeshop-jeeshop-master.zip";
// hdfsDB.upload(path, "weir/"+"jeeshop.zip");
// hdfsDB.queryAll(ROOT);
// hdfsDB.visitPath("hdfs://h1:9000/weir");
// for (Menu menu : menus) {
// System.out.println(menu.getName());
// System.out.println(menu.getPname());
// }
// hdfsDB.delete("weirqq");
// hdfsDB.mkdir("/weirqq");
hdfsDB.tree("/admin");
System.out.println("ok");
}
}
这两个分别是hbase连接操作和hdfs的操作
作者博客：http://www.loveweir.com
相关推荐
分布式网盘系统这个版本比较干净，整个demo在Hadoop，和Hbase环境建造好了，可以启动起来。技术选型1，Hadoop 2.Hbase 3，SpringBoot ......系统实现的功能1.用户登录与注册2.用户网盘管理3.文件在线浏览功能4.文件...
首先，HBase（Hadoop Database）是Apache软件基金会的一个开源项目，它构建于Hadoop之上，是一款面向列的分布式数据库。HBase基于Google的Bigtable模型，提供高可靠性、高性能、可伸缩的存储。其设计目标是处理PB...
内容概要：本文详细介绍了基于FPGA的四相八拍步进电机控制系统的开发过程。主要内容包括：1. 使用VHDL和Verilog编写LED显示屏驱动代码，用于显示角度、学号和姓名等信息；2. 实现步进电机的正反转控制，通过状态机管理相序变化；3. 开发加速减速控制模块，确保电机启动和停止时的平稳性；4. 设计调速功能，通过调节脉冲频率实现速度控制。此外，文中还讨论了调试过程中遇到的问题及其解决方案。 适合人群：对FPGA开发和步进电机控制感兴趣的电子工程师、嵌入式系统开发者以及相关专业的学生。 使用场景及目标：适用于需要高精度运动控制的应用场合，如工业自动化、机器人技术和精密仪器等领域。目标是帮助读者掌握FPGA控制步进电机的基本原理和技术细节。 其他说明：文中提供了详细的代码片段和调试经验分享，有助于读者更好地理解和应用所学知识。同时，作者还提到了一些实用技巧，如通过PWM调节实现多级变速，以及如何避免步进电机的共振问题。
内容概要：本文详细介绍了基于Android Studio开发的日历备忘录记事本项目，涵盖日历查看、添加备忘录、闹钟提醒和删除备忘录等功能。项目使用SQLite数据库进行数据存储，通过CalendarView、EditText、Button等控件实现用户交互，并利用AlarmManager和PendingIntent实现闹钟提醒功能。此外，项目还包括数据库的设计与管理，如创建DatabaseHelper类来管理数据库操作，确保数据的安全性和完整性。文章还探讨了一些常见的开发技巧和注意事项，如时间戳的使用、手势监听的实现等。 适用人群：适用于初学者和有一定经验的Android开发者，尤其是希望深入了解Android开发基础知识和技术细节的人群。 使用场景及目标：该项目旨在帮助开发者掌握Android开发的基本技能，包括UI设计、数据库操作、闹钟提醒机制等。通过实际项目练习，开发者能够更好地理解和应用这些技术，提升自己的开发能力。 其他说明：文中提到一些进阶任务，如用Room替换SQLite、增加分类标签、实现云端同步等，鼓励开发者进一步扩展和优化项目。同时，项目源码公开，便于学习和参考。
内容概要：本文档详细介绍了一个基于SVM（支持向量机）和Adaboost集成学习的时间序列预测项目。该项目旨在通过结合这两种强大算法，提升时间序列预测的准确性和稳定性。文档涵盖了项目的背景、目标、挑战及其解决方案，重点介绍了模型架构、数据预处理、特征选择、SVM训练、Adaboost集成、预测与误差修正等环节。此外，文档还探讨了模型在金融市场、气象、能源需求、交通流量和医疗健康等多个领域的应用潜力，并提出了未来改进的方向，如引入深度学习、多任务学习、联邦学习等先进技术。 适合人群：具备一定机器学习基础的研究人员和工程师，特别是那些从事时间序列预测工作的专业人士。 使用场景及目标：①用于金融市场、气象、能源需求、交通流量和医疗健康等领域的复杂时间序列数据预测；②通过结合SVM和Adaboost，提升预测模型的准确性和稳定性；③处理噪声数据，降低计算复杂度，提高模型的泛化能力和实时预测能力。 其他说明：文档不仅提供了详细的理论解释，还附有完整的Matlab代码示例和GUI设计指导，帮助读者理解和实践。此外，文档还讨论了模型的部署与应用，包括系统架构设计、实时数据流处理、可视化界面、GPU加速推理等方面的技术细节。
#游戏之追逐奶酪123
内容概要：本文详细介绍了威纶通触摸屏配方管理系统的实现方法及其应用场景。首先，文章讲解了配方管理的基本概念和技术背景，强调了配方管理在工业自动化中的重要性。接着，通过具体的宏程序代码示例，展示了如何实现配方的保存、加载以及安全校验等功能。文中还提到配方数据结构的设计，如使用寄存器地址偏移来确保数据不冲突，并通过CSV文件格式方便地管理和维护配方数据。此外，文章深入探讨了UI设计方面的内容，包括动态图层技术和按钮交互效果的应用，使得用户界面更加友好和直观。最后，作者分享了一些实际项目中的经验和技巧，如文件操作的异常处理和宏指令调试方法。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是对触摸屏配方管理系统感兴趣的读者。 使用场景及目标：适用于需要频繁切换设备参数的生产环境，如食品加工、注塑成型等行业。通过使用威纶通触摸屏配方管理系统，可以提高工作效率，减少人为错误，同时简化设备调试和维护流程。 其他说明：附带的工具包提供了完整的宏指令注释版、图库资源和调试工具，帮助用户更好地理解和应用该系统。
张彩明-图形学简明教程 PPT课件
计算机术语.pdf
内容概要：本文详细介绍了利用改进粒子群算法（IPSO）进行微电网多目标优化调度的方法和技术。首先指出了传统粒子群算法（PSO）存在的局限性，如初始化随机性和易陷入局部最优等问题。接着提出了多种改进措施，包括混沌映射初始化、动态权重调整、自适应变异以及引入帕累托前沿机制等。文中通过具体的代码实例展示了这些改进的具体实现，并通过实验验证了改进后的算法在处理微电网优化调度问题时的有效性，尤其是在应对风光发电不确定性方面表现突出。此外，文章还讨论了实际应用场景中的约束处理方法，如功率平衡约束的修复策略，确保理论与实践相结合。 适合人群：对智能优化算法及其在电力系统特别是微电网中的应用感兴趣的科研人员、工程师及研究生。 使用场景及目标：适用于需要对微电网进行多目标优化调度的研究和工程项目，旨在提高微电网运行效率，降低成本并减少环境污染。通过学习本文提供的改进算法和技术手段，能够更好地理解和掌握如何针对特定业务场景定制化地改进经典优化算法。 其他说明：文章不仅提供了详细的理论分析和算法改进思路，还包括了大量的代码片段和实验结果，有助于读者深入理解并快速应用于实际项目中。
内容概要：本文详细介绍了基于西门子S7-1200 PLC和组态王的7车位3x3升降横移立体车库控制系统的设计与实现。主要内容涵盖IO分配、梯形图程序、接线图、组态画面设计以及安全防护逻辑等方面。文中强调了硬件互锁、软件互锁、模块化编程、精确控制和平移控制等关键技术点，并分享了一些调试经验和注意事项。此外，还讨论了光电传感器误触发、急停按钮处理、故障记录等实际应用中的挑战及其解决方案。 适合人群：从事工业自动化领域的工程师和技术人员，特别是熟悉PLC编程和组态软件使用的专业人员。 使用场景及目标：适用于需要设计和实施立体车库控制系统的工程项目。目标是帮助读者掌握S7-1200 PLC与组态王的具体应用方法，提高系统可靠性和安全性。 其他说明：文中提供了详细的代码片段和配置示例，有助于读者更好地理解和实践相关技术。同时，作者分享了许多宝贵的实战经验，对于初学者和有一定经验的技术人员都非常有价值。
内容概要：本文详细介绍了线性表及其顺序表示的概念、原理和操作。线性表作为一种基础数据结构，通过顺序表示将元素按顺序存储在连续的内存空间中。文中解释了顺序表示的定义与原理，探讨了顺序表与数组的关系，并详细描述了顺序表的基本操作，包括初始化、插入、删除和查找。此外，文章分析了顺序表的优点和局限性，并讨论了其在数据库索引、图像处理和嵌入式系统中的实际应用。最后，对比了顺序表和链表的性能特点，帮助读者根据具体需求选择合适的数据结构。 适合人群：计算机科学专业的学生、软件开发人员以及对数据结构感兴趣的自学者。 使用场景及目标：①理解线性表顺序表示的原理和实现；②掌握顺序表的基本操作及其时间复杂度；③了解顺序表在实际应用中的优势和局限性；④学会根据应用场景选择合适的数据结构。 其他说明：本文不仅提供了理论知识，还附带了具体的代码实现，有助于读者更好地理解和实践线性表的相关概念和技术。
计算机数学1 -5 重言式与蕴含式.pdf
内容概要：本文详细介绍了风电永磁直驱发电并网系统的构成及其关键控制部分。首先探讨了真实的风速模型构建方法，利用MATLAB生成带有随机扰动和突风成分的风速曲线，用于模拟自然界的风况。接着深入解析了永磁电机的转速控制机制，特别是最大功率点跟踪（MPPT）算法的具体实现方式，以及如何通过PI控制器调节电磁转矩。随后讨论了并网过程中LCL滤波器的设计要点，确保谐波失真小于3%的同时保持系统稳定性。此外，还涉及到了网侧变流器的锁相环（PLL）设计，增强了其在电网电压跌落情况下的快速跟踪能力。最后讲述了整套系统联调时遇到的问题及解决方案，如协同惯量控制策略应对电网扰动等。 适合人群：从事风力发电研究的技术人员、高校相关专业师生、对新能源发电感兴趣的工程爱好者。 使用场景及目标：适用于希望深入了解永磁直驱风力发电系统的工作原理和技术细节的人群。目标是掌握从风速建模到最终并网控制的完整流程，能够独立进行系统仿真和优化。 其他说明：文中提供了大量具体的代码示例，涵盖MATLAB、Python、C等多种编程语言，有助于读者更好地理解和实践所介绍的内容。
资源内项目源码是均来自个人的课程设计、毕业设计或者具体项目，代码都测试ok，包含核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源，答辩评审绝对信服的，拿来就能用。放心下载使用！源码、数据集、部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.dataset.txt文件，仅供学习参考, 切勿用于商业用途。
本程序使用于：思迅软件、科脉软件、百威软件、泰格软件、嬴通软件等。 安装配置完连接参数后，用默认管理员账号：辞郁，密码：ciyu登录，主界面左上角，双击输入管理员辞郁密码：ciyu 进入设计模式。下载内容中有详细示例截图。 辞郁POP打印工具是一款专业的打印解决方案，主要针对零售行业的商品POP促销单。它支持多种零售软件系统，包括但不限于思迅软件、科脉软件、百威软件、泰格软件和嬴通软件。这种工具的出现极大地便利了零售业者在商品推广和营销方面的操作，通过快速生成并打印商品促销单，帮助商家更好地吸引顾客、提升销售业绩。
内容概要：本文详细介绍了利用蒙特卡洛法对电动汽车负荷进行预测的方法。首先解释了基本原理，即通过建立电动汽车出行时间、行驶里程和充电时间的概率模型，采用蒙特卡洛法进行抽样并累加每辆车的充电负荷，从而得出负荷预测结果。随后展示了具体的MATLAB代码实现，包括初始化参数设置、蒙特卡洛仿真循环、结果处理和可视化。代码中涉及到随机数生成、概率分布、数组操作等关键技术点。通过对不同类型的电动汽车（如私家车和出租车）进行建模，模拟了它们的充电行为，并分析了充电负荷的时间分布特点。最后讨论了模型的可扩展性和改进方向，如引入智能充电策略等。 适合人群：对电力系统、电动汽车技术和蒙特卡洛仿真方法感兴趣的科研人员、工程师和技术爱好者。 使用场景及目标：适用于研究和评估电动汽车对电网的影响，帮助规划和设计充电基础设施，确保电网稳定运行。同时，也为进一步优化充电策略提供了理论支持。 其他说明：文中提供的MATLAB代码可以作为学习和研究的基础，用户可以根据具体情况进行修改和完善。此外，还提到了一些常见的编程技巧和注意事项，有助于提高代码质量和效率。
内容概要：本文详细介绍了如何利用Python进行电网故障仿真，重点在于不同类型故障（单相接地、相间短路、相间短路接地）下的序分量分析。文中首先准备了必要的工具包，定义了系统参数，并通过具体的代码实例展示了如何计算和可视化各种故障状态下的正序、负序和零序分量。此外，还讨论了不同类型的故障对序分量的具体影响及其在继电保护中的应用。通过这些仿真，能够更好地理解和预测保护装置的动作特性。 适合人群：从事电力系统分析、继电保护设计以及相关领域的工程师和技术人员。 使用场景及目标：适用于研究和开发电力系统的故障检测和保护机制，帮助工程师们优化继电保护装置的参数设置，提高电力系统的稳定性和可靠性。 其他说明：文章强调了仿真过程中需要注意的关键点，如接地电阻设置、变压器接线方式、线路参数单位等，确保仿真结果的准确性。同时，提供了多个代码片段作为参考，便于读者快速上手实践。
6G中基于量子计算的路由 该代码使用量子退火来优化6G网络中的路径选择 基于图的网络，在考虑干扰和拥塞的同时，根据最短路径优化路由路径。
内容概要：本文详细介绍了基于西门子S7-1200 PLC系统的三个核心技术实现：Modbus RTU轮询、PLC间数据交互以及流量PID控制。对于Modbus RTU轮询，作者通过构建设备地址池并利用数组索引作为指针来高效管理39个不同类型设备的通信，确保了稳定的轮询机制。PLC间的S7通讯则通过精心规划DB块映射，实现了高效可靠的数据交换。而在流量PID控制方面，作者不仅解决了流量计信号毛刺的问题，还引入了前馈补偿以应对阀门间的耦合效应，最终达到了精确的流量控制。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些正在使用或计划使用S7-1200 PLC进行复杂项目开发的人士。 使用场景及目标：适用于需要处理大量Modbus设备轮询、实现PLC间高效数据交互以及精准流量控制的工业自动化项目。目标是在提高系统稳定性的同时，优化各个功能模块的工作效率。 其他说明：文中提供了丰富的代码片段和实践经验分享，帮助读者更好地理解和应用相关技术。同时强调了一些容易忽视的关键细节，如设备地址池的设计、DB块的正确配置以及PID参数调整等。